Skip to content

Redacción de PII

Documenta las capacidades de redacción de PII (información de identificación personal) de la implementación de referencia ai-agent-eval-harness-healthtech. Cubre los patrones de detección, la integración en el pipeline y las limitaciones del módulo actual de redacción de PII.

Léase junto con la evaluación de preparación para HIPAA y el mapeo de la Ley 19.628 de Chile.

La redacción de PII se aplica en dos puntos del pipeline del agente:

  1. En la entrada (ingreso): La entrada del usuario se analiza en busca de patrones de PII antes de ser procesada por el pipeline del agente. La PII detectada se reemplaza con tokens de marcador de posición tipados, uno por clase de identificador. El texto redactado es lo que procesa el agente.

  2. En la salida (egreso): La salida del agente se analiza en busca de patrones de PII antes de devolverse al usuario. Esto captura los casos en que el LLM genera PII de forma inadvertida (p. ej., repitiendo un número telefónico del contexto de la conversación).

La redacción se ejecuta en la capa de barreras de seguridad y está integrada en los nodos guardrail_pre y guardrail_post del pipeline de LangGraph.

Eventos de redacción en los spans de telemetría

Section titled “Eventos de redacción en los spans de telemetría”

Los eventos de redacción de PII se registran como atributos de spans de telemetría:

  • pii.redacted: booleano que indica si ocurrió la redacción
  • pii.pattern_type: la clase de identificador que coincidió (por ejemplo, una dirección de correo electrónico o un patrón de identificación nacional específico del locale)

El texto del mensaje del usuario nunca se incluye en los atributos del span (invariante de privacidad).

Tipo de PIIConfiguración regionalDetección y validación
Direcciones de correo electrónicoUniversalRegex determinista
Números telefónicosen (EE. UU.), es-419 (Chile), pt-BR (Brasil)Formatos numéricos específicos del locale
SSN de EE. UU.en (EE. UU.)Regex determinista (basada en formato)
RUT chilenoes-419 (Chile)Regex determinista con validación de dígito verificador
CPF brasileñopt-BR (Brasil)Regex determinista con validación de dígito verificador
DNIes-419 (regional)Detección de documentos de identidad nacionales
Números de tarjeta de créditoUniversalRegex determinista con validación de dígito verificador
Números de historia clínica (MRN)en (EE. UU.)Patrones alfanuméricos de identificadores de salud
Fechas de nacimiento (DOB)UniversalFormatos comunes de fecha
Direcciones postalesUniversalPatrones deterministas de dirección

La detección de PII usa patrones de regex deterministas, no detección basada en LLM. Esto asegura:

  • Reproducibilidad: La misma entrada siempre produce el mismo resultado de redacción
  • Determinismo: La redacción de PII se ejecuta en la capa de barreras de seguridad, la cual prueba la compuerta determinista de CI (un cliente LLM stub, sin necesidad de claves de API)
  • Baja latencia: La coincidencia por regex es rápida y agrega una sobrecarga insignificante al pipeline
  • Auditabilidad: Las definiciones de patrones están bajo control de versiones y son revisables

Algunos tipos de PII incluyen validación estructural más allá de la coincidencia de patrones:

  • Números de tarjeta de crédito: Validados con una suma de verificación de dígito verificador para reducir falsos positivos en secuencias arbitrarias de dígitos
  • RUT (Chile) y CPF (Brasil): Validados con sus respectivos algoritmos de dígito verificador de identificación nacional

Los identificadores nacionales sin dígito verificador (por ejemplo, el SSN de EE. UU.) se detectan solo por formato, por lo que la validación estructural no se les aplica. Las implementaciones específicas de suma de verificación son deterministas y están bajo control de versiones.

Limitaciones conocidas de la detección basada en regex

Section titled “Limitaciones conocidas de la detección basada en regex”
  1. PII dependiente del contexto: Los patrones de regex no pueden detectar PII que se infiere del contexto en lugar de estar formateada en un patrón reconocible. Por ejemplo, “mi nombre es Juan y vivo en la esquina de Main y Oak” contiene PII (nombre, ubicación) que ninguna regex puede extraer de forma confiable.

  2. Formatos nuevos: Los nuevos formatos de números telefónicos, formatos de números de identificación o formatos de dirección que no cubren los patrones existentes pasarán sin ser detectados.

  3. Formatos internacionales: Si bien el módulo cubre formatos de EE. UU., chilenos y brasileños, la PII de otras jurisdicciones puede no detectarse. La cobertura está alineada intencionalmente con las tres configuraciones regionales admitidas.

  4. Falsos positivos: Los patrones de regex pueden ocasionalmente redactar contenido que no es PII pero que coincide con el formato de un patrón. Las validaciones de dígito verificador mitigan esto en los identificadores que llevan una suma de verificación.

La redacción apunta a los identificadores estructurados. Los nombres de personas se conservan por política, no se redactan: la detección confiable de nombres sin un modelo de NER produce tasas de falsos positivos inaceptables, por lo que la conservación de nombres es una decisión de política deliberada y documentada (véase ADR-0036), no una omisión. La redacción no es anonimización ni privacidad diferencial: elimina identificadores directos de forma determinista pero no ofrece garantía matemática de privacidad, y el sistema no recolecta ni procesa datos biométricos.

La implementación de referencia proporciona redacción determinista de PII que cubre los tipos de identificadores más comunes en sus tres configuraciones regionales admitidas (EE. UU., Chile, Brasil). El módulo de redacción se ejecuta en la capa de barreras de seguridad, lo prueba la compuerta determinista de CI y registra los eventos de redacción en spans de telemetría.

Fortalezas clave:

  1. Determinista y reproducible: La misma entrada, la misma redacción, siempre. Sin dependencia del comportamiento del LLM para la detección de PII.
  2. Cobertura multiconfiguración regional: Patrones para identificadores de EE. UU., chilenos y brasileños, alineados con las tres configuraciones regionales admitidas.
  3. Validación estructural: validación de dígito verificador para tarjetas de crédito y para los identificadores nacionales de Chile/Brasil que llevan dígito verificador — reduciendo los falsos positivos en los patrones más sensibles.
  4. Integración en el pipeline: Redacción en las etapas de entrada y salida, integrada en los nodos de barreras de seguridad que prueba el arnés de evaluación.
  5. Traza de auditoría: Eventos de redacción registrados en spans de telemetría con el tipo de patrón, lo que permite monitorear la frecuencia de redacción y la distribución de patrones.

Una redacción de PII de nivel de producción requeriría:

  1. Cobertura de patrones ampliada: Tipos de PII adicionales (nombres mediante NER, direcciones IP, identificadores de vehículos, patrones de datos biométricos, formatos de historia clínica de sistemas EHR específicos); cobertura para jurisdicciones adicionales más allá de EE. UU./Chile/Brasil

  2. Promover la detección residual basada en LLM: Ya existe en el código una pasada opcional de detección residual de PII basada en LLM como verificación de solo anotación, desactivada por defecto; producción la promovería a una segunda etapa que haga cumplir, tras la redacción determinista, para capturar PII dependiente del contexto, formatos nuevos e identificadores que los patrones de regex omiten

  3. Métricas de calidad de redacción: Medición automatizada de la precisión y la exhaustividad de la redacción frente a un conjunto de prueba etiquetado; seguimiento de las tasas de falsos positivos y falsos negativos; pruebas de regresión cuando se actualizan los patrones

  4. Revisión periódica de patrones: Revisión regular de los patrones de PII frente a los formatos de datos emergentes, los nuevos tipos de identificadores y las regulaciones de privacidad en evolución; cadencia de actualización ligada al ciclo de revisión regulatoria

  5. Patrones específicos del dominio: Si se despliega en contextos específicos de salud o financieros, patrones personalizados para formatos de identificadores específicos de la institución (p. ej., formatos de MRN de EHR específicos, formatos de identificación de seguros, formatos de números de cuenta)

  6. Registro de redacción para cumplimiento: Más allá de los atributos actuales de los spans de telemetría, producción necesitaría registros de auditoría de redacción dedicados con políticas de conservación, controles de acceso e informes de cumplimiento

  7. Gestión de solicitudes de titulares de datos: Mecanismos para que los titulares soliciten información sobre qué PII se detectó y se redactó; procedimientos de eliminación para cualquier metadato de redacción almacenado