Skip to content
AI Agent Eval Harness

ADR-0035: Inversión fail-safe del juez de escalamiento

  • Estado: Accepted
  • Fecha: 2026-07-01
  • Responsables de la decisión: Waldemar Szemat

Contexto y planteamiento del problema

Section titled “Contexto y planteamiento del problema”

Toda barrera respaldada por LLM en el sistema salvo esta falla en abierto (fail-open): ante un tiempo de espera, una excepción, o una respuesta del juez vacía o malformada, los jueces de alcance, persona y fundamentación dejan pasar el turno, porque para una dimensión que no es de seguridad el costo de una sobre-negativa es mayor que el de una rara omisión. La dimensión de escalamiento invierte esa asimetría de costo: una emergencia aguda perdida - ACV, anafilaxia, intención suicida, hipoglucemia severa - es el daño catastrófico e irreversible, mientras que una plantilla de emergencia sobre-disparada es una molestia acotada, $0 y no metrada, ya ratificada como comportamiento de producto aceptado (ADR-0034).

Se añade un juez semántico de escalamiento detrás del piso determinista para atrapar las emergencias es-419 y pt-BR idiomáticas, localizadas y ofuscadas que el piso aún pierde. Como ese juez se construye copiando el clasificador de alcance fail-open e invirtiendo cada rama, el defecto de mayor riesgo es un dejar-pasar remanente en una rama de falla que reintroduciría en silencio el fail-open en la ruta crítica para la seguridad. ¿Cómo ratificamos el modo de falla invertido, la postura de umbral y la cota de latencia como un contrato explícito, para que la inversión no pueda erosionarse en silencio?

Impulsores de la decisión

Section titled “Impulsores de la decisión”
  • Recall por sobre precisión en emergencias agudas. Una señal de alarma perdida cuesta mucho más que una sobre-disparada (la misma asimetría que ADR-0005 / ADR-0034).
  • Sin regresión de fail-open en la ruta de seguridad. La inversión debe ser total y auditable, no una mayoría de ramas de mejor esfuerzo.
  • Latencia de cola acotada. La ruta síncrona de la barrera no debe reventar el presupuesto de latencia del turno ante un proveedor de juez lento o colgado.
  • Un umbral defendible y no arbitrario hoy, sin sobre-afirmar una calibración empírica aún no corrida.
  • El juez nunca debe debilitar el piso determinista ya enviado.

Opciones consideradas

Section titled “Opciones consideradas”
  • Inversión fail-safe (escalar ante todo desenlace no limpio) con un prior de umbral sesgado hacia el recall, un tiempo de espera duro y sin reintentos en línea (elegida).
  • Mantener el juez fail-open como el juez de alcance y apoyarse solo en el piso determinista para las fallas (rechazada: un tiempo de espera o corte del juez dejaría pasar en silencio una emergencia aguda - la falla catastrófica exacta que el juez existe para cerrar).
  • Fail-safe, pero fijar el umbral de disparo a un valor calibrado empíricamente ahora (rechazada: la calibración con conjunto reservado no se ha corrido; fijar ahora sobre-afirmaría un valor medido y se adelantaría a la compuerta de calibración dedicada).

Resultado de la decisión

Section titled “Resultado de la decisión”
  • Inversión fail-safe total. Cada falla de ejecución o de formato escala: un tiempo de espera, una excepción, puntuaciones ausentes, una racionalización malformada, una puntuación fuera de rango o NaN, y una respuesta vacía o truncada fallan todas hacia la escalamiento, cada una etiquetada como una escalamiento impulsada por error. Un dejar-pasar es alcanzable desde exactamente dos ramas: un no-op de entrada vacía (no hay nada que escalar, así que el juez no se llama) y una confianza de emergencia bien formada estrictamente por debajo del umbral de disparo. Ninguna rama parsea de mejor esfuerzo una salida malformada - una negación como “NO escalar” podría malinterpretarse - así que una salida fuera de esquema es un disparador fail-safe, no algo que rescatar.
  • El umbral de disparo es un prior sesgado hacia el recall, no una fijación empírica. Se siembra desde un resultado de umbral de decisión óptimo en costo (Elkan) solo como ancla de cordura, porque la confianza del LLM está descalibrada y es sobre-confiada. Es un valor de configuración acotado y ajustable por el operador, y no se afirma que esté calibrado contra un corpus etiquetado reservado.
  • Un tiempo de espera duro acotado sin reintentos en línea. La llamada síncrona al juez se envuelve en un tiempo de espera duro muy por debajo del presupuesto de latencia del turno; al expirar, el turno falla seguro a la escalamiento. No se añade una segunda capa de reintento en la ruta síncrona - el juez ya tiene un reintento interno, y un segundo arriesgaría una explosión de latencia de cola. Un desmontaje de solicitud externo se propaga en lugar de ser tragado.
  • El juez solo AÑADE escalamientos; nunca estrecha ni rescinde el piso. Corre solo después de que el piso determinista NO disparó y hay un juez configurado, y se combina detrás del piso por conjunción, así que nunca puede suprimir un acierto del piso - consistente con la postura ratificada de recall por sobre precisión (ADR-0034). La ruta $0 y sin clave no construye ningún juez y es idéntica byte a byte a antes.
  • La calibración empírica se difiere. La calibración empírica del umbral de piso de recall sobre un conjunto reservado, el umbral fijado final, el bloqueo de corpus metamórfico, y la compuerta de CI fail-cerrado con juez encendido se difieren a una fase de compuerta dedicada. Esto envía el mecanismo en el prior, solo con pruebas de control deterministas.

Confirmación

Section titled “Confirmación”
  • Una matriz de inyección de fallas afirma que cada desenlace no limpio escala y que el único negativo limpio por debajo del umbral es el único dejar-pasar invocado por el juez.
  • Las cotas de umbral y de tiempo de espera y los contadores de escalamiento distintos
    • impulsada por política frente a impulsada por error, sin PII - están probados unitariamente.
  • Una prueba de paridad sin clave confirma que la ruta $0 del piso queda sin cambios.

Consecuencias

Section titled “Consecuencias”

Positivas

Section titled “Positivas”
  • El modo de falla crítico para la seguridad es ahora un contrato explícito y citado, no un detalle implícito de una clase copiada: un revisor no puede reintroducir en silencio el fail-open sin fallar la matriz de inyección de fallas.
  • El valor por defecto sesgado hacia el recall más el piso determinista encaminan juntos las emergencias agudas idiomáticas y localizadas a la plantilla nativa del locale antes de cualquier negativa de dosis enmascarada o de alcance.
  • Una tormenta de escalamiento por corte de proveedor es observable y distinguible de la señal real vía los contadores distintos de impulsada por política frente a impulsada por error.

Negativas

Section titled “Negativas”
  • La postura de escalar-todo-ante-falla significa que un corte de proveedor inunda el sumidero de revisión humana con escalamientos impulsadas por error - la dirección segura, pero una carga de revisión que un cortacircuitos debe absorber luego.
  • El prior está explícitamente descalibrado: hasta la calibración diferida, la frontera de disparo es una conjetura defendible, no un piso de recall medido.

Neutrales

Section titled “Neutrales”
  • El fail-safe protege solo contra falla de ejecución o de formato. Un negativo bien formado pero confiadamente-erróneo por debajo del umbral no lo atrapa la inversión; ese residual queda cubierto por el piso determinista, que es por lo que se retienen ambas capas.
  • Se añaden a la superficie dos valores de configuración ajustables por el operador y un contador de telemetría.

Pros y contras de las opciones

Section titled “Pros y contras de las opciones”

Inversión fail-safe con un prior sesgado hacia el recall (elegida)

Section titled “Inversión fail-safe con un prior sesgado hacia el recall (elegida)”
  • Bueno, porque la inversión coincide con la asimetría de costo de la emergencia: una señal de alarma perdida es el daño catastrófico, un sobre-disparo es una molestia acotada de $0.
  • Bueno, porque el tiempo de espera duro acota la latencia de cola sin una explosión de reintentos.
  • Bueno, porque un prior sesgado hacia el recall es honesto sobre no ser una fijación empírica y difiere la calibración a una compuerta dedicada.
  • Malo, porque puede generar una tormenta de escalamiento bajo un corte de proveedor - la dirección segura, pero una carga de sumidero de revisión que la capa de operaciones debe absorber luego.

Mantener el juez fail-open (rechazada)

Section titled “Mantener el juez fail-open (rechazada)”
  • Bueno, porque es una copia sin diff del clasificador de alcance fail-open bien entendido.
  • Malo, porque un tiempo de espera o corte del juez dejaría pasar en silencio una emergencia aguda - el modo de falla catastrófico exacto que el juez existe para cerrar.

Más información

Section titled “Más información”