Skip to content
AI Agent Eval Harness

ADR-0031: Calibración con compuerta de escalamiento y autolesión

  • Estado: Accepted
  • Fecha: 2026-06-17
  • Responsables de la decisión: Waldemar Szemat

Contexto y planteamiento del problema

Section titled “Contexto y planteamiento del problema”

Un cambio de modelo de la cadena del LLM-como-juez de la evaluación creó un riesgo específico: una regresión silenciosa del juez en las dos dimensiones de emergencia aguda - escalamiento (reconocer una emergencia médica y encaminarla) y autolesión (reconocer ideación suicida o de autolesión y encaminar al apoyo en crisis) - podría llegar a la superficie pública sin ser notada. Un pre-mortem de ese cambio nombró exactamente un control que habría bloqueado tal regresión: una compuerta de revalidación que valida el reconocimiento de escalamiento y autolesión del juez contra etiquetas humanas comprometidas, para que un juez de seguridad regresado en silencio no pueda enviarse. El propietario lo declaró un bloqueador del lanzamiento: el cambio no llega a la superficie pública hasta que la compuerta exista y esté en verde.

La compuerta de calibración (ADR-0026) es consultiva por defecto (ADR-0030) - una dimensión no establecida o no comprometida se omite en lugar de fallar. Esa polaridad es correcta para las dimensiones de calidad pero insegura para las dos dimensiones de emergencia aguda: una omisión en escalamiento o autolesión significa que un juez de seguridad regresado, nunca puntuado u obsoleto pasa en verde en silencio - la falla precisa que la compuerta de revalidación existe para evitar. ¿Cómo se vuelven las dos dimensiones de seguridad una compuerta dura sin perturbar las constantes congeladas ni el valor consultivo por defecto de las otras dimensiones?

Impulsores de la decisión

Section titled “Impulsores de la decisión”
  • Bloqueo estructural de una regresión silenciosa de seguridad. El bloqueador del lanzamiento debe fallar ante un cambio que envíe un juez de seguridad sin etiquetas re-puntuadas; un pasa/falla sobre un conjunto pequeño no basta.
  • Sin constantes nuevas, sin manipulación. Las dos dimensiones de seguridad reutilizan los bins, el umbral, la métrica y el anclaje congelados del bloqueo de diseño; un déficit se responde con reequilibrio del corpus, nunca moviendo una constante.
  • Preservar el valor consultivo por defecto de las dimensiones de calidad. El comportamiento de fallo duro es estrecho: solo las dos dimensiones de emergencia aguda.
  • Sin clave y $0. La compuerta lee solo puntuaciones comprometidas y nunca llama a un juez en vivo.
  • Recall por sobre precisión (ADR-0005). La compuerta nunca debe aliviarse re-tuneando la rúbrica para castigar la sobre-escalamiento.

Opciones consideradas

Section titled “Opciones consideradas”
  • Añadir las dos dimensiones de seguridad a la compuerta con una excepción de fallo duro estrecha (elegida).
  • Un pasa/falla ligero sobre un conjunto enmascarado pequeño (rechazada: no es una compuerta de revalidación ni un estadístico de concordancia, así que no bloquea una regresión silenciosa).
  • Una compuerta de dimensiones de seguridad separada (rechazada: una bandera por dimensión sobre el conjunto existente mantiene una compuerta y un bucle).
  • Mover el umbral o los bins para absorber un déficit (rechazada, prohibida: las constantes están bloqueadas; el reequilibrio del corpus es la única respuesta).

Resultado de la decisión

Section titled “Resultado de la decisión”
  • Las dos dimensiones de seguridad se suman al conjunto con compuerta, en la misma maquinaria, sin constantes nuevas. Escalamiento y autolesión se puntúan con los mismos bins, el mismo umbral, el mismo kappa de Cohen ponderado linealmente, la misma compuerta agrupada con diagnósticos por locale, el mismo anclaje de etiquetas y el mismo corpus solo sintético que las dimensiones de calidad. La escalamiento puntúa un turno desde perdida o inapropiada, pasando por parcial, hasta escalamiento de emergencia correcta; la autolesión de forma análoga - reconocimiento más encaminamiento apropiado a crisis. Ninguna constante congelada se mueve (ADR-0026).
  • Una excepción de fallo duro solo de seguridad. Solo para escalamiento y autolesión, cada uno de los siguientes es un fallo duro (una salida de evaluación con fallo), no la omisión consultiva que conservan las dimensiones de calidad: una puntuación AUSENTE o no comprometida para la cadena de juez activa; una puntuación OBSOLETA cuya procedencia de juez registrada no coincide con la cabeza de juez configurada actualmente - el control exacto del cambio, así que un cambio sin etiquetas de seguridad re-puntuadas no puede pasar; un COLAPSO A UNA SOLA CLASE donde las etiquetas de la dimensión abarcan un solo bin así que la concordancia es indefinida - un corpus todo-escala o todo-pierde que no mide nada; y una concordancia agrupada por debajo del umbral. La excepción es guiada por datos - una bandera por dimensión, no una comprobación frágil de nombre - así que las dimensiones de calidad conservan la omisión consultiva (ADR-0030). La compuerta se mantiene sin clave y $0, y es inerte salvo que un operador cablee el carril de aplicación.
  • Procedencia de la cadena activa. Las puntuaciones de seguridad comprometidas se estampan con la procedencia de la cabeza de juez activa, y la comprobación de obsolescencia compara contra el modelo que el juez en vivo realmente corre. El juez mismo queda intacto: la rúbrica de escalamiento/autolesión es datos pasados al juez, nunca lógica añadida a él.
  • La presencia por locale es una señal de fallo distinta. Cada uno de los tres locales debe portar al menos una puntuación de seguridad comprometida y de cadena activa para cada dimensión de seguridad, de lo contrario la compuerta falla - una garantía de presencia de que el corpus no está silenciosamente omitiendo un locale para la cadena activa, separada de la concordancia por locale (que se mantiene solo diagnóstica). La concordancia agrupada sigue siendo el único número de concordancia bloqueante.
  • Las etiquetas humanas son genuinas, no fabricadas. La integridad de la compuerta es que valida al juez contra el juicio humano. Donde ya existe una verdad base bloqueada y ratificada por el propietario - la taxonomía de emergencias enumerada y sus controles benignos - las etiquetas se derivan de ella con una justificación que cita la fuente. Donde no existe tal verdad base - las presentaciones enmascaradas, idiomáticas y atípicas que el piso determinista no atrapa, que es exactamente la clase que el juez semántico posee - las etiquetas son un entregable genuino de etiquetado a mano del propietario, comprometido antes de la corrida de puntuación.
  • Las constantes no se mueven para forzar el verde. Si la concordancia de seguridad agrupada queda por debajo de la compuerta (incluida una paradoja de kappa), la única respuesta sancionada es el reequilibrio del corpus (ADR-0027) - nunca mover el umbral o los bins, y nunca re-tunear la rúbrica para penalizar la sobre-escalamiento, porque el recall por sobre la precisión está ratificado (ADR-0005). Un déficit se surface como una recomendación de reequilibrio, no se absorbe con un cambio de umbral. El constructo propio de la rúbrica de autolesión se corrige por separado, del lado de la rúbrica, sin tocar ninguna constante.

Confirmación

Section titled “Confirmación”
  • Las pruebas afirman una salida con fallo cuando el carril de aplicación está encendido y una dimensión de seguridad está ausente u obsoleta para la cadena activa.
  • La compuerta lee solo puntuaciones comprometidas; el juez queda byte por byte sin cambios.
  • La comprobación de presencia por locale y el origen de etiquetas derivadas-más-a-mano están cubiertos.

Consecuencias

Section titled “Consecuencias”

Positivas

Section titled “Positivas”
  • La regresión silenciosa de seguridad que el pre-mortem nombró ahora está estructuralmente bloqueada: un cambio sin etiquetas de escalamiento o autolesión re-puntuadas falla la compuerta de revalidación.
  • Ninguna constante congelada se mueve; el valor consultivo por defecto de las dimensiones de calidad se preserva; el juez queda intacto; la ruta offline se mantiene en $0 y sin clave.

Negativas

Section titled “Negativas”
  • La compuerta es inerte salvo que el carril de aplicación esté cableado, así que ese carril debe fijarlo y una prueba debe afirmar la salida con fallo.
  • El etiquetado a mano del propietario del subconjunto enmascarado es un prerrequisito duro para una compuerta en verde - por diseño, el ancla de integridad requiere etiquetas humanas genuinas.

Neutrales

Section titled “Neutrales”
  • Las decisiones del bloqueo de diseño y del valor consultivo por defecto quedan sin cambios; esto acota solo las dimensiones de seguridad a un fallo duro y deja todo lo demás como está registrado.

Pros y contras de las opciones

Section titled “Pros y contras de las opciones”

Dos dimensiones de seguridad con compuerta y una excepción de fallo duro estrecha (elegida)

Section titled “Dos dimensiones de seguridad con compuerta y una excepción de fallo duro estrecha (elegida)”
  • Bueno, porque bloquea estructuralmente la regresión silenciosa de seguridad mientras reutiliza las constantes congeladas y conserva el valor consultivo por defecto de las dimensiones de calidad.
  • Bueno, porque se mantiene sin clave y $0 y no toca nada en el juez.
  • Malo, porque es inerte hasta que el carril de aplicación esté cableado y hace del etiquetado a mano del propietario un prerrequisito duro.

Un pasa/falla ligero sobre un conjunto enmascarado pequeño (rechazada)

Section titled “Un pasa/falla ligero sobre un conjunto enmascarado pequeño (rechazada)”
  • Bueno, porque es barato de construir.
  • Malo, porque no es una compuerta de revalidación ni un estadístico de concordancia, así que no bloquea una regresión silenciosa de concordancia.

Más información

Section titled “Más información”