Skip to content
AI Agent Eval Harness

ADR-0026: Bloqueo de diseño de la calibración del juez

  • Estado: Accepted
  • Fecha: 2026-06-13
  • Responsables de la decisión: Waldemar Szemat

Contexto y planteamiento del problema

Section titled “Contexto y planteamiento del problema”

El arnés de evaluación (ADR-0003) puntúa dos de sus dimensiones de rúbrica - fundamentación y fidelidad - con un LLM como juez. Un juez solo es confiable una vez que alguien ha medido qué tan bien concuerda con un humano sobre los mismos casos. Por eso el arnés añade una compuerta de calibración: para cada caso de calibración un humano asigna una etiqueta y el juez produce una puntuación, y su concordancia se mide por dimensión con un kappa de Cohen ponderado.

Una métrica de calibración solo es creíble si su encuadre, sus bins, su umbral y la composición de su corpus se fijan ANTES de etiquetar o puntuar cualquier caso. Si algo de eso puede moverse una vez que los números están dentro, la afirmación de concordancia se vuelve infalsable: un resultado bajo siempre podría “arreglarse” empujando un bin, bajando la vara o descartando la dimensión incómoda. Eso es manipulación del umbral disfrazada de ajuste, y vacía todo el propósito de la compuerta.

Este registro corre primero, a propósito, para que cada fase posterior - la métrica y su esquema, la pasada de etiquetado humano, la corrida única del juez y el cableado de la compuerta - herede las mismas constantes congeladas y el mismo nombrado. ¿Cómo bloqueamos cada decisión de encuadre, métrica, bin, umbral y corpus para la compuerta de calibración, en un solo lugar, antes de que comience cualquier etiquetado o puntuación, de modo que ningún ajuste posterior pueda rescatar retroactivamente la afirmación de concordancia?

Impulsores de la decisión

Section titled “Impulsores de la decisión”
  • Bloqueo previo a los datos. Cada constante que pudiera ajustarse después del hecho se fija antes de escribir la primera etiqueta. El congelamiento es la credibilidad, no un añadido.
  • Encuadre honesto. La métrica mide a un evaluador humano contra el juez. Debe nombrarse y describirse exactamente así, para que ningún lector la confunda con un número de confiabilidad multi-evaluador que no es.
  • Reproducibilidad. Un número de concordancia públicamente replicable supera a uno oculto: cualquiera que bifurque la implementación de referencia debería poder recomputarlo.
  • Preservación de invariantes. La compuerta lee solo las salidas del juez y nunca altera al juez (ADR-0003); el invariante de corpus solo sintético (ADR-0018) se mantiene.
  • Realismo de muestra pequeña. El corpus de calibración es deliberadamente pequeño, así que cada elección se dimensiona para un régimen de muestra pequeña donde un umbral demasiado ajustado simplemente oscilaría.

Opciones consideradas

Section titled “Opciones consideradas”
  • Encuadre: concordancia humano-vs-juez de un solo evaluador (elegida) frente a confiabilidad entre anotadores con múltiples anotadores (rechazada: hay un único evaluador propietario por diseño; una canalización multi-anotador queda fuera de alcance y describiría mal lo que mide el número).
  • Compuerta por locale: una compuerta agrupada con diagnósticos por locale (elegida) frente a una compuerta separada por locale (rechazada: triplica el etiquetado y vuelve cada estimación por locale de muestra pequeña y propensa a oscilar) frente a compuerta solo en inglés (rechazada: deja a es-419 y pt-BR sin compuerta).
  • Visibilidad del corpus: un corpus de calibración totalmente público (elegida) frente a retenerlo (rechazada: oculta la reproducibilidad que es todo el valor) frente a una muestra pública parcial (rechazada: una división arbitraria sin una justificación limpia).
  • Bins: congelar las fronteras ahora como constantes semánticas (elegida) frente a colocarlas empíricamente desde una corrida de distribución del juez previa al etiquetado (rechazada: retrasa el bloqueo e invita a ajustar los bins a los datos).
  • Estratificación: una mezcla realista de producción (elegida) frente a una mezcla balanceada o de tercios iguales (rechazadas: ninguna refleja la distribución de puntuaciones que produce un cambio real).

Resultado de la decisión

Section titled “Resultado de la decisión”

Opciones elegidas, bloqueadas antes de cualquier etiquetado:

  • Encuadre - concordancia humano-vs-juez de un solo evaluador. La métrica es la concordancia entre un evaluador humano y el juez, por dimensión. No es confiabilidad entre anotadores y nunca se describe como tal: hay un único evaluador propietario por diseño, así que no hay un segundo anotador contra el cual ser confiable. Las etiquetas de salida de la métrica llevan un nombre que fija el encuadre humano-vs-juez, de modo que no puede derivar hacia lenguaje de confiabilidad en ningún reporte posterior.
  • Métrica - kappa de Cohen ponderado linealmente. La concordancia es un kappa de Cohen ponderado linealmente (scikit-learn, ya presente en las dependencias de evaluación, así que sin nueva dependencia de ejecución). La ponderación lineal da crédito parcial a un desacuerdo de un bin de diferencia, lo que conviene a bins ordenados.
  • Dimensiones. Se calibran las dimensiones respaldadas por el juez que bloquean un cambio: fundamentación y fidelidad. El método se extiende luego a las dimensiones de seguridad, que se vuelven bloqueadoras del lanzamiento en lugar de señales de aviso (véase el registro de calibración de escalamiento / autolesión); este bloqueo de diseño es el método que esas heredan.
  • Bins - constantes semánticas congeladas. La puntuación continua de cada dimensión se mapea a tres bins ordinales - infiel / parcial / sólido - cuyas fronteras se congelan ahora como constantes semánticas, alineadas con la lectura de Landis-and-Koch de la fuerza de concordancia y fijadas sin ninguna corrida de distribución previa al etiquetado. Un reporte marginal por bin producido después es solo una verificación confirmatoria; no tiene autoridad para mover una frontera.
  • Umbral - congelado antes de los datos. La compuerta bloquea cuando la concordancia agrupada de una dimensión con compuerta cae por debajo de un umbral fijo, dimensionado para el régimen de muestra pequeña y mantenido distinto de un colchón de media de corpus ligeramente superior al que apunta el corpus, para que el ruido de muestreo no empuje a un juez genuinamente calibrado por debajo de la vara. El umbral se congela antes de los datos; subirlo queda fuera de alcance hasta que existan más etiquetas, porque a este tamaño de muestra una vara demasiado ajustada oscilaría. El punto de operación mismo se calibra por despliegue y se provee como parte del compromiso.
  • Compuerta por locale - compuerta agrupada, diagnósticos por locale. Un único kappa agrupado por dimensión sobre todo el corpus multi-locale es el único número bloqueante. Los kappa por locale de es-419 y pt-BR se reportan como diagnósticos no bloqueantes - ruidosos pero direccionales a sus conteos por locale, y etiquetados como diagnósticos, no como compuerta. La dirección es deliberada y no debe invertirse. Un locale puede promoverse de diagnóstico a con compuerta en un hito futuro una vez que acumule suficientes casos etiquetados propios.
  • Corpus - solo sintético y totalmente público. El corpus de calibración - los casos, las etiquetas humanas y las puntuaciones del juez precomprometidas - es solo sintético (ADR-0018) y totalmente público, así que la concordancia es reproducible de forma independiente por cualquiera que bifurque la implementación de referencia. Su tamaño y estratificación exactos se resuelven en el registro de reequilibrio de corpus.
  • El remedio bloqueado ante la paradoja de kappa. Una mezcla realista de producción produce marginales sesgadas, y las marginales sesgadas pueden arrojar un kappa bajo pese a un alto porcentaje de concordancia bruto - la paradoja de kappa. Este riesgo se acepta, y el remedio se bloquea: si el corpus comprometido cae en la paradoja, el ÚNICO arreglo permitido es reequilibrar el corpus - añadir casos borderline y de fallo, reetiquetar, repuntuar. Bajar el umbral, mover una frontera de bin o descartar una dimensión con compuerta está prohibido. Las constantes quedan congeladas sin importar el número observado; el reequilibrio es la única palanca.
  • Respaldo de detección. El reporte de calibración lleva, juntos, la estimación puntual por dimensión, un intervalo de confianza por bootstrap, la distribución marginal por bin y el porcentaje de concordancia bruto. Leer esos cuatro juntos distingue una miscalibración genuina de una paradoja por sesgo marginal y encamina una paradoja al reequilibrio del corpus en lugar de a una edición de frontera o umbral.
  • Disciplina de anclaje de etiquetas. Las etiquetas humanas se comprometen en un commit anterior al de las puntuaciones del juez, así que el juicio humano precede de forma demostrable a la corrida del juez; en cada caso la marca de tiempo de etiqueta humana precede a la de puntuación del juez. Las etiquetas no pueden ajustarse a posteriori al juez.
  • Reafirmación de invariantes. La compuerta lee solo las salidas del juez y no hace ningún cambio al juez (ADR-0003); el corpus se mantiene solo sintético (ADR-0018).

Confirmación

Section titled “Confirmación”
  • El número de concordancia es falsable: cada constante que pudiera ajustarse después del hecho se fija antes de la primera etiqueta, y la verificación de fugas se mantiene verde con el corpus de calibración público presente.
  • La métrica no añade ninguna nueva dependencia de ejecución.
  • Las fases posteriores leen las constantes congeladas y el nombrado bloqueado de este registro; los bins, el umbral y las dimensiones quedan fijados.

Consecuencias

Section titled “Consecuencias”

Positivas

Section titled “Positivas”
  • La afirmación de concordancia es falsable y creíble: un kappa bajo no puede fabricarse en silencio, porque ninguna constante puede moverse después de que los datos estén dentro.
  • El corpus es reproducible públicamente: cualquiera que bifurque la implementación de referencia puede recomputar la misma concordancia sobre los mismos casos, etiquetas y puntuaciones comprometidos.
  • El nombrado se bloquea una vez y se propaga sin ambigüedad por cada superficie de salida posterior.
  • El juez queda intacto: la compuerta lee solo las salidas del juez.

Negativas

Section titled “Negativas”
  • El corpus reproducible públicamente debe reconfirmarse contra la verificación de fugas en lugar de apoyarse en una exclusión por defecto.
  • La mezcla realista de producción carga con el riesgo aceptado de la paradoja de kappa, cuya única respuesta sancionada es el reequilibrio del corpus, comparativamente costoso.
  • Congelar los bins y el umbral antes de los datos significa que no pueden reajustarse a la distribución observada aunque después parezca incómoda; el congelamiento es el punto, pero quita esa palanca a propósito.

Neutrales

Section titled “Neutrales”
  • El modo de activación del corpus (auto-al-estar-presente frente a una ruta de opt-in) se resuelve en un registro posterior, no aquí.
  • Subir el umbral con más etiquetas, y promover un diagnóstico por locale a un locale con compuerta, son pasos futuros documentados, no compromisos presentes.

Pros y contras de las opciones

Section titled “Pros y contras de las opciones”

Encuadre humano-vs-juez de un solo evaluador (elegida)

Section titled “Encuadre humano-vs-juez de un solo evaluador (elegida)”
  • Bueno, porque describe exactamente lo que mide el número: un evaluador humano contra el juez.
  • Bueno, porque el nombrado bloqueado mantiene el encuadre legible en cada superficie.
  • Malo, porque un solo evaluador carga con el sesgo de ese evaluador sin un segundo anotador que lo promedie.

Confiabilidad entre anotadores (rechazada)

Section titled “Confiabilidad entre anotadores (rechazada)”
  • Bueno, porque múltiples anotadores cuantificarían el desacuerdo humano directamente.
  • Malo, porque hay un único evaluador propietario por diseño, así que no hay nada contra lo cual ser confiable, y la canalización describiría mal el número.

Compuerta agrupada, diagnósticos por locale (elegida)

Section titled “Compuerta agrupada, diagnósticos por locale (elegida)”
  • Bueno, porque una compuerta agrupada es factible de etiquetar y suficientemente estable para bloquear, mientras cada locale igual recibe una señal.
  • Malo, porque una compuerta agrupada puede enmascarar una regresión de un solo locale que los ruidosos diagnósticos por locale solo insinúan.

Corpus de calibración totalmente público (elegida)

Section titled “Corpus de calibración totalmente público (elegida)”
  • Bueno, porque una concordancia públicamente replicable es más creíble que una oculta, y el corpus es solo sintético así que no hay preocupación de privacidad.
  • Malo, porque debe reconfirmarse contra la verificación de fugas.

Bins semánticos congelados (elegida)

Section titled “Bins semánticos congelados (elegida)”
  • Bueno, porque los bins son semánticos, no ajustados a la distribución, así que pueden fijarse sin datos y cierran el ajuste posterior.
  • Malo, porque una frontera semántica puede no alinearse perfectamente con donde el juez agrupa sus puntuaciones.

Más información

Section titled “Más información”