Skip to content
AI Agent Eval Harness

ADR-0028: Corrección del constructo de fidelidad

  • Estado: Accepted
  • Fecha: 2026-06-14
  • Responsables de la decisión: Waldemar Szemat

Contexto y planteamiento del problema

Section titled “Contexto y planteamiento del problema”

La primera corrida de calibración sobre el corpus reequilibrado (ADR-0027) produjo una concordancia de fundamentación válida pero una concordancia de fidelidad baja. El análisis de causa raíz encontró que el número bajo de fidelidad era un desajuste de constructo en el lado humano, no un defecto del juez.

La rúbrica humana de fidelidad estaba mal especificada: indicaba al evaluador penalizar una respuesta que “evita contradecir O AÑADIR contenido más allá del contexto citado”. Pero penalizar una adición no respaldada es exactamente lo que ya hace el constructo de fundamentación. Así que la etiqueta humana de fidelidad medía un constructo parecido a la fundamentación, mientras que el puntuador de producción medía contradicción. Los dos lados puntuaban cosas distintas, así que el kappa bajo de fidelidad era un artefacto de constructo, no una medición válida de concordancia humano-vs-juez. La fundamentación, en cambio, usaba un constructo emparejado en ambos lados (respaldo), así que su concordancia era válida.

La evidencia es más clara en los casos de fallo. Una respuesta que contradice directamente una restricción de tarjeta puntúa bajo en ambos lados. Pero las respuestas que AÑADEN contenido no fundamentado sin contradecir de plano la tarjeta fueron puntuadas como fieles por el juez (sin contradicción) y como no fieles por el humano (adición no respaldada). ¿Cómo corregimos el constructo de fidelidad y lo recalibramos honestamente, sin manipular el número de concordancia?

Impulsores de la decisión

Section titled “Impulsores de la decisión”
  • Validez de constructo. Una calibración de fidelidad solo tiene sentido si el humano y el juez puntúan el MISMO constructo. No lo hacían.
  • Sin manipulación. El bloqueo de diseño (ADR-0026) prohíbe ajustar para inflar la concordancia. Reetiquetar después de conocer las puntuaciones del juez sería manipulación si se hiciera para concordar con el juez; la corrección debe ser de principio, a ciegas y anclada.
  • Preservar las constantes congeladas. Los bins, el umbral de la compuerta, las dos dimensiones con compuerta, el encuadre de un solo evaluador y la disciplina de anclaje de etiquetas quedan sin cambios. Solo se corrige la definición de la rúbrica de fidelidad - estaba mal especificada, no se re-tuneó.

Opciones consideradas

Section titled “Opciones consideradas”
  • Corregir la rúbrica de fidelidad a un constructo de solo contradicción y recalibrar bajo cegado (elegida).
  • Dejar la rúbrica como está y reportar la concordancia baja (rechazada: reporta un artefacto de constructo como si fuera un desacuerdo real).
  • Reetiquetar hacia los valores del juez para subir la concordancia (rechazada y prohibida: es exactamente la manipulación de umbral que el bloqueo de diseño prohíbe).

Resultado de la decisión

Section titled “Resultado de la decisión”
  • Constructo corregido - solo contradicción. La fidelidad es la ausencia de afirmaciones que CONTRADICEN el contexto citado. Una puntuación alta significa que ninguna afirmación contradice la tarjeta citada; una baja significa que la respuesta afirma algo que la contradice directamente; una contradicción parcial o límite queda en el medio. Una adición no respaldada que no contradice nada NO baja la fidelidad - eso es una preocupación de fundamentación. La fundamentación (respaldo; las adiciones la bajan) queda como está y su calibración válida no se ve afectada. El constructo se completa del lado del juez en el registro del puntuador de fidelidad por rúbrica.
  • Recalibración limpia. Como el propietario ya había visto las puntuaciones de fidelidad de la primera corrida del juez, el reetiquetado no puede ser a ciegas para el propietario. Por eso un panel experto a ciegas - evaluadores que nunca vieron ninguna puntuación del juez - reetiqueta la fidelidad bajo la rúbrica corregida; el propietario adjudica solo los casos genuinamente disputados aplicando la regla de contradicción, así que decide la rúbrica, no el valor del juez; las nuevas etiquetas humanas se comprometen antes de una corrida fresca del juez, preservando el orden de anclaje de etiquetas; el juez se vuelve a correr y la concordancia se recomputa. Las etiquetas de fundamentación se arrastran sin cambios.
  • Salvaguardas anti-manipulación (portantes). La corrección es legítima, no manipulación de umbral, porque: (a) el constructo corregido es el constructo de fidelidad estándar, definido de forma independiente, elegido por validez, no para maximizar la concordancia; (b) el reetiquetado masivo es a ciegas respecto de las puntuaciones del juez; (c) cualquier aumento resultante de la concordancia es consecuencia de que ambos lados por fin midan el mismo constructo, no de mover una etiqueta hacia un valor del juez visto; (d) los bins, la compuerta y las dimensiones quedan intactos. Si la concordancia corregida sigue por debajo de la compuerta, ese es un hallazgo honesto y la única palanca es el reequilibrio del corpus (ADR-0027), nunca el movimiento de fronteras o del umbral.

Confirmación

Section titled “Confirmación”
  • La rúbrica de etiquetado enuncia el constructo de fidelidad de solo contradicción.
  • La fidelidad humana reetiquetada se compromete antes de las puntuaciones del juez re-corridas, así que el orden de anclaje de etiquetas se sostiene en cada caso.
  • Las etiquetas humanas de fundamentación no cambian respecto del primer etiquetado.
  • Los bins, el umbral de la compuerta y las dimensiones con compuerta quedan sin cambios; solo se corrige la redacción de la rúbrica de fidelidad.

Consecuencias

Section titled “Consecuencias”

Positivas

Section titled “Positivas”
  • La fidelidad ahora mide un constructo bien definido que coincide con el puntuador de producción, así que su concordancia se vuelve una medición válida.
  • La calibración de fundamentación queda intacta y sigue siendo válida.
  • Los dos constructos quedan explícitamente desligados - respaldo frente a contradicción - lo que aclara la superficie de evaluación más allá de la calibración.

Negativas

Section titled “Negativas”
  • Se requieren un reanclaje y una segunda corrida del juez (costo modesto).
  • Reetiquetar después de una primera corrida carga con una APARIENCIA de manipulación; el panel a ciegas, la rúbrica de principio y las constantes congeladas son lo que distingue esta corrección de la manipulación, y quedan visibles en el registro.

Neutrales

Section titled “Neutrales”
  • Las constantes del bloqueo de diseño y del corpus (bins, compuerta, dimensiones, encuadre, anclaje, composición paralela) quedan sin cambios.
  • Las puntuaciones de fidelidad de la primera corrida permanecen en el historial de versiones como el registro de por qué se encontró el desajuste de constructo.

Pros y contras de las opciones

Section titled “Pros y contras de las opciones”

Corregir a un constructo de solo contradicción, recalibrar a ciegas (elegida)

Section titled “Corregir a un constructo de solo contradicción, recalibrar a ciegas (elegida)”
  • Bueno, porque hace que ambos lados midan el mismo constructo, así que el número de concordancia se vuelve válido.
  • Bueno, porque el cegado y las constantes congeladas mantienen honesta la corrección.
  • Malo, porque cuesta un reanclaje y una segunda corrida del juez, y debe llevar salvaguardas visibles contra la apariencia de manipulación.

Dejar la rúbrica como está (rechazada)

Section titled “Dejar la rúbrica como está (rechazada)”
  • Bueno, porque no cambia nada y no necesita re-corrida.
  • Malo, porque publica un artefacto de constructo como si fuera un desacuerdo real humano-vs-juez.

Más información

Section titled “Más información”