ADR-0027: Reequilibrio del corpus de calibración

Estado: Accepted
Fecha: 2026-06-14
Responsables de la decisión: Waldemar Szemat

Contexto y planteamiento del problema

El bloqueo de diseño (ADR-0026) congeló el encuadre, los bins, el umbral y las dimensiones de la compuerta de calibración, y dejó la composición del corpus como la única palanca abierta - precomprometiendo el reequilibrio del corpus como el único remedio sancionado si el corpus no lograra discriminar. Una composición inicial eligió un sesgo realista de producción: en su mayoría aprobados limpios, una región límite y de fallo delgada, un único modo de fallo repetido y una división por locale no paralela.

Antes de gastar la pasada única de etiquetado humano y la corrida del juez en ella, una revisión de panel experto encontró esa composición estructuralmente degenerada, no defectuosa en lo cosmético. El corpus estaba saturado en los polos - construido de forma tan limpia que el etiquetado era casi determinista y los evaluadores a ciegas coincidían casi por unanimidad; todo el ancla baja descansaba en un único modo de fallo en un único escenario; y los locales no eran paralelos, lo que rompe la comparación de diagnósticos por locale de la que depende la compuerta. El veredicto: un kappa humano-vs-juez sobre ese corpus sería circular por construcción y casi no informativo - precisamente la paradoja de kappa que el bloqueo de diseño anticipó.

Una calibración cuyo corpus no puede discriminar no mide lo que dice medir. ¿Cómo reequilibramos el corpus para que la concordancia sea genuinamente informativa, sin tocar ninguna de las constantes congeladas que hacen falsable la afirmación de concordancia?

Impulsores de la decisión

Discriminación por sobre el realismo de superficie. El valor de un kappa es separar a un juez calibrado de uno miscalibrado, lo que necesita masa en la región límite donde un humano y el juez pueden diferir genuinamente - no un corpus de aprobados evidentes.
Aplicar el remedio, no manipularlo. Añadir casos límite y de fallo eleva la dificultad, que es lo opuesto a manipular el umbral; las fronteras y la compuerta no se mueven.
Paralelismo entre locales. Los diagnósticos por locale solo son comparables si los mismos escenarios aparecen en cada locale.
Modos de fallo diversos. Un único modo de fallo no puede anclar el extremo bajo ni caracterizar la frontera entre fallo y límite.
Previo a los datos, previo al etiquetado. El reequilibrio ocurre antes de escribir cualquier etiqueta humana, así que la disciplina de anclaje de etiquetas se mantiene intacta.

Opciones consideradas

Un corpus ponderado hacia lo límite, paralelo entre locales y diverso en defectos (elegida).
Mantener la composición realista de producción, saturada en los polos (rechazada: el panel mostró que arroja un kappa casi circular y no informativo, con todo el extremo bajo apoyado en un único modo de fallo y los locales no paralelos).
Mover una frontera o bajar el umbral para rescatar un kappa bajo (rechazada y prohibida por el bloqueo de diseño: eso es manipular el umbral; la composición es la única palanca permitida).

Resultado de la decisión

La composición del corpus se fija para discriminar; cada constante de integridad del bloqueo de diseño se conserva sin cambios.

Ponderado hacia lo límite. El corpus sobremuestrea la región límite cerca de las fronteras de los bins, porque los casos límite son los informativos para un kappa: su puntuación continua del juez puede caer a cualquier lado de una frontera, así que son justo donde un humano y el juez pueden discrepar genuinamente. Los aprobados limpios, que ambos etiquetan igual, portan poca información de concordancia.
Paralelo entre locales. Los mismos escenarios se instancian en en, es-419 y pt-BR - solo cambia el idioma; la tarjeta citada, el estrato previsto y el modo de defecto son idénticos en los tres - así que los diagnósticos por locale comparan lo comparable.
Diverso en defectos. Los casos de fallo abarcan modos de fallo distintos en tarjetas distintas - contradecir una restricción explícita de la tarjeta, fabricar un remedio que ninguna tarjeta respalda y responder fuera de alcance - en lugar de una única plantilla repetida. Los casos límite igualmente abarcan varios modos de defecto distintos, así que el estrato límite no es una única plantilla de frase añadida; la uniformidad de plantilla infla por sí misma la concordancia.
Todo lo congelado queda congelado. Las fronteras de los bins, el umbral de la compuerta y el colchón de media de corpus, el encuadre humano-vs-juez de un solo evaluador y su nombrado bloqueado, las dos dimensiones con compuerta, el kappa de Cohen ponderado linealmente, los cuatro diagnósticos de detección, la disciplina de anclaje de etiquetas y el corpus público solo sintético (ADR-0018) quedan todos sin cambios. Solo se mueve la composición - la única palanca que el bloqueo de diseño (ADR-0026) dejó abierta para exactamente este caso.
Previo a los datos, previo al etiquetado. La composición se fija antes de escribir cualquier etiqueta humana, así que la disciplina de anclaje de etiquetas queda intacta.

Confirmación

El corpus lleva la composición revisada, paralela por escenario entre los tres locales, con modos de fallo y límite diversos.
El módulo de calibración está sin cambios: las fronteras, el umbral, el encuadre, las dimensiones y los diagnósticos congelados están intactos.
La verificación de fugas se mantiene verde con el corpus público reequilibrado presente.

Consecuencias

Positivas

El kappa humano-vs-juez se vuelve genuinamente informativo: la masa límite cerca de las fronteras da a la métrica la varianza que necesita para discriminar.
El paralelismo entre locales restaura diagnósticos por locale comparables; la compuerta agrupada queda balanceada entre locales.
Los modos de fallo y límite diversos caracterizan las fronteras en lugar de una única plantilla repetida.
La pasada de etiquetado humano se vuelve un ejercicio significativo de juicio en lugar de un registro casi determinista de casos obvios.

Negativas

La carga de etiquetado sube de forma modesta.
La mezcla es menos realista en superficie; el corpus sobremuestrea a propósito la región límite, así que la compuerta agrupada refleja una distribución más difícil que la de producción - el intercambio buscado por una métrica que discrimina.
Un corpus cargado hacia lo límite es en sí más difícil de etiquetar con consistencia; los cuatro diagnósticos de detección siguen siendo el resguardo para leer un kappa bajo correctamente.

Neutrales

El corpus se mantiene en el régimen de muestra pequeña para el que se dimensionaron el umbral y el colchón; esos están sin cambios.
La compuerta por locale sigue diferida (compuerta agrupada, diagnósticos por locale); el paralelismo entre locales vuelve más limpia una futura promoción por locale.
El reequilibrio es previo a los datos y al etiquetado, así que la disciplina de anclaje de etiquetas queda intacta.

Pros y contras de las opciones

Corpus ponderado hacia lo límite, paralelo y diverso en defectos (elegida)

Bueno, porque da al kappa la varianza discriminante que le falta a un corpus evidente.
Bueno, porque el paralelismo entre locales vuelve comparables los diagnósticos por locale, y los modos diversos caracterizan las fronteras.
Malo, porque eleva la carga de etiquetado y es una mezcla más difícil y menos realista de superficie para etiquetar con consistencia.

Mantener la composición realista de producción saturada en los polos (rechazada)

Bueno, porque refleja la distribución de puntuaciones que produce un cambio real.
Malo, porque el panel mostró que produce un kappa casi circular y no informativo: el extremo bajo descansa en un único modo de fallo y los locales no son paralelos.

Más información

ADR-0026: Bloqueo de diseño de la calibración del juez - las constantes de integridad congeladas que este reequilibrio no toca, y el remedio precomprometido que aplica.
ADR-0018: Invariante de datos solo sintéticos - por qué el corpus público reequilibrado es seguro de publicar.
MADR 4.0.0: https://adr.github.io/madr/