ADR-0029: Puntuador de fidelidad por rúbrica

Estado: Accepted
Fecha: 2026-06-14
Responsables de la decisión: Waldemar Szemat

Contexto y planteamiento del problema

La corrección del constructo del lado humano (ADR-0028) re-especificó la fidelidad como solo contradicción, pero tras un reetiquetado a ciegas la concordancia seguía baja. El desajuste residual no era un artefacto de etiquetado; era un problema de idoneidad de la métrica en el propio puntuador de producción.

El puntuador de fidelidad de producción envolvía una métrica de biblioteca lista para usar que mide si las afirmaciones de la respuesta contradicen los HECHOS del contexto recuperado. Pero en este dominio el contexto citado es una tarjeta de base de conocimiento cuyo cuerpo lleva no solo hechos sino REGLAS DE COMPORTAMIENTO explícitas que el agente no debe violar - por ejemplo, nunca aconsejar doblar una dosis, nunca aconsejar suspender un medicamento, no diagnosticar. Los casos de fallo que violan una regla sin contradecir un hecho exponen el desajuste: una respuesta que contradice un hecho Y viola una regla puntúa bajo en ambos lados, pero las respuestas que violan una regla (aconsejar una acción prohibida) sin contradecir de plano un hecho fueron puntuadas como fieles por la métrica lista para usar y como no fieles por el humano corregido. Los dos lados medían constructos distintos - el humano puntúa la contradicción del contexto citado incluidas sus reglas; la métrica de biblioteca puntúa la contradicción de los hechos solamente. Este desajuste residual es el espejo, del lado del juez, del desajuste del lado humano que ADR-0028 corrigió.

¿Cómo hacemos que el puntuador de fidelidad de producción mida el mismo constructo de contradicción-de-reglas que usa la rúbrica humana corregida, sin manipular el número de concordancia?

Impulsores de la decisión

Validez de constructo en ambos lados. ADR-0028 arregló el lado humano. El lado del juez debe medir el mismo constructo o la calibración no tiene sentido.
Ajuste al dominio. El contexto citado porta reglas. Una métrica de fidelidad ciega a las reglas no puede detectar las respuestas no fieles más importantes del dominio - aconsejar una acción prohibida.
Sin manipulación. El cambio de puntuador debe ser una corrección de constructo de principio, no una palanca movida para subir la concordancia.
Preservar las constantes congeladas y el invariante del juez. Los bins, la compuerta, las dos dimensiones con compuerta, el encuadre y el anclaje se sostienen; el juez es de solo lectura y queda sin cambios.

Opciones consideradas

Reemplazar la métrica lista para usar por un puntuador de fidelidad por rúbrica del juez que lee la tarjeta completa y puntúa las violaciones de reglas (elegida).
Mantener la métrica lista para usar y aceptar la concordancia baja (rechazada: deja al juez ciego a las violaciones de reglas, la falta de fidelidad más importante del dominio, y reporta un desajuste de constructo como un desacuerdo real).
Post-procesar la salida de la métrica con una comprobación de reglas añadida (rechazada: un segundo constructo cosido a una métrica de solo hechos es más difícil de razonar que una única rúbrica que puntúa todo el constructo).

Resultado de la decisión

Reemplazar la métrica lista para usar por un puntuador por rúbrica. El puntuador de fidelidad ahora impulsa el mismo juez que el puntuador de fundamentación, con una rúbrica que mide la contradicción o violación del contexto citado incluidas sus reglas de comportamiento explícitas. Una puntuación alta significa que la respuesta no contradice nada del contexto citado y no viola ninguna de sus reglas enunciadas; una baja significa que afirma o aconseja algo que contradice el contexto o viola una regla - aconsejar una dosis doble, aconsejar suspender un medicamento, declarar una cura y demás; una contradicción parcial o tensión queda en el medio. Una adición no respaldada que no contradice nada no baja la fidelidad - eso es una preocupación de fundamentación. Este es el constructo humano exacto de ADR-0028, ahora reflejado del lado del juez.
El encuadre de contexto completo es portante. El puntuador de fundamentación lee solo la cabecera de cada tarjeta citada, donde están las afirmaciones de respaldo. Pero las reglas de comportamiento que este puntuador debe comprobar están en la COLA de la tarjeta, más allá del corte de cabecera. El puntuador de fidelidad, por tanto, encuadra al juez con el texto completo de la tarjeta citada. Truncar a la cabecera ocultaría todas las reglas y puntuaría en silencio todas las respuestas como fieles; una columna de fidelidad uniformemente alta es la firma de esa regresión, y un resguardo en la ruta de puntuación atrapa una columna toda-alta - además de una toda-baja - para que la falla no se cuele en silencio.
Alcance. Esto cambia el puntuador de fidelidad de producción en toda la superficie de evaluación, no solo en la calibración, así que ambos lados ahora miden contradicción-de-reglas. La métrica de alucinación conserva su implementación de biblioteca lista para usar - un constructo distinto, y no una dimensión de calibración con compuerta. El juez queda intacto; el cambio está enteramente en el puntuador.
Salvaguardas anti-manipulación (portantes). El reemplazo es legítimo, no manipulación de umbral, porque: (a) el nuevo constructo es la definición de principio, correcta para el dominio, y es el mismo constructo que usa la rúbrica humana corregida, elegido por validez; (b) las etiquetas humanas son a ciegas respecto del juez; (c) los bins, la compuerta y las dimensiones quedan intactos; (d) cualquier cambio resultante de la concordancia es consecuencia de que ambos lados por fin midan el mismo constructo. Si la concordancia corregida sigue por debajo de la compuerta, ese es un hallazgo honesto y la única palanca es el reequilibrio del corpus (ADR-0027).

Confirmación

El puntuador de fidelidad llama al juez con una rúbrica de contradicción-de- reglas y lo encuadra con el texto completo de la tarjeta citada (sin truncar la cabecera); las pruebas fijan ambos comportamientos.
El juez queda byte por byte sin cambios.
La fidelidad humana reetiquetada se compromete antes de las puntuaciones del juez re-corridas, así que el orden de anclaje de etiquetas se sostiene en cada caso; las etiquetas y puntuaciones de fundamentación quedan sin cambios.
Los bins, el umbral de la compuerta y las dimensiones con compuerta quedan sin cambios; solo se corrige el constructo del puntuador de fidelidad.

Consecuencias

Positivas

Ambos lados de la concordancia de fidelidad miden la contradicción del contexto citado incluidas sus reglas, así que la concordancia se vuelve una medición válida.
El puntuador de fidelidad de producción ahora puede detectar las respuestas no fieles más importantes del dominio - aconsejar una acción prohibida - que la métrica lista para usar dejaba pasar.
Una dependencia de biblioteca pesada menos sobre una dimensión con compuerta: la ruta de fidelidad ahora es una llamada delgada por rúbrica del juez, como la fundamentación.
La calibración de fundamentación queda intacta y sigue siendo válida.

Negativas

Se requieren un reanclaje y una segunda corrida del juez (costo modesto).
Los números de fidelidad de producción en la superficie principal de evaluación se desplazan, porque la métrica ahora penaliza las violaciones de reglas; los reportes de evaluación comprometidos se regeneran en la siguiente corrida y el diff es esperado.

Neutrales

Las constantes del bloqueo de diseño, del corpus y del constructo quedan sin cambios.
La métrica de alucinación y su adaptador de biblioteca permanecen.
Las primeras puntuaciones de fidelidad basadas en biblioteca permanecen en el historial de versiones como el registro de por qué se encontró la brecha de idoneidad de la métrica.

Pros y contras de las opciones

Puntuador de fidelidad por rúbrica del juez sobre la tarjeta completa (elegida)

Bueno, porque hace que el juez mida el mismo constructo inclusivo de reglas que el humano, así que la concordancia es válida.
Bueno, porque detecta la falta de fidelidad más importante del dominio - aconsejar una acción prohibida - y simplifica la ruta de fidelidad a una llamada delgada del juez.
Malo, porque los números de fidelidad de producción se desplazan y se necesitan un reanclaje y una segunda corrida del juez.

Mantener la métrica lista para usar (rechazada)

Bueno, porque no cambia nada del lado del juez.
Malo, porque deja al juez ciego a las violaciones de reglas y reporta un desajuste de constructo como un desacuerdo real humano-vs-juez.

Más información

ADR-0026: Bloqueo de diseño de la calibración del juez - el encuadre, los bins, el umbral, las dimensiones y el anclaje congelados que este cambio preserva.
ADR-0027: Reequilibrio del corpus de calibración - el corpus cuyos casos de fallo expusieron la ceguera a las reglas.
ADR-0028: Corrección del constructo de fidelidad - el constructo del lado humano que este puntuador refleja del lado del juez.
MADR 4.0.0: https://adr.github.io/madr/