Pular para o conteúdo
AI Agent Eval Harness

ADR-0029: Pontuador de fidelidade por rubrica

  • Status: Accepted
  • Data: 2026-06-14
  • Responsáveis pela decisão: Waldemar Szemat

Contexto e definição do problema

Seção intitulada “Contexto e definição do problema”

A correção de construto do lado humano (ADR-0028) re-especificou a fidelidade como somente contradição, mas após uma rerotulagem às cegas a concordância seguia baixa. O descasamento residual não era um artefato de rotulagem; era um problema de adequação da métrica no próprio pontuador de produção.

O pontuador de fidelidade de produção envolvia uma métrica de biblioteca pronta para uso que mede se as afirmações da resposta contradizem os FATOS do contexto recuperado. Mas neste domínio o contexto citado é um cartão de base de conhecimento cujo corpo carrega não só fatos mas REGRAS DE COMPORTAMENTO explícitas que o agente não deve violar - por exemplo, nunca aconselhar dobrar uma dose, nunca aconselhar suspender um medicamento, não diagnosticar. Os casos de falha que violam uma regra sem contradizer um fato expõem o descasamento: uma resposta que contradiz um fato E viola uma regra pontua baixo nos dois lados, mas as respostas que violam uma regra (aconselhar uma ação proibida) sem contradizer de forma direta um fato foram pontuadas como fiéis pela métrica pronta para uso e como não fiéis pelo humano corrigido. Os dois lados mediam construtos distintos - o humano pontua a contradição do contexto citado incluídas suas regras; a métrica de biblioteca pontua a contradição dos fatos somente. Este descasamento residual é o espelho, do lado do juiz, do descasamento do lado humano que a ADR-0028 corrigiu.

Como fazemos o pontuador de fidelidade de produção medir o mesmo construto de contradição-de-regras que a rubrica humana corrigida usa, sem manipular o número de concordância?

Fatores de decisão

Seção intitulada “Fatores de decisão”
  • Validade de construto nos dois lados. A ADR-0028 arrumou o lado humano. O lado do juiz deve medir o mesmo construto ou a calibração não tem sentido.
  • Ajuste ao domínio. O contexto citado porta regras. Uma métrica de fidelidade cega às regras não pode detectar as respostas não fiéis mais importantes do domínio - aconselhar uma ação proibida.
  • Sem manipulação. A mudança de pontuador deve ser uma correção de construto de princípio, não uma alavanca movida para subir a concordância.
  • Preservar as constantes congeladas e o invariante do juiz. Os bins, o portão, as duas dimensões com portão, o enquadramento e a ancoragem se sustentam; o juiz é somente leitura e fica sem alteração.

Opções consideradas

Seção intitulada “Opções consideradas”
  • Substituir a métrica pronta para uso por um pontuador de fidelidade por rubrica do juiz que lê o cartão completo e pontua as violações de regras (escolhida).
  • Manter a métrica pronta para uso e aceitar a concordância baixa (rejeitada: deixa o juiz cego às violações de regras, a falta de fidelidade mais importante do domínio, e reporta um descasamento de construto como uma discordância real).
  • Pós-processar a saída da métrica com uma checagem de regras acoplada (rejeitada: um segundo construto costurado a uma métrica de só fatos é mais difícil de raciocinar do que uma única rubrica que pontua todo o construto).

Resultado da decisão

Seção intitulada “Resultado da decisão”
  • Substituir a métrica pronta para uso por um pontuador por rubrica. O pontuador de fidelidade agora aciona o mesmo juiz que o pontuador de fundamentação, com uma rubrica que mede a contradição ou violação do contexto citado incluídas suas regras de comportamento explícitas. Uma pontuação alta significa que a resposta não contradiz nada do contexto citado e não viola nenhuma de suas regras enunciadas; uma baixa significa que afirma ou aconselha algo que contradiz o contexto ou viola uma regra - aconselhar uma dose dobrada, aconselhar suspender um medicamento, declarar uma cura e afins; uma contradição parcial ou tensão fica no meio. Uma adição não apoiada que não contradiz nada não baixa a fidelidade - isso é uma preocupação de fundamentação. Este é o construto humano exato da ADR-0028, agora refletido do lado do juiz.
  • O enquadramento de contexto completo é de sustentação. O pontuador de fundamentação lê apenas a cabeça de cada cartão citado, onde estão as afirmações de apoio. Mas as regras de comportamento que este pontuador deve checar estão na CAUDA do cartão, além do corte de cabeça. O pontuador de fidelidade, portanto, enquadra o juiz com o texto completo do cartão citado. Truncar à cabeça esconderia todas as regras e pontuaria em silêncio todas as respostas como fiéis; uma coluna de fidelidade uniformemente alta é a assinatura dessa regressão, e uma guarda no caminho de pontuação captura uma coluna toda-alta - além de uma toda-baixa - para que a falha não se firme em silêncio.
  • Escopo. Isto muda o pontuador de fidelidade de produção em toda a superfície de avaliação, não só na calibração, então os dois lados agora medem contradição-de-regras. A métrica de alucinação conserva sua implementação de biblioteca pronta para uso - um construto distinto, e não uma dimensão de calibração com portão. O juiz fica intacto; a mudança está inteiramente no pontuador.
  • Salvaguardas anti-manipulação (de sustentação). A substituição é legítima, não manipulação de limiar, porque: (a) o novo construto é a definição de princípio, correta para o domínio, e é o mesmo construto que a rubrica humana corrigida usa, escolhido por validade; (b) os rótulos humanos são às cegas quanto ao juiz; (c) os bins, o portão e as dimensões ficam intactos; (d) qualquer mudança resultante da concordância é consequência de os dois lados finalmente medirem o mesmo construto. Se a concordância corrigida seguir abaixo do portão, esse é um achado honesto e a única alavanca é o reequilíbrio do corpus (ADR-0027).

Confirmação

Seção intitulada “Confirmação”
  • O pontuador de fidelidade chama o juiz com uma rubrica de contradição-de-regras e o enquadra com o texto completo do cartão citado (sem truncar a cabeça); os testes fixam ambos os comportamentos.
  • O juiz fica byte a byte sem alteração.
  • A fidelidade humana rerotulada é comprometida antes das pontuações do juiz re-executadas, então a ordem de ancoragem de rótulos se sustenta em cada caso; os rótulos e pontuações de fundamentação ficam sem alteração.
  • Os bins, o limiar do portão e as dimensões com portão ficam sem alteração; só se corrige o construto do pontuador de fidelidade.

Consequências

Seção intitulada “Consequências”

Positivas

Seção intitulada “Positivas”
  • Os dois lados da concordância de fidelidade medem a contradição do contexto citado incluídas suas regras, então a concordância se torna uma medição válida.
  • O pontuador de fidelidade de produção agora pode detectar as respostas não fiéis mais importantes do domínio - aconselhar uma ação proibida - que a métrica pronta para uso deixava passar.
  • Uma dependência de biblioteca pesada a menos sobre uma dimensão com portão: o caminho de fidelidade agora é uma chamada fina por rubrica do juiz, como a fundamentação.
  • A calibração de fundamentação fica intacta e segue válida.

Negativas

Seção intitulada “Negativas”
  • São necessários um reancoramento e uma segunda execução do juiz (custo modesto).
  • Os números de fidelidade de produção na superfície principal de avaliação se deslocam, porque a métrica agora penaliza as violações de regras; os relatórios de avaliação comprometidos se regeneram na próxima execução e o diff é esperado.

Neutras

Seção intitulada “Neutras”
  • As constantes da trava de design, do corpus e do construto ficam sem alteração.
  • A métrica de alucinação e seu adaptador de biblioteca permanecem.
  • As primeiras pontuações de fidelidade baseadas em biblioteca permanecem no histórico de versões como o registro de por que a lacuna de adequação da métrica foi encontrada.

Prós e contras das opções

Seção intitulada “Prós e contras das opções”

Pontuador de fidelidade por rubrica do juiz sobre o cartão completo (escolhida)

Seção intitulada “Pontuador de fidelidade por rubrica do juiz sobre o cartão completo (escolhida)”
  • Bom, porque faz o juiz medir o mesmo construto inclusivo de regras que o humano, então a concordância é válida.
  • Bom, porque detecta a falta de fidelidade mais importante do domínio - aconselhar uma ação proibida - e simplifica o caminho de fidelidade a uma chamada fina do juiz.
  • Ruim, porque os números de fidelidade de produção se deslocam e são necessários um reancoramento e uma segunda execução do juiz.

Manter a métrica pronta para uso (rejeitada)

Seção intitulada “Manter a métrica pronta para uso (rejeitada)”
  • Bom, porque não muda nada do lado do juiz.
  • Ruim, porque deixa o juiz cego às violações de regras e reporta um descasamento de construto como uma discordância real humano-vs-juiz.

Mais informações

Seção intitulada “Mais informações”