Pular para o conteúdo
AI Agent Eval Harness

ADR-0028: Correção do construto de fidelidade

  • Status: Accepted
  • Data: 2026-06-14
  • Responsáveis pela decisão: Waldemar Szemat

Contexto e definição do problema

Seção intitulada “Contexto e definição do problema”

A primeira execução de calibração sobre o corpus reequilibrado (ADR-0027) produziu uma concordância de fundamentação válida mas uma concordância de fidelidade baixa. A análise de causa raiz encontrou que o número baixo de fidelidade era um descasamento de construto no lado humano, não um defeito do juiz.

A rubrica humana de fidelidade estava mal especificada: mandava o avaliador penalizar uma resposta que “evita contradizer OU ACRESCENTAR conteúdo além do contexto citado”. Mas penalizar uma adição não apoiada é exatamente o que o construto de fundamentação já faz. Então o rótulo humano de fidelidade media um construto parecido com fundamentação, enquanto o pontuador de produção media contradição. Os dois lados pontuavam coisas distintas, então o kappa baixo de fidelidade era um artefato de construto, não uma medição válida de concordância humano-vs-juiz. A fundamentação, por outro lado, usava um construto pareado nos dois lados (apoio), então sua concordância era válida.

A evidência é mais clara nos casos de falha. Uma resposta que contradiz diretamente uma restrição de cartão pontua baixo nos dois lados. Mas as respostas que ACRESCENTAM conteúdo não fundamentado sem contradizer de forma direta o cartão foram pontuadas como fiéis pelo juiz (sem contradição) e como não fiéis pelo humano (adição não apoiada). Como corrigimos o construto de fidelidade e o recalibramos honestamente, sem manipular o número de concordância?

Fatores de decisão

Seção intitulada “Fatores de decisão”
  • Validade de construto. Uma calibração de fidelidade só tem sentido se o humano e o juiz pontuam o MESMO construto. Eles não pontuavam.
  • Sem manipulação. A trava de design (ADR-0026) proíbe ajustar para inflar a concordância. Rerotular depois de conhecer as pontuações do juiz seria manipulação se feito para concordar com o juiz; a correção deve ser de princípio, às cegas e ancorada.
  • Preservar as constantes congeladas. Os bins, o limiar do portão, as duas dimensões com portão, o enquadramento de um único avaliador e a disciplina de ancoragem de rótulos ficam sem alteração. Só se corrige a definição da rubrica de fidelidade - ela estava mal especificada, não foi re-ajustada.

Opções consideradas

Seção intitulada “Opções consideradas”
  • Corrigir a rubrica de fidelidade para um construto de somente contradição e recalibrar sob cegamento (escolhida).
  • Deixar a rubrica como está e reportar a concordância baixa (rejeitada: reporta um artefato de construto como se fosse uma discordância real).
  • Rerotular em direção aos valores do juiz para subir a concordância (rejeitada e proibida: é exatamente a manipulação de limiar que a trava de design proíbe).

Resultado da decisão

Seção intitulada “Resultado da decisão”
  • Construto corrigido - somente contradição. A fidelidade é a ausência de afirmações que CONTRADIZEM o contexto citado. Uma pontuação alta significa que nenhuma afirmação contradiz o cartão citado; uma baixa significa que a resposta afirma algo que o contradiz diretamente; uma contradição parcial ou limítrofe fica no meio. Uma adição não apoiada que não contradiz nada NÃO baixa a fidelidade - isso é uma preocupação de fundamentação. A fundamentação (apoio; as adições a baixam) fica como está e sua calibração válida não é afetada. O construto é completado do lado do juiz no registro do pontuador de fidelidade por rubrica.
  • Recalibração limpa. Como o proprietário já tinha visto as pontuações de fidelidade da primeira execução do juiz, a rerotulagem não pode ser às cegas para o proprietário. Por isso um painel especialista às cegas - avaliadores que nunca viram nenhuma pontuação do juiz - rerotula a fidelidade sob a rubrica corrigida; o proprietário adjudica apenas os casos genuinamente disputados aplicando a regra de contradição, então decide a rubrica, não o valor do juiz; os novos rótulos humanos são comprometidos antes de uma execução fresca do juiz, preservando a ordem de ancoragem de rótulos; o juiz é re-executado e a concordância é recomputada. Os rótulos de fundamentação são arrastados sem alteração.
  • Salvaguardas anti-manipulação (de sustentação). A correção é legítima, não manipulação de limiar, porque: (a) o construto corrigido é o construto de fidelidade padrão, definido de forma independente, escolhido por validade, não para maximizar a concordância; (b) a rerotulagem em massa é às cegas quanto às pontuações do juiz; (c) qualquer aumento resultante da concordância é consequência de os dois lados finalmente medirem o mesmo construto, não de mover um rótulo em direção a um valor do juiz visto; (d) os bins, o portão e as dimensões ficam intactos. Se a concordância corrigida seguir abaixo do portão, esse é um achado honesto e a única alavanca é o reequilíbrio do corpus (ADR-0027), nunca o movimento de fronteiras ou do limiar.

Confirmação

Seção intitulada “Confirmação”
  • A rubrica de rotulagem enuncia o construto de fidelidade de somente contradição.
  • A fidelidade humana rerotulada é comprometida antes das pontuações do juiz re-executadas, então a ordem de ancoragem de rótulos se sustenta em cada caso.
  • Os rótulos humanos de fundamentação não mudam em relação à primeira rotulagem.
  • Os bins, o limiar do portão e as dimensões com portão ficam sem alteração; só se corrige a redação da rubrica de fidelidade.

Consequências

Seção intitulada “Consequências”

Positivas

Seção intitulada “Positivas”
  • A fidelidade agora mede um construto bem definido que coincide com o pontuador de produção, então sua concordância se torna uma medição válida.
  • A calibração de fundamentação fica intacta e segue válida.
  • Os dois construtos ficam explicitamente desvinculados - apoio frente a contradição - o que esclarece a superfície de avaliação além da calibração.

Negativas

Seção intitulada “Negativas”
  • São necessários um reancoramento e uma segunda execução do juiz (custo modesto).
  • Rerotular depois de uma primeira execução carrega uma APARÊNCIA de manipulação; o painel às cegas, a rubrica de princípio e as constantes congeladas são o que distingue esta correção da manipulação, e ficam visíveis no registro.

Neutras

Seção intitulada “Neutras”
  • As constantes da trava de design e do corpus (bins, portão, dimensões, enquadramento, ancoragem, composição paralela) ficam sem alteração.
  • As pontuações de fidelidade da primeira execução permanecem no histórico de versões como o registro de por que o descasamento de construto foi encontrado.

Prós e contras das opções

Seção intitulada “Prós e contras das opções”

Corrigir para um construto de somente contradição, recalibrar às cegas (escolhida)

Seção intitulada “Corrigir para um construto de somente contradição, recalibrar às cegas (escolhida)”
  • Bom, porque faz os dois lados medirem o mesmo construto, então o número de concordância se torna válido.
  • Bom, porque o cegamento e as constantes congeladas mantêm a correção honesta.
  • Ruim, porque custa um reancoramento e uma segunda execução do juiz, e deve carregar salvaguardas visíveis contra a aparência de manipulação.

Deixar a rubrica como está (rejeitada)

Seção intitulada “Deixar a rubrica como está (rejeitada)”
  • Bom, porque não muda nada e não precisa de re-execução.
  • Ruim, porque publica um artefato de construto como se fosse uma discordância real humano-vs-juiz.

Mais informações

Seção intitulada “Mais informações”