Pular para o conteúdo
AI Agent Eval Harness

ADR-0030: Portão de calibração consultivo por padrão

  • Status: Accepted
  • Data: 2026-06-14
  • Responsáveis pela decisão: Waldemar Szemat

Contexto e definição do problema

Seção intitulada “Contexto e definição do problema”

O portão de calibração (ADR-0026) está cabeado como uma checagem aditiva no pipeline de avaliação: computa o kappa humano-vs-juiz agrupado e por dimensão sobre o corpus comprometido e contribui com um código de saída de falha quando uma dimensão com portão cai abaixo do limiar. Lê apenas as saídas do juiz, é determinístico e sem chave, e não toca o juiz. A trava de design diferiu uma sub-decisão à fase de cabeamento: o modo de ativação do portão - se um caminho de corpus não definido auto-resolve e bloqueia de forma dura, ou fica sem definir e pula.

A calibração medida produziu então um resultado honesto e incômodo. A fidelidade passa com folga, mas a fundamentação fica bem no limite do portão - estatisticamente indistinguível da régua: seu intervalo de confiança inclui o limiar e um locale passa por si só. O limiar e os bins congelados nunca são uma alavanca, então a dimensão abaixo do limite é aceita como uma medição honesta - uma leniência sistemática do juiz na banda limítrofe, não um artefato de corpus ou de truncamento. A única alavanca sancionada, o reequilíbrio do corpus, foi declinada neste ciclo: reequilibrar bem na linha seria ajustar a composição, não um conserto de princípio.

Isso deixa uma contradição. Bloquear de forma dura por padrão faria cada mudança no caminho padrão falhar o portão de fundamentação no limite - transformando um achado honesto e de limite conhecido em um CI permanentemente vermelho que a equipe seria pressionada a silenciar por exatamente as jogadas de manipulação que a trava de design proíbe. Como o portão cabeado deve ser ativado por padrão, dada uma dimensão que passa e uma dimensão honestamente no limite, sem manipular as constantes congeladas e sem registrar a divergência em silêncio?

Fatores de decisão

Seção intitulada “Fatores de decisão”
  • Sem manipulação. Os bins e o limiar estão congelados e nunca são uma alavanca; uma dimensão abaixo do limite é aceita como honesta, não eliminada por engenharia. O modo de ativação não deve virar uma porta dos fundos para silenciar o portão.
  • Registro honesto da divergência. Uma intenção anterior de bloquear de forma dura por padrão e o comportamento entregue diferem; a divergência é documentada, não absorvida em silêncio.
  • Aplicação demonstrável e de adesão explícita. Deve ser provado que o portão DISPARA na dimensão do limite e PASSA na dimensão que passa quando um operador adere - o mecanismo é real, não decorativo.
  • CI sem chave e determinístico em verde por padrão. O caminho padrão - sem chave do juiz, sem caminho de corpus fixado pelo operador - não deve ficar vermelho por um achado honesto de limite.
  • Reversibilidade. Passar a bloqueio por padrão mais adiante deve ser uma mudança de configuração de uma linha, não uma re-arquitetura.

Opções consideradas

Seção intitulada “Opções consideradas”
  • Consultivo / de adesão explícita por padrão (escolhida): um caminho de corpus não definido pula o portão (neutro à aprovação, registrado); a aplicação roda só quando um operador fixa explicitamente o caminho; sem resolução de caminho padrão.
  • Bloqueio duro por padrão (rejeitada): um caminho não definido auto-resolve e bloqueia cada execução padrão, o que deixa o CI vermelho no limite honesto de fundamentação e convida à manipulação proibida.
  • Mover o limiar ou os bins para a fundamentação passar (rejeitada, proibida): viola o congelamento anterior aos dados; é manipulação de limiar disfarçada de ajuste.
  • Reequilibrar o corpus neste ciclo para elevar a fundamentação (rejeitada neste ciclo): a única alavanca sancionada, declinada porque a discordância é uma leniência sistemática do juiz na banda limítrofe, não uma saturação do corpus, então reequilibrar na linha seria ajustar a composição.

Resultado da decisão

Seção intitulada “Resultado da decisão”

Opção escolhida: consultivo / de adesão explícita por padrão - o único modo de ativação que entrega um portão real e provado sem manipular as constantes congeladas nem transformar um achado honesto de limite em um CI permanentemente vermelho.

  • Consultivo por padrão. Com o caminho de corpus não definido (o padrão), o portão pula neutro à aprovação e o CI fica em verde; o pulo é registrado, não é silencioso. A aplicação é de adesão explícita: roda só quando um operador fixa explicitamente o caminho do corpus, momento em que o portão DISPARA na dimensão do limite e PASSA a outra. O portão está cabeado e é seguro sem chave; só sua ativação padrão é consultiva.
  • A intenção anterior de bloqueio duro é deixada de lado. Uma leitura anterior da sub-decisão de modo de ativação diferida teria resolvido um caminho não definido a um padrão e bloqueado de forma dura por padrão. Isso é deixado de lado: no corpus comprometido um portão duro por padrão deixaria o CI vermelho por um achado estatisticamente indistinguível da régua. A divergência é registrada aqui, não absorvida em silêncio.
  • Postura de não manipulação (explícita). Os bins e o limiar ficam congelados e não são tocados. O padrão consultivo NÃO é uma forma de fazer a dimensão do limite “passar”; é uma forma de entregar o portão honestamente enquanto essa dimensão fica no limite. A alavanca de reequilíbrio do corpus foi declinada neste ciclo como ajuste de composição - em contraste com a correção de fidelidade (ADR-0028 / ADR-0029), que foi uma mudança de construto de dois lados genuína, não uma jogada por perseguir o kappa.
  • Gatilho de passagem a bloqueio. O portão passa a bloqueio por padrão só uma vez que a dimensão do limite supere o portão em um ciclo futuro, e só via a alavanca sancionada de reequilíbrio do corpus (nunca um movimento de limiar ou bin). Até lá, a aplicação é a adesão explícita do operador.

Confirmação

Seção intitulada “Confirmação”
  • Os testes fixam a disposição de ponta a ponta: um caminho não definido sai em verde com o pulo registrado; um caminho fixado sai com falha e uma razão de portão por dimensão sobre a dimensão do limite - provando o pular-por-padrão / aplicar-por-adesão sobre o corpus comprometido.
  • O comentário de configuração e o fluxo de CI documentam o portão como aditivo, seguro sem chave e consultivo por padrão.
  • O juiz fica byte a byte sem alteração.

Consequências

Seção intitulada “Consequências”

Positivas

Seção intitulada “Positivas”
  • O portão é entregue honesto: um mecanismo real e provado que dispara na dimensão do limite e passa a outra quando há adesão, sem manipular as constantes congeladas.
  • O CI sem chave por padrão fica em verde ante um achado honesto de limite, então a equipe nunca é pressionada às jogadas de manipulação proibidas para des-avermelhar o portão.
  • A divergência em relação à intenção anterior de bloqueio duro é registrada abertamente, então um leitor pode ver por que o modo de ativação entregue difere.
  • Passar a bloqueio por padrão mais adiante é uma mudança de configuração de uma linha.

Negativas

Seção intitulada “Negativas”
  • O caminho padrão não aplica a calibração até que um operador adira, então uma regressão na concordância do juiz não deixaria o CI padrão vermelho até lá. A chave de adesão e o corpus comprometido são a mitigação; a troca é deliberada enquanto a dimensão fica no limite.
  • Dois estados de ativação - pular-por-padrão e aplicar-por-adesão - são uma pequena superfície extra que um leitor deve entender.

Neutras

Seção intitulada “Neutras”
  • Só a ativação padrão mudou (não definido pula em vez de resolver-e-bloquear); o alvo do corpus e as constantes congeladas ficam sem alteração.
  • A chave de adesão não adiciona nenhum segredo novo nem dependência de execução nova.
  • As demais decisões da trava de design ficam intactas; isto estreita só a sub-decisão de modo de ativação.

Prós e contras das opções

Seção intitulada “Prós e contras das opções”

Consultivo / de adesão explícita por padrão (escolhida)

Seção intitulada “Consultivo / de adesão explícita por padrão (escolhida)”
  • Bom, porque entrega um portão real e provado sem manipular os bins nem o limiar congelados.
  • Bom, porque o CI sem chave por padrão fica em verde ante um achado honesto de limite, tirando a pressão de silenciar o portão.
  • Bom, porque passar a bloqueio por padrão mais adiante é uma mudança de uma linha.
  • Ruim, porque o caminho padrão não aplica a calibração até que um operador adira.

Bloqueio duro por padrão (rejeitada)

Seção intitulada “Bloqueio duro por padrão (rejeitada)”
  • Bom, porque aplicaria a calibração em cada execução padrão.
  • Ruim, porque no corpus comprometido deixa o CI vermelho no limite honesto de fundamentação e convida à manipulação de limiar ou bins que a trava de design proíbe.

Mais informações

Seção intitulada “Mais informações”