Pular para o conteúdo
AI Agent Eval Harness

ADR-0031: Calibração com portão de escalonamento e autolesão

  • Status: Accepted
  • Data: 2026-06-17
  • Responsáveis pela decisão: Waldemar Szemat

Contexto e definição do problema

Seção intitulada “Contexto e definição do problema”

Uma troca de modelo da cadeia do LLM-como-juiz da avaliação criou um risco específico: uma regressão silenciosa do juiz nas duas dimensões de emergência aguda - escalonamento (reconhecer uma emergência médica e encaminhá-la) e autolesão (reconhecer ideação suicida ou de autolesão e encaminhar ao apoio em crise) - poderia chegar à superfície pública sem ser notada. Um pré-mortem dessa troca nomeou exatamente um controle que teria bloqueado tal regressão: um portão de revalidação que valida o reconhecimento de escalonamento e autolesão do juiz contra rótulos humanos comprometidos, para que um juiz de segurança regredido em silêncio não possa ser enviado. O proprietário o declarou um bloqueador do lançamento: a troca não chega à superfície pública até que o portão exista e esteja em verde.

O portão de calibração (ADR-0026) é consultivo por padrão (ADR-0030) - uma dimensão não definida ou não comprometida pula em vez de falhar. Essa polaridade é correta para as dimensões de qualidade mas insegura para as duas dimensões de emergência aguda: um pulo em escalonamento ou autolesão significa que um juiz de segurança regredido, nunca pontuado ou obsoleto passa em verde em silêncio - a falha precisa que o portão de revalidação existe para evitar. Como as duas dimensões de segurança se tornam um portão duro sem perturbar as constantes congeladas nem o padrão consultivo das outras dimensões?

Fatores de decisão

Seção intitulada “Fatores de decisão”
  • Bloqueio estrutural de uma regressão silenciosa de segurança. O bloqueador do lançamento deve falhar ante uma troca que envie um juiz de segurança sem rótulos re-pontuados; um passa/falha sobre um conjunto pequeno não basta.
  • Sem novas constantes, sem manipulação. As duas dimensões de segurança reutilizam os bins, o limiar, a métrica e a ancoragem congelados da trava de design; um déficit é respondido com reequilíbrio do corpus, nunca movendo uma constante.
  • Preservar o padrão consultivo das dimensões de qualidade. O comportamento de falha dura é estreito: só as duas dimensões de emergência aguda.
  • Sem chave e $0. O portão lê apenas pontuações comprometidas e nunca chama um juiz ao vivo.
  • Recall acima de precisão (ADR-0005). O portão nunca deve ser aliviado re-ajustando a rubrica para punir a sobre-escalonamento.

Opções consideradas

Seção intitulada “Opções consideradas”
  • Acrescentar as duas dimensões de segurança ao portão com uma exceção de falha dura estreita (escolhida).
  • Um passa/falha leve sobre um conjunto mascarado pequeno (rejeitada: não é um portão de revalidação nem um estatístico de concordância, então não bloqueia uma regressão silenciosa).
  • Um portão de dimensões de segurança separado (rejeitada: uma flag por dimensão sobre o conjunto existente mantém um portão e um laço).
  • Mover o limiar ou os bins para absorver um déficit (rejeitada, proibida: as constantes estão travadas; o reequilíbrio do corpus é a única resposta).

Resultado da decisão

Seção intitulada “Resultado da decisão”
  • As duas dimensões de segurança se somam ao conjunto com portão, na mesma maquinaria, sem novas constantes. Escalonamento e autolesão são pontuados com os mesmos bins, o mesmo limiar, o mesmo kappa de Cohen com ponderação linear, o mesmo portão agrupado com diagnósticos por locale, a mesma ancoragem de rótulos e o mesmo corpus somente sintético que as dimensões de qualidade. O escalonamento pontua um turno de perdido ou inapropriado, passando por parcial, até escalonamento de emergência correto; a autolesão de forma análoga - reconhecimento mais encaminhamento apropriado à crise. Nenhuma constante congelada se move (ADR-0026).
  • Uma exceção de falha dura só de segurança. Só para escalonamento e autolesão, cada um dos seguintes é uma falha dura (uma saída de avaliação com falha), não o pulo consultivo que as dimensões de qualidade conservam: uma pontuação AUSENTE ou não comprometida para a cadeia de juiz ativa; uma pontuação OBSOLETA cuja procedência de juiz registrada não coincide com a cabeça de juiz configurada atualmente - o controle exato da troca, então uma troca sem rótulos de segurança re-pontuados não pode passar; um COLAPSO PARA UMA ÚNICA CLASSE onde os rótulos da dimensão abrangem um só bin então a concordância é indefinida - um corpus tudo-escala ou tudo-perde que não mede nada; e uma concordância agrupada abaixo do limiar. A exceção é guiada por dados - uma flag por dimensão, não uma checagem frágil de nome - então as dimensões de qualidade conservam o pulo consultivo (ADR-0030). O portão se mantém sem chave e $0, e é inerte a menos que um operador cabeie a faixa de aplicação.
  • Procedência da cadeia ativa. As pontuações de segurança comprometidas são carimbadas com a procedência da cabeça de juiz ativa, e a checagem de obsolescência compara contra o modelo que o juiz ao vivo realmente roda. O juiz em si fica intacto: a rubrica de escalonamento/autolesão é dado passado ao juiz, nunca lógica acrescentada a ele.
  • A presença por locale é um sinal de falha distinto. Cada um dos três locales deve carregar ao menos uma pontuação de segurança comprometida e de cadeia ativa para cada dimensão de segurança, senão o portão falha - uma garantia de presença de que o corpus não está silenciosamente omitindo um locale para a cadeia ativa, separada da concordância por locale (que se mantém só diagnóstica). A concordância agrupada segue sendo o único número de concordância bloqueante.
  • Os rótulos humanos são genuínos, não fabricados. A integridade do portão é que ele valida o juiz contra o julgamento humano. Onde já existe uma verdade base travada e ratificada pelo proprietário - a taxonomia de emergências enumerada e seus controles benignos - os rótulos são derivados dela com uma justificativa que cita a fonte. Onde não existe tal verdade base - as apresentações mascaradas, idiomáticas e atípicas que o piso determinístico não captura, que é exatamente a classe que o juiz semântico possui - os rótulos são um entregável genuíno de rotulagem manual do proprietário, comprometido antes da execução de pontuação.
  • As constantes não se movem para forçar o verde. Se a concordância de segurança agrupada ficar abaixo do portão (incluído um paradoxo de kappa), a única resposta sancionada é o reequilíbrio do corpus (ADR-0027) - nunca mover o limiar ou os bins, e nunca re-ajustar a rubrica para penalizar a sobre-escalonamento, porque o recall acima da precisão está ratificado (ADR-0005). Um déficit é revelado como uma recomendação de reequilíbrio, não absorvido por uma mudança de limiar. O construto próprio da rubrica de autolesão é corrigido separadamente, do lado da rubrica, sem tocar nenhuma constante.

Confirmação

Seção intitulada “Confirmação”
  • Os testes afirmam uma saída com falha quando a faixa de aplicação está ligada e uma dimensão de segurança está ausente ou obsoleta para a cadeia ativa.
  • O portão lê apenas pontuações comprometidas; o juiz fica byte a byte sem alteração.
  • A checagem de presença por locale e a origem de rótulos derivados-mais-manuais estão cobertas.

Consequências

Seção intitulada “Consequências”

Positivas

Seção intitulada “Positivas”
  • A regressão silenciosa de segurança que o pré-mortem nomeou agora está estruturalmente bloqueada: uma troca sem rótulos de escalonamento ou autolesão re-pontuados falha o portão de revalidação.
  • Nenhuma constante congelada se move; o padrão consultivo das dimensões de qualidade é preservado; o juiz fica intacto; o caminho offline se mantém em $0 e sem chave.

Negativas

Seção intitulada “Negativas”
  • O portão é inerte a menos que a faixa de aplicação esteja cabeada, então essa faixa deve fixá-lo e um teste deve afirmar a saída com falha.
  • A rotulagem manual do proprietário do subconjunto mascarado é um pré-requisito duro para um portão em verde - por design, a âncora de integridade requer rótulos humanos genuínos.

Neutras

Seção intitulada “Neutras”
  • As decisões da trava de design e do padrão consultivo ficam sem alteração; isto estreita só as dimensões de segurança a uma falha dura e deixa todo o resto como está registrado.

Prós e contras das opções

Seção intitulada “Prós e contras das opções”

Duas dimensões de segurança com portão e uma exceção de falha dura estreita (escolhida)

Seção intitulada “Duas dimensões de segurança com portão e uma exceção de falha dura estreita (escolhida)”
  • Bom, porque bloqueia estruturalmente a regressão silenciosa de segurança enquanto reutiliza as constantes congeladas e conserva o padrão consultivo das dimensões de qualidade.
  • Bom, porque se mantém sem chave e $0 e não toca nada no juiz.
  • Ruim, porque é inerte até que a faixa de aplicação esteja cabeada e torna a rotulagem manual do proprietário um pré-requisito duro.

Um passa/falha leve sobre um conjunto mascarado pequeno (rejeitada)

Seção intitulada “Um passa/falha leve sobre um conjunto mascarado pequeno (rejeitada)”
  • Bom, porque é barato de construir.
  • Ruim, porque não é um portão de revalidação nem um estatístico de concordância, então não bloqueia uma regressão silenciosa de concordância.

Mais informações

Seção intitulada “Mais informações”