ADR-0027: Reequilíbrio do corpus de calibração

Status: Accepted
Data: 2026-06-14
Responsáveis pela decisão: Waldemar Szemat

Contexto e definição do problema

A trava de design (ADR-0026) congelou o enquadramento, os bins, o limiar e as dimensões do portão de calibração, e deixou a composição do corpus como a única alavanca aberta - pré-comprometendo o reequilíbrio do corpus como o único remédio sancionado se o corpus não conseguisse discriminar. Uma composição inicial escolheu um viés realista de produção: em sua maioria aprovações limpas, uma região limítrofe e de falha fina, um único modo de falha repetido e uma divisão por locale não paralela.

Antes de gastar a passagem única de rotulagem humana e a execução do juiz nela, uma revisão de painel especialista encontrou essa composição estruturalmente degenerada, não defeituosa no cosmético. O corpus estava saturado nos polos - construído de forma tão limpa que a rotulagem era quase determinística e os avaliadores às cegas concordavam quase por unanimidade; toda a âncora baixa descansava sobre um único modo de falha em um único cenário; e os locales não eram paralelos, o que quebra a comparação de diagnósticos por locale da qual o portão depende. O veredito: um kappa humano-vs-juiz sobre esse corpus seria circular por construção e quase não informativo - precisamente o paradoxo de kappa que a trava de design antecipou.

Uma calibração cujo corpus não consegue discriminar não mede o que afirma medir. Como reequilibramos o corpus para que a concordância seja genuinamente informativa, sem tocar em nenhuma das constantes congeladas que tornam a afirmação de concordância falseável?

Fatores de decisão

Discriminação acima do realismo de superfície. O valor de um kappa é separar um juiz calibrado de um miscalibrado, o que precisa de massa na região limítrofe onde um humano e o juiz podem divergir genuinamente - não um corpus de aprovações evidentes.
Aplicar o remédio, não manipulá-lo. Acrescentar casos limítrofes e de falha eleva a dificuldade, que é o oposto de manipular o limiar; as fronteiras e o portão não se movem.
Paralelismo entre locales. Os diagnósticos por locale só são comparáveis se os mesmos cenários aparecerem em cada locale.
Modos de falha diversos. Um único modo de falha não pode ancorar o extremo baixo nem caracterizar a fronteira entre falha e limítrofe.
Anterior aos dados, anterior à rotulagem. O reequilíbrio ocorre antes de qualquer rótulo humano ser escrito, então a disciplina de ancoragem de rótulos permanece intacta.

Opções consideradas

Um corpus ponderado ao limítrofe, paralelo entre locales e diverso em defeitos (escolhida).
Manter a composição realista de produção, saturada nos polos (rejeitada: o painel mostrou que ela rende um kappa quase circular e não informativo, com todo o extremo baixo apoiado em um único modo de falha e os locales não paralelos).
Mover uma fronteira ou baixar o limiar para resgatar um kappa baixo (rejeitada e proibida pela trava de design: isso é manipular o limiar; a composição é a única alavanca permitida).

Resultado da decisão

A composição do corpus é fixada para discriminar; cada constante de integridade da trava de design é conservada sem alteração.

Ponderado ao limítrofe. O corpus sobreamostra a região limítrofe perto das fronteiras dos bins, porque os casos limítrofes são os informativos para um kappa: sua pontuação contínua do juiz pode cair de qualquer lado de uma fronteira, então são justamente onde um humano e o juiz podem discordar genuinamente. As aprovações limpas, que ambos rotulam igual, carregam pouca informação de concordância.
Paralelo entre locales. Os mesmos cenários são instanciados em en, es-419 e pt-BR - só o idioma muda; o cartão citado, o estrato pretendido e o modo de defeito são idênticos nos três - então os diagnósticos por locale comparam o comparável.
Diverso em defeitos. Os casos de falha abrangem modos de falha distintos em cartões distintos - contradizer uma restrição explícita do cartão, fabricar um remédio que nenhum cartão apoia e responder fora de escopo - em vez de um único template repetido. Os casos limítrofes igualmente abrangem vários modos de defeito distintos, então o estrato limítrofe não é um único template de frase acrescentada; a uniformidade de template infla por si só a concordância.
Tudo o que é congelado permanece congelado. As fronteiras dos bins, o limiar do portão e o colchão de média de corpus, o enquadramento humano-vs-juiz de um único avaliador e sua nomeação travada, as duas dimensões com portão, o kappa de Cohen com ponderação linear, os quatro diagnósticos de detecção, a disciplina de ancoragem de rótulos e o corpus público somente sintético (ADR-0018) ficam todos sem alteração. Só a composição se move - a única alavanca que a trava de design (ADR-0026) deixou aberta para exatamente este caso.
Anterior aos dados, anterior à rotulagem. A composição é fixada antes de qualquer rótulo humano ser escrito, então a disciplina de ancoragem de rótulos fica intacta.

Confirmação

O corpus carrega a composição revisada, paralela por cenário entre os três locales, com modos de falha e limítrofes diversos.
O módulo de calibração está sem alteração: as fronteiras, o limiar, o enquadramento, as dimensões e os diagnósticos congelados estão intactos.
A verificação de vazamento se mantém verde com o corpus público reequilibrado presente.

Consequências

Positivas

O kappa humano-vs-juiz se torna genuinamente informativo: a massa limítrofe perto das fronteiras dá à métrica a variância de que precisa para discriminar.
O paralelismo entre locales restaura diagnósticos por locale comparáveis; o portão agrupado fica balanceado entre locales.
Os modos de falha e limítrofes diversos caracterizam as fronteiras em vez de um único template repetido.
A passagem de rotulagem humana se torna um exercício significativo de julgamento em vez de um registro quase determinístico de casos óbvios.

Negativas

A carga de rotulagem sobe de forma modesta.
A mistura é menos realista na superfície; o corpus sobreamostra de propósito a região limítrofe, então o portão agrupado reflete uma distribuição mais difícil que a de produção - a troca pretendida por uma métrica que discrimina.
Um corpus carregado ao limítrofe é em si mais difícil de rotular com consistência; os quatro diagnósticos de detecção seguem sendo a guarda para ler um kappa baixo corretamente.

Neutras

O corpus se mantém no regime de amostra pequena para o qual o limiar e o colchão foram dimensionados; esses estão sem alteração.
O portão por locale segue diferido (portão agrupado, diagnósticos por locale); o paralelismo entre locales torna mais limpa uma futura promoção por locale.
O reequilíbrio é anterior aos dados e à rotulagem, então a disciplina de ancoragem de rótulos fica intacta.

Prós e contras das opções

Corpus ponderado ao limítrofe, paralelo e diverso em defeitos (escolhida)

Bom, porque dá ao kappa a variância discriminante que falta a um corpus evidente.
Bom, porque o paralelismo entre locales torna comparáveis os diagnósticos por locale, e os modos diversos caracterizam as fronteiras.
Ruim, porque eleva a carga de rotulagem e é uma mistura mais difícil e menos realista de superfície para rotular com consistência.

Manter a composição realista de produção saturada nos polos (rejeitada)

Bom, porque reflete a distribuição de pontuações que uma mudança real produz.
Ruim, porque o painel mostrou que produz um kappa quase circular e não informativo: o extremo baixo descansa sobre um único modo de falha e os locales não são paralelos.

Mais informações

ADR-0026: Trava de design da calibração do juiz - as constantes de integridade congeladas que este reequilíbrio não toca, e o remédio pré-comprometido que ele aplica.
ADR-0018: Invariante de dados somente sintéticos - por que o corpus público reequilibrado é seguro de publicar.
MADR 4.0.0: https://adr.github.io/madr/