ADR-0018: Invariante de dados somente sintéticos

Documentação de referência: não é um dispositivo médico

Esta documentação descreve uma implementação de referência avaliada com dados 100% sintéticos. É uma referência de capacidades e prontidão, não uma certificação de conformidade nem aconselhamento jurídico, e não é um dispositivo médico. Não é clinicamente validada e não manipula PHI de produção.

• Status: Accepted
• Data: 2026-05-27 (retroativo - invariante desde a v0.4.0)
• Responsáveis pela decisão: Waldemar Szemat

Contexto e definição do problema

O harness de avaliação deve ser reproduzível a partir do corpus versionado (determinístico e com versão fixada). Um revisor que precisasse assinar um Contrato de Uso de Dados (DUA) antes de rodar make eval enfrentaria uma barreira real de atrito - e toda a proposta da demo (“avaliação reproduzível, controlada por CI”) seria minada.

Muitos conjuntos de dados de IA conversacional médica são restritos por DUA (MIMIC, ChatDoctor, MedDialog, n2c2 / i2b2). Misturar qualquer um deles ao corpus de avaliação propagaria a exigência de licenciamento para cada fork.

A abordagem somente sintética também elimina o vetor de ingresso de PHI por construção: se nenhum dado real de paciente entra no conjunto de avaliação, nenhum PHI pode vazar através do conjunto de avaliação.

Como mantemos o corpus de avaliação aberto e reproduzível ao mesmo tempo em que garantimos que o projeto nunca ingira acidentalmente um conjunto de dados restrito, e como tornamos a política verificável por um leitor casual em 30 segundos?

Fatores de decisão

• Reprodutibilidade: cada revisor pode rodar make eval sem atrito de licenciamento.
• Privacidade por construção: nenhum PHI no corpus significa nenhum PHI através do corpus.
• Auditabilidade de licenças: cada cartão da KB e cada caso de avaliação carrega atribuição de fonte e uma tag de licença permissiva (CC0 ou domínio público).
• Verificabilidade: uma varredura de 30 segundos da política deve convencer um revisor de que a restrição é real e está sendo aplicada.

Opções consideradas

• Opção A: Misturar dados reais e sintéticos; avaliação reproduzível condicionada à aceitação de um DUA por usuário.
• Opção B: Somente sintético, com fontes de domínio público de origem governamental / ONG (MedlinePlus, DailyMed, WHO EML, rótulos da FDA).
• Opção C: Somente sintético, com fontes parafraseadas a partir de material licenciado (por exemplo, diretrizes clínicas licenciadas parafraseadas em turnos sintéticos de pacientes).

Resultado da decisão

Opção escolhida: Opção B - somente sintético com fontes de domínio público, uma lista de exclusão explícita de conjuntos de dados restritos por DUA e um ônus da prova no momento do PR para qualquer proposta de novo conjunto de dados.

A lista de exclusão (declarada na política de segurança do projeto):

• MIMIC (MIT Critical Care DB) - DUA via PhysioNet
• ChatDoctor - licença não comercial, diálogos de médicos treinados nos EUA
• MedDialog - licença não comercial
• n2c2 / i2b2 - DUA via Harvard
• Qualquer outro conjunto de dados médicos restrito por DUA

O ônus da prova no PR para qualquer nova fonte de dados proposta:

1. Texto da licença citado na descrição do PR, com link para a fonte autoritativa.
2. Cadeia de proveniência (quem o produziu originalmente, quando, quais edições o repositório aplicou).
3. Afirmação explícita de compatibilidade com a Apache 2.0 (a postura de licenciamento do projeto, conforme a ADR-0008).
4. O mantenedor revisa os três itens acima antes que o PR seja mesclado.

Todos os cartões da KB e casos de avaliação são entregues com atribuição de fonte e uma tag de licença permissiva em seus metadados, de modo que qualquer pessoa que examine o corpus sintético possa verificar a política diretamente.

Confirmação

• A política de segurança declara a lista de exclusão e a declaração de política.
• O diretório do conjunto de dados sintéticos carrega uma auditoria de licença por fonte.
• A declaração de dados publicada é o cartão do conjunto de dados, com proveniência por cartão.
• O cartão de dados de governança é a visão voltada à governança do mesmo.
• Pré-merge: a lista de verificação de revisão do PR inclui o portão do ônus da prova para qualquer novo arquivo de dados.

Consequências

Positivas

• A avaliação é reproduzível de ponta a ponta sem atrito de licenciamento. A CI de qualquer adotante roda make eval contra o corpus versionado.
• O ingresso de PHI é eliminado por construção - não há caminho a montante.
• A afirmação “100% sintético, zero PHI” é respaldada por código (corpus versionado) e por processo (ônus da prova no PR).
• A auditoria de licença é uma varredura de 30 segundos do README, da declaração de dados e da lista de exclusão.

Negativas

• O corpus é menor do que o que misturar o MIMIC produziria. A superfície de avaliação resultante é mais estreita; um agente de produção precisaria de avaliações licenciadas adicionais para cobertura real.
• A restrição de somente sintético elimina o uso de sinais de drift do mundo real (sem telemetria de desvio no estilo MIMIC). O plano de detecção de drift é honesto quanto a essa lacuna.
• Um contribuidor que queira adicionar um conjunto de dados licenciado útil tem de fazer o trabalho de (a) encontrar uma alternativa de domínio público, ou (b) produzir uma paráfrase somente sintética, ou (c) não contribuir com os dados. A opção (c) é aceitável para o estágio deste projeto.

Neutras

• A lista de exclusão é uma superfície de manutenção: quando um novo conjunto de dados médicos restrito por DUA se torna bem conhecido, ele deve ser adicionado à lista explicitamente, mesmo que o portão do ônus da prova o capturasse de toda forma. A nomeação explícita torna a política mais rápida de verificar.

Prós e contras das opções

Opção A: Misturar real + sintético + DUA por usuário

• Boa, porque corpus maior.
• Ruim, porque cada fork precisa aceitar o DUA - fator de atrito que inviabiliza revisões abertas.
• Ruim, porque abre o caminho de ingresso de PHI; é preciso novos controles para fechá-lo.
• Ruim, porque a afirmação “reproduzível sem atrito de licenciamento” deixa de ser verdadeira.

Opção B (escolhida): Somente sintético, fontes de domínio público

• Boa, porque reprodutibilidade em primeiro lugar.
• Boa, porque o PHI é eliminado por construção.
• Boa, porque a auditoria é rápida - lista de exclusão + tag de licença por cartão.
• Ruim, porque o corpus é limitado pelo que as fontes de domínio público cobrem.

Opção C: Somente sintético, parafraseado a partir de material licenciado

• Boa, porque cobertura semântica mais ampla.
• Ruim, porque o cenário de licença de uma paráfrase é nebuloso - a licença original ainda pode se aplicar. Risco de alegação acidental de obra derivada.
• Ruim, porque a auditoria é mais lenta (cada cartão precisa de uma cadeia até a fonte da paráfrase, não apenas de uma atribuição).

Mais informações

• Declaração de dados - cartão do conjunto de dados
• Cartão de dados - cartão do conjunto de dados voltado à governança
• ADR-0004 - pilha de RAG (a consumidora do corpus sintético)
• ADR-0008 - postura de licenciamento do projeto
• MADR 4.0.0: https://adr.github.io/madr/