Avaliação de paridade de segurança multilíngue

Documentação de referência: não é um dispositivo médico

Esta documentação descreve uma implementação de referência pública avaliada com dados 100% sintéticos. É uma referência de capacidades e prontidão, não uma certificação de conformidade nem aconselhamento jurídico, e não é um dispositivo médico. Não é clinicamente validada e não manipula PHI de produção.

Documenta a postura de paridade de segurança da implementação de referência ai-agent-eval-harness-healthtech em suas três configurações regionais suportadas: inglês (en), espanhol latino-americano (es-419) e português brasileiro (pt-BR). Esta avaliação avalia se os usuários nas três configurações regionais recebem proteções de segurança equivalentes.

Leia em conjunto com o data statement, o model card e o modelo de ameaças OWASP ATLAS.

Cobertura por configuração regional

Dimensão	en	es-419	pt-BR
Modelos de recusa	Sim (10 modelos)	Sim (10 modelos)	Sim (10 modelos)
Classificador de escopo	Sim (padrões regex)	Sim (padrões regex)	Sim (padrões regex)
Modelos de escalonamento	Sim (2 modelos)	Sim (2 modelos)	Sim (2 modelos)
Casos do corpus de eval	105	105	105
Cards de KB	38 (inglês)	usa a KB em inglês	usa a KB em inglês
Aviso de demo	Sim	Sim	Sim
Vozes de TTS	Sarah	Matilda	Bella

Análise de paridade de segurança

Paridade dos modelos de recusa

Os modelos de recusa estão totalmente localizados nas três configurações regionais (10 modelos cada, sem herança do inglês), cobrindo:

1. Recusa de aconselhamento de dosagem (out-of-scope-dosing)
2. Recusa de diagnóstico (out-of-scope-diagnosis)
3. Recusa de interpretação de exames laboratoriais/de imagem/dispositivos (out-of-scope-interpretation)
4. Recusa de manejo de PII (pii-blocked, out-of-scope-pii)
5. Recusa de entrada malformada (input-malformed)
6. Recusa por falta de fonte verificada (no-context)
7. Recusa meta de autodivulgação / interpretação de papéis (out-of-scope-meta)
8. Recusa genérica por estar fora de escopo (default)
9. Fallback gracioso por estar fora de domínio (out-of-domain)

Cada modelo segue a mesma estrutura entre as configurações regionais: uma recusa clara, redirecionamento ao profissional de saúde apropriado e o aviso de rodapé apropriado à configuração regional. O harness de eval verifica a correção de recusa como um gate de PR imposto por CI com semântica de aprovação/reprovação publicada em todas as fatias por configuração regional, de modo que os guardrails determinísticos disparam de forma idêntica independentemente da configuração regional.

Paridade dos limiares de eval

Métrica	Gate	Aplicado às configurações regionais
Fidelidade	Gate de PR imposto por CI (semântica de aprovação/reprovação publicada)	en, es-419, pt-BR (idêntico)
Alucinação	Gate de PR imposto por CI (semântica de aprovação/reprovação publicada)	en, es-419, pt-BR (idêntico)
Correção de recusa	Gate de PR imposto por CI (binária por caso)	en, es-419, pt-BR (idêntico)
Correção de escalonamento	Gate de PR imposto por CI (binária por caso)	en, es-419, pt-BR (idêntico)

As três fatias de configuração regional são mantidas sob os mesmos gates no harness de eval. Uma regressão específica de configuração regional faz falhar o job de avaliação de CI (um sinal, não um portão de merge rígido). O piso determinístico de CI executa todos os 315 casos (105 en + 105 es-419 + 105 pt-BR) a cada mudança: as fatias não inglesas são traduções completas do mestre em inglês com rótulos de comportamento idênticos e os mesmos card-ids de referência, de modo que cada configuração regional exercita os mesmos cenários.

Paridade da redação de PII

O módulo de redação de PII cobre padrões de identificador específicos de cada configuração regional:

Tipo de identificador	en (EUA)	es-419 (Chile)	pt-BR (Brasil)
E-mail	Sim	Sim	Sim
Números de telefone	Formatos dos EUA	Formatos chilenos	Formatos brasileiros
Identificação nacional	Detecção de SSN	Detecção de RUT (validada por dígito verificador)	Detecção de CPF (validada por dígito verificador)
Cartão de crédito	Validado por dígito verificador	Validado por dígito verificador	Validado por dígito verificador
Identificadores de saúde	MRN, DOB	contexto de RUT, identificadores de prontuário clínico	contexto de CPF, identificadores de prontuário clínico

A redação de PII é aplicada tanto na entrada quanto na saída, independentemente da configuração regional. Os padrões de redação das três configurações regionais são testados na suíte de testes de unidade.

Lacunas de paridade conhecidas

As seguintes lacunas de paridade são reconhecidas honestamente:

1. Os cards de KB estão apenas em inglês: Os cards de KB são escritos em inglês. Os usuários de es-419 e pt-BR interagem com o agente em seu idioma, mas o conteúdo da base de conhecimento subjacente está em inglês. Isso significa que o agente pode recuperar e citar um card em inglês enquanto responde em espanhol ou português. A qualidade da recuperação interlíngue depende da capacidade multilíngue do embedder.

2. Os dados sintéticos têm viés de vocabulário em inglês dos EUA: O corpus de eval, embora mantido sob limiares idênticos, foi gerado com um viés conhecido de vocabulário clínico em inglês dos EUA. O loop produtor-crítico corrige isso parcialmente, mas o viés residual é documentado no data statement em vez de ser declarado resolvido.

3. O corpus de eval é simétrico entre configurações regionais: as fatias en, es-419 e pt-BR contêm cada uma os mesmos 105 cenários com rótulos de comportamento idênticos e os mesmos card-ids de referência, de modo que nenhuma configuração regional fica sub-amostrada em relação ao inglês. A qualidade da recuperação interlíngue ainda depende da cobertura multilíngue do embedder (veja a lacuna 4), mas a cobertura de cenários é igual.

4. Cobertura de idiomas do embedder: O embedder primário é a Voyage voyage-3.5, que é multilíngue. O fallback local embutido (BAAI/bge-small-en-v1.5, usado no caminho offline sem chave) é focado em inglês, então nesse caminho a recuperação interlíngue para es-419 e pt-BR depende da capacidade do embedder de corresponder consultas não inglesas a cards de KB em inglês; um embedder multilíngue é preferível sempre que o fallback offline estiver em uso.

5. Cobertura de idiomas das vozes de TTS: As vozes de TTS (Sarah para EN, Matilda para ES, Bella para PT-BR) fornecem síntese específica de idioma, mas a qualidade e a naturalidade podem variar entre as vozes.

Estado atual

A implementação de referência mantém paridade de segurança nas três configurações regionais por meio dos seguintes mecanismos:

• Limiares de eval idênticos: As três fatias de configuração regional são pontuadas sob os mesmos limiares em cada execução de CI. Uma regressão específica de configuração regional é uma falha de build.
• Modelos de recusa cientes da configuração regional: Todos os dez modelos de recusa têm versões nativas em en, es-419 e pt-BR, seguindo a mesma estrutura e impostas pelas mesmas dimensões de eval.
• Redação de PII ciente da configuração regional: Os padrões de identificador para EUA, Chile e Brasil são detectados e redigidos na mesma etapa do pipeline.
• Escalonamento ciente da configuração regional: Os modelos de escalonamento de red-flag estão disponíveis nas três configurações regionais (dois modelos: emergência médica e crise de saúde mental), e o piso de escalonamento determinístico dispara de forma idêntica em todas as configurações regionais.
• Casos de eval em es-419 e pt-BR: Slices dedicados do corpus de eval testam o comportamento específico de configuração regional a cada mudança.

O gate determinístico de eval prova a paridade de guardrails: a correção de recusa e a correção de escalonamento passam de forma idêntica nas três configurações regionais em cada execução, impostas como gates de PR de CI. Isso significa que os guardrails de segurança disparam de forma idêntica independentemente da configuração regional do usuário.

A avaliação honesta é que a paridade de segurança é alcançada na camada de guardrails (determinística, testável, reprodutível) e na camada de cobertura de eval (um corpus simétrico de 105 casos por configuração regional), mas não totalmente na camada do modelo (probabilística, dependente da configuração regional) nem na camada de conhecimento (os cards de KB permanecem em inglês).

Caminho até produção

Alcançar a paridade total de segurança multilíngue em um deployment em produção:

1. Base de conhecimento localizada: Cards de KB escritos no idioma de cada configuração regional por tradutores médicos qualificados, não traduzidos por máquina; revisão clínica para cada configuração regional a fim de garantir que a terminologia médica seja precisa e culturalmente apropriada

2. Revisão de segurança em idioma nativo: Avaliação de segurança conduzida por revisores de idioma nativo para cada configuração regional, não apenas executando o mesmo harness de eval contra casos de teste traduzidos; identificação de preocupações de segurança específicas da configuração regional (por exemplo, convenções de nomenclatura de medicamentos, números de serviços de emergência, crenças culturais de saúde)

3. Tamanhos equilibrados do corpus de eval: Tamanhos de corpus comparáveis entre as configurações regionais para garantir representação igual dos modos de falha; geração direcionada de casos adversariais específicos do idioma e do contexto cultural de cada configuração regional

4. Embedder multilíngue: Embedder com forte desempenho multilíngue para a recuperação interlíngue; avaliação da qualidade de recuperação por configuração regional

5. Caminhos de escalonamento clínico específicos da configuração regional: Orientação de serviços de emergência adaptada ao sistema de saúde de cada configuração regional (por exemplo, 911 para os EUA, 131 para o Chile, 192/SAMU para o Brasil); recursos de crise e linhas de apoio específicos da configuração regional

6. Adaptação cultural além da tradução: Comportamento do agente adaptado às normas culturais em torno das discussões de saúde (por exemplo, franqueza do aconselhamento médico, envolvimento da família nas decisões de saúde, atitudes em relação à medicação); não apenas texto traduzido, mas padrões de interação culturalmente apropriados

7. Monitoramento contínuo por configuração regional: Monitoramento de desempenho separado por configuração regional; alertas automatizados para regressões específicas de configuração regional; revisão regular dos dados de desempenho por configuração regional por analistas de idioma nativo

Veja também

• Data statement — card do conjunto de dados sintético com metodologia de configuração regional
• Model card — CHAI Applied Model Card, seção Fairness
• Política de consentimento de voz e deepfake — política de consentimento de voz
• Redação de PII — redação de PII por configuração regional
• Design de guardrails — design de guardrails