Mapeamento de gestão de risco de modelos (SR 11-7 / NIST AI RMF)

Mapeia a implementação de referência ai-agent-eval-harness-healthtech frente à SR 11-7 “Guidance on Model Risk Management” (Federal Reserve / OCC Bulletin 2011-12, 2011), o padrão supervisório para a gestão de risco de modelos, complementado pelas funções MEASURE e MANAGE do NIST AI RMF. Embora este sistema não seja um modelo financeiro regulado, os padrões de governança que ele demonstra — documentação de modelos, harness de eval, guardrails, observabilidade — mapeiam-se diretamente aos princípios de gestão de risco de modelos que esses marcos estabelecem.

Leia em conjunto com a postura regulatória e o mapeamento do NIST AI RMF.

Aplicabilidade

A SR 11-7 se aplica a organizações bancárias supervisionadas pelo Federal Reserve e pela OCC, e é amplamente usada como referência de gestão de risco de modelos além do setor bancário dos EUA. Esta implementação de referência não é um modelo financeiro regulado, não é operada por uma instituição supervisionada e não está sujeita aos requisitos da SR 11-7.

O propósito deste mapeamento é demonstrar que os padrões de governança desta implementação de referência se alinham aos princípios de gestão de risco de modelos que os reguladores financeiros de todo o mundo esperam. Uma instituição financeira que avalie esta arquitetura para uso interno (por exemplo, um chatbot de atendimento ao cliente assistido por IA, um pipeline de processamento de documentos, uma ferramenta de monitoramento de conformidade) consideraria estes padrões transferíveis.

Mapeamento dos princípios de gestão de risco de modelos

Desenvolvimento e documentação de modelos

Princípio de gestão de risco de modelos	Implementação atual	Avaliação de lacunas
Inventário de modelos	O model card (no formato CHAI Applied Model Card) documenta o propósito do agente, entradas, saídas, modelos de fundação, fontes de dados, métricas de desempenho e limitações	O inventário cobre um modelo; uma instituição financeira precisaria de um inventário de modelos que cobrisse todos os modelos em uso, com classificação por nível de risco
Documentação de modelos	Os registros de decisão de arquitetura documentam as decisões de design; o model card fornece a documentação em nível de modelo; o data statement documenta os conjuntos de dados	A documentação é completa para uma implementação de referência de propósito único; em produção seriam necessários relatórios de validação de modelos, análises de sensibilidade e avaliações de limitações para cada modelo
Solidez conceitual	StateGraph do LangGraph com seis nós e responsabilidades explícitas por nó (intake, guardrail_pre, retrieve_context, generate_response, guardrail_post, closing); os guardrails são executados antes do LLM; imposição de citações em cada afirmação clínica	A arquitetura é bem estruturada e testável; um modelo financeiro precisaria de revisão conceitual independente por especialistas de domínio

Validação de modelos

Princípio de gestão de risco de modelos	Implementação atual	Avaliação de lacunas
Validação independente	O harness de eval atua como um sistema de medição independente; o gate de CI impõe os limiares sem possibilidade de override pelo desenvolvedor; um cliente stub determinístico isola o comportamento dos guardrails da variabilidade do modelo	O harness de eval é construído pelo mesmo autor do sistema; a verdadeira independência exige uma equipe de validação separada
Análise de resultados	São DUAS vias, não uma. Gate determinístico sem chave: passam 315 de 315 entradas, correção de recusa e de escalonamento 1.000, e o veredicto é PASS (medido em 2026-08-03). O relatório comprometido com juiz pontua recusa 0,9561 e escalonamento 0,9781 e também falha, sobre 88 de 319 entradas. A correção de recusa e de escalonamento são impostas como gates binários por caso; fidelidade e alucinação sujeitas a gates impostos na CI com semântica de aprovado/reprovado publicada	A análise cobre dados sintéticos; em produção seria necessária a análise de resultados sobre dados reais de transações com testes de significância estatística
Benchmarking	Pontuação estratificada por configuração regional (en, es-419, pt-BR mantidos sob limiares idênticos); benchmarking adversarial (OWASP LLM Top 10 do Promptfoo mais casos elaborados manualmente)	O benchmarking cobre as dimensões de eval definidas; aplicações financeiras precisariam de benchmarks do setor e comparação com pares
Análise de sensibilidade	Limiar de similaridade de recuperação configurável testado em várias configurações de embedder; a abstração do provedor de LLM permite testes de troca de provedor	Análise de sensibilidade limitada; modelos financeiros precisariam de testes de sensibilidade sistemáticos nos parâmetros-chave e de cenários de estresse

Governança de modelos

Princípio de gestão de risco de modelos	Implementação atual	Avaliação de lacunas
Comitê de governança	Os registros de decisão de arquitetura capturam a trilha de decisões; o harness de eval faz o gate de cada mudança; a postura regulatória exige um registro de decisão para mudanças de escopo	Nenhum comitê de governança formal; projeto de autor único; em produção seria necessário um comitê de governança de modelos com representação multifuncional
Classificação por nível de risco	A postura regulatória classifica o sistema como de bem-estar geral (não é um dispositivo médico); o mapeamento do EU AI Act o classifica como de risco mínimo	A classificação é autoavaliada para um modelo; instituições financeiras precisam de um framework de níveis de risco que cubra todos os modelos
Gestão de mudanças	Os registros de decisão documentam as mudanças; o harness de eval detecta regressões a cada mudança; o versionamento semântico acompanha as releases	A gestão de mudanças é em nível de repositório; em produção seriam necessários fluxos formais de aprovação de mudanças, validação pré-deployment e procedimentos de rollback
Monitoramento contínuo	Eval no CI a cada mudança; red-team noturno com Promptfoo; spans de telemetria em cada nó; gates de custo/latência; sinks de observabilidade Langfuse Cloud e Phoenix	O monitoramento cobre a implementação de referência; em produção seriam necessários monitoramento contínuo de desempenho do modelo, detecção de deriva e alertas automatizados

Monitoramento de desempenho de modelos

Princípio de gestão de risco de modelos	Implementação atual	Avaliação de lacunas
Acompanhamento de desempenho	Gate de eval determinístico com limiares explícitos; relatórios de eval gerados a cada execução	O acompanhamento é por execução; em produção seriam necessários dashboards de desempenho longitudinais, análise de tendências e detecção automatizada de degradação
Monitoramento de limiares	Gates rígidos impostos na CI com semântica de aprovado/reprovado publicada sobre fidelidade e alucinação, mais gates binários por caso sobre correção de recusa e de escalonamento	Os limiares são binários; aplicações financeiras precisariam de limiares graduados (verde/âmbar/vermelho) com procedimentos de escalonamento
Detecção de deriva	O harness de eval é executado a cada mudança contra um corpus golden fixo; o red-team noturno exercita o sistema; nenhuma detecção automatizada de deriva de conceito	A implementação de referência usa detecção manual de deriva (regressão de eval); em produção seriam necessários detecção automatizada de deriva, baselines de desempenho e reavaliação agendada
Relatório de exceções	A regressão de avaliação faz falhar o job de avaliação de CI (um sinal, não um portão de merge rígido - sem proteção de branch imposta); as limitações conhecidas são documentadas no model card	O tratamento de exceções é um sinal de CI, não um portão imposto; em produção seriam necessários fluxos de relatório de exceções, documentação de aceitação de risco e notificação à alta direção

Estado atual

A implementação de referência demonstra padrões de governança de gestão de risco de modelos que são diretamente transferíveis a um ambiente regulado de gestão de risco de modelos:

Documentação de modelos: O model card fornece documentação abrangente do modelo em um formato padronizado (CHAI Applied Model Card), incluindo propósito, limitações, métricas de desempenho e riscos conhecidos.
Harness de eval como sistema de medição: O harness de eval é um sistema de medição independente que avalia o agente contra casos curados em oito dimensões, com limiares determinísticos impostos no CI. Isso se mapeia diretamente às expectativas de validação de modelos da SR 11-7.
Guardrails como controles: O classificador de escopo, os modelos de recusa e o roteador de escalonamento atuam como controles determinísticos que delimitam o comportamento do modelo. Em aplicações financeiras, controles análogos limitariam as saídas do modelo a ações aprovadas.
Observabilidade como monitoramento: Os spans de telemetria com as convenções semânticas do OpenInference fornecem monitoramento em tempo real de cada decisão do modelo, permitindo a reconstrução da trilha de auditoria e o acompanhamento de desempenho. Isso se mapeia às expectativas de monitoramento contínuo da SR 11-7.
Controle de mudanças baseado em registros de decisão: Cada decisão de design substantiva é documentada em um registro de decisão de arquitetura, fornecendo a trilha de decisões que os comitês de governança de modelos exigem.
Limitações transparentes: O model card e a postura regulatória documentam honestamente as limitações conhecidas — tratamento de casos near-miss fora do corpus, lacunas de escalonamento subagudo, comportamento probabilístico do modelo. Essa transparência é um ponto forte de governança.

Caminho até produção

Adaptar estes padrões para uma instituição financeira supervisionada:

Comitê de governança de modelos: Comitê multifuncional (risco, conformidade, TI, negócios) com autoridade para aprovar, restringir ou descontinuar modelos
Inventário de modelos e framework de níveis de risco: Inventário abrangente de todos os modelos com classificação por nível de risco alinhada às expectativas supervisórias; modelos de maior risco recebem validação e monitoramento mais intensivos
Validação independente de modelos: Equipe de validação dedicada e independente do desenvolvimento dos modelos; relatórios de validação que cubram solidez conceitual, análise de resultados, análise de sensibilidade e benchmarking
Monitoramento contínuo de desempenho: Detecção automatizada de deriva, baselines de desempenho, acompanhamento longitudinal e alertas automatizados de degradação
Gestão formal de mudanças: Fluxos de aprovação de mudanças com validação pré-deployment, procedimentos de rollback e monitoramento pós-deployment
Gestão de exceções: Tratamento documentado de exceções com aceitação de risco, notificação à alta direção e planos de remediação
Relatórios regulatórios: Relatórios periódicos de risco de modelos à alta direção e aos supervisores; mudanças materiais nos modelos reportadas dentro dos prazos exigidos

Os padrões de governança desta implementação de referência — contratos de eval, rastreabilidade por registros de decisão, guardrails antes do LLM, instrumentação de telemetria, documentação honesta de limitações — fornecem uma base sólida. Eles são os blocos de construção procedimentais e técnicos que uma entidade supervisionada montaria em um framework formal de gestão de risco de modelos.

Veja também

Postura regulatória — fronteira regulatória
Model card — CHAI Applied Model Card
Mapeamento do NIST AI RMF — mapeamento do NIST AI RMF
Mapeamento da Ley 19.628 do Chile — mapeamento de proteção de dados do Chile
Plano de detecção de deriva — plano de detecção de deriva
Design de guardrails — design de guardrails

Parte do portfólio de Waldemar Szemat · szemat.pro
GitHub · LinkedIn