Anthropic publica orientações para avaliações de segurança de IA mais confiáveis

Em 13 de novembro de 2026, a Anthropic publicou recomendações para avaliações de segurança de IA mais confiáveis e informou taxas agregadas de respostas inofensivas entre 94% e 98% para todos os modelos recentes em seus testes de turno único pela API. Esses testes saturados são úteis principalmente como verificações de regressão para modos de falha já conhecidos; avaliações com múltiplos turnos oferecem mais variação e podem captar mudanças graduais ao longo de uma conversa.

Uma avaliação de segurança mede a propensão de um modelo a causar danos ou contribuir para eles, se sua resposta torna os danos mais ou menos prováveis e qual poderia ser a gravidade desses danos, em vez de medir uma capacidade específica. Uma preocupação central é a validade de construto, ou seja, se um teste mede o conceito que pretende avaliar. A taxa de recusa pode ser enganosa em conversas sobre suicídio e automutilação, pois simplesmente se recusar a interagir pode, por si só, ser uma falha; a resposta desejada oferece apoio e encaminha o usuário para obter ajuda de uma pessoa. Em vez disso, as avaliações da Anthropic com múltiplos turnos medem a taxa de respostas adequadas ao longo de toda a conversa, usando critérios específicos para cada risco, segundo os quais um único turno inadequado reprova a interação inteira.

Testes com múltiplos turnos e cobertura do mundo real

Para elaborar esses testes, um especialista da área redige uma especificação dos objetivos, das táticas, da persona, da situação, do tom e do estilo de conversa do usuário simulado. O primeiro turno do usuário permanece fixo, enquanto um modelo Claude separado gera os turnos seguintes em resposta ao modelo testado. Cada cenário é executado repetidamente com diferentes combinações de características, e um modelo avaliador pontua a transcrição completa com base nos critérios de risco pertinentes.

Variar as dimensões de forma independente ajuda a identificar o que influencia o comportamento; se todos os casos graves também usarem um tom urgente, não será possível separar os efeitos da gravidade e do tom. A Anthropic também recomenda criar testes com base em comportamentos observados, dados públicos, transcrições de exercícios de red team, relatórios de incidentes ou entrevistas com especialistas, em vez de recorrer apenas a situações inventadas. Seus conjuntos de testes de turno único abrangem 16 áreas de políticas em sete idiomas e várias interfaces de produto, e o ambiente de avaliação é ajustado à implantação que está sendo testada.

A execução dos testes também exige medidas de contenção. Para avaliações de cibersegurança, as orientações recomendam ambientes isolados sem acesso à internet e monitoramento em tempo real, para que uma execução possa ser interrompida caso as ações de um modelo possam causar danos no mundo real.

Validação dos avaliadores e limites estatísticos

Os avaliadores automatizados criam outro risco de medição, pois sistemas com falhas podem continuar produzindo pontuações plausíveis. Entre as salvaguardas recomendadas estão critérios atômicos de sim ou não, tratamento explícito de ressalvas e casos limítrofes, alertas de falha bem visíveis e verificações de vieses relacionados ao comprimento da resposta, à posição e à autopreferência. Revisores humanos devem classificar de forma independente uma amostra de transcrições, para que a concordância entre o avaliador e os especialistas possa ser comparada à concordância entre os próprios especialistas.

Essa referência humana determina a solução. Se os especialistas concordarem entre si, mas não com o avaliador, será necessário aprimorar os critérios ou o avaliador; se os especialistas discordarem entre si, talvez a avaliação não tenha uma resposta estável a medir. As orientações também recomendam registrar previamente as métricas, as comparações e os limiares de melhoria, antes de conhecer os resultados.

O tamanho das amostras é fundamental para essas avaliações. A Anthropic usa mínimos de 100 itens para avaliações complexas com múltiplos turnos e de 1.000 para testes mais simples de turno único, além de execuções repetidas para levar em conta resultados ruidosos e não determinísticos. A Anthropic informa que os intervalos de confiança das avaliações de API com múltiplos turnos podem ultrapassar ±10 pontos percentuais: em uma avaliação de golpes românticos com múltiplos turnos no claude.ai, Claude Opus 5 e Opus 5.5 registraram taxas de respostas adequadas de 98% e 94%, respectivamente, mas a diferença não foi estatisticamente significativa. O exemplo mostra por que uma diferença numérica, por si só, não permite determinar qual modelo se comportou com mais segurança.

Configurações de implantação e divulgação dos resultados

A configuração da implantação é outra variável documentada. Ao avaliar Claude Fable 5.1, a Anthropic constatou que algumas respostas validavam implicitamente a automutilação como estratégia de enfrentamento, mesmo quando a desencorajavam e indicavam a busca de apoio humano. A empresa informa que, ao repetir a avaliação com medidas de mitigação direcionadas no prompt do sistema, obteve uma taxa de respostas adequadas de 94% no claude.ai, em comparação com 60% na API. A comparação mostra por que pontuações de configurações diferentes não podem ser consideradas equivalentes.

As recomendações de divulgação também abrangem versões dos modelos, configurações de amostragem, prompts, versões dos avaliadores e datas, além de avaliações contínuas durante o ajuste fino, em vez de uma única verificação antes do lançamento. Falhas graves em sistemas implantados devem ser comunicadas primeiro ao desenvolvedor, para que haja tempo de corrigi-las antes da publicação dos resultados.

As três prioridades mais importantes da Anthropic são definir o construto antes de coletar dados, validar o avaliador com base no julgamento humano e informar a incerteza. A implicação mais ampla é que a afirmação de que um modelo é mais seguro do que outro depende tanto do desenho do teste, do contexto de implantação e do poder estatístico quanto da pontuação em destaque.