Scale AI relata descobertas do ROK-FORTRESS sobre segurança de IA multilíngue

Scale AI em 17 de setembro de 2026 publicou descobertas do ROK-FORTRESS, um benchmark de segurança adversarial bilíngue inglês‑coreano desenvolvido em conjunto com o Korea AI Safety Institute, relatando que prompts escritos em coreano e fundamentados em contextos coreanos foram consistentemente associados a menor dano medido em quase todos os 14 modelos de ponta avaliados.

Design do Benchmark: A Matriz de Transcriação

A maioria dos benchmarks de segurança multilíngue traduz um prompt fixo para outra língua mantendo o cenário descrito inalterado. No post de pesquisa, escrito por Madhu Sehwag, a Scale AI descreve o ROK-FORTRESS como uma matriz de transcriação controlada: cada prompt adversarial é avaliado em até quatro variantes que variam independentemente o idioma, inglês versus coreano, e a base geopolítica, significando entidades, instituições e detalhes operacionais dos EUA versus da Coreia. Cada prompt adversarial é emparelhado com uma contraparte benigna para que o benchmark também possa medir a recusa excessiva.

O conjunto de dados completo abrange 1.235 tarefas em quatro domínios de segurança nacional e segurança pública: ameaças químicas, biológicas, radiológicas, nucleares e explosivas (CBRNE); violência política e terrorismo; atividade criminal e financeira; e vazamento de informações. As respostas são pontuadas por painéis calibrados de LLM‑como‑juiz validados contra rótulos de referência escritos por especialistas, usando rubricas binárias específicas de prompt desenvolvidas por red‑teamers especialistas.

O post ilustra o design com um cenário de ataque em massa: a mesma intenção subjacente pode invocar o bombardeio de 1995 do Oklahoma Federal Building nos Estados Unidos ou o bombardeio de 1987 do Voo 858 da Korean Air na Coreia, e uma avaliação apenas de tradução não pode revelar como essa mudança de base altera o comportamento do modelo.

ROK-FORTRESS é o benchmark mais recente de uma parceria mais ampla entre Scale AI e o Korea AI Safety Institute que cobre pesquisa conjunta, avaliações de LLM e red teaming, e baseia‑se no FORTRESS, benchmark de segurança nacional e segurança pública da Scale AI para modelos de ponta.

Resultados Reportados em 14 Modelos

A avaliação cobriu um conjunto de modelos de ponta e otimizados para coreano, conforme o artigo. A Scale AI relata que prompts em inglês geralmente produziram a pontuação de risco ponderada mais alta e prompts totalmente transcriados em coreano a mais baixa, com variantes intermediárias situando‑se entre elas, e que o padrão se manteve mesmo para modelos regionais especializados em coreano. Os modelos mais e menos nocivos diferiram em quase nove vezes nas suas pontuações de risco.

Uma ablação de solicitação direta complicou esse padrão. Os principais testes do benchmark utilizam prompts adversariais elaborados que disfarçam solicitações nocivas dentro de papéis, histórias inventadas ou apelos emocionais; quando esses invólucros foram removidos e a mesma informação foi solicitada em linguagem direta e simples, a vantagem do coreano desapareceu em grande parte. Modelos proprietários da OpenAI, Anthropic e Google permaneceram modestamente mais seguros em coreano, enquanto cinco modelos de fronteira de código aberto tornaram‑se mais propensos a atender em coreano. O artigo afirma que essa divisão sugere que parte da supressão coreana reflete especialização de prompt, ou seja, a perda de eficácia dos invólucros adversariais através da transcriação, em vez de um alinhamento de segurança intrinsecamente baseado no idioma.

A Scale AI também relata que o efeito de mudar do inglês para o coreano foi aproximadamente 2,5 vezes maior que o efeito de mudar da base dos EUA para a base coreana, cerca de dez pontos percentuais versus quatro, e oferece uma interpretação consistente com os resultados: que o coreano funciona como um sinal conservador de risco. Em 4 dos 14 modelos, adicionar contexto coreano enfraqueceu significativamente a redução nas respostas nocivas associada ao idioma coreano, e nenhum modelo mostrou um efeito estatisticamente significativo na direção oposta. Considerando apenas os casos em que os modelos responderam em vez de recusar, 12 dos 14 ainda deram respostas menos nocivas em coreano, enquanto os modelos também recusaram solicitações inofensivas em coreano com mais frequência, em alguns casos cerca de duas vezes mais.

Preprint, Conjunto de Dados Público e Implicações Declaradas

O pré-ensaio no arXiv, intitulado “ROK-FORTRESS: Medindo o Efeito da Transcriação Geopolítica para Segurança Nacional e Segurança Pública”, lista Michael S. Lee e 15 coautores. Foi submetido pela primeira vez em 13 de maio de 2026 e revisado pela última vez em 7 de julho de 2026, e tem 16 páginas de texto principal mais um apêndice, 74 páginas no total, com quatro figuras e duas tabelas no texto principal. Seu resumo enquadra os resultados como evidência de que, pelo menos no caso inglês-coreano, o comportamento de segurança é moldado por sinais de risco linguísticos e interações de contexto que avaliações apenas de tradução deixam de captar, e afirma que a metodologia da matriz de transcriação foi projetada para se generalizar a outros pares de língua-cultura.

Um subconjunto público do conjunto de dados está disponível no Hugging Face sob uma licença CC-BY-4.0, mediante um acordo de acesso que exige informações de contato. O subconjunto contém 791 das 1.235 tarefas, 64 por cento, enquanto as 444 tarefas restantes, 36 por cento, são retidas como um holdout privado com base em avaliação de red‑teamers especialistas sobre o potencial de dano, tanto para restringir prompts julgados como apresentando maior risco de uso indevido no mundo real quanto para impedir a contaminação do benchmark. A liberação compreende 359 tarefas agnósticas de cultura com duas variantes cada e 432 tarefas específicas de cultura com quatro variantes cada, totalizando 1.519 pares efetivos de tarefa‑variante, e cada tarefa possui de um a sete itens de rubrica binária mapeados para sete dimensões de dano com níveis de risco específicos de domínio de 1 a 3. O subconjunto público abrange CBRNE (251 tarefas), atividades criminais e ilícitas financeiras (248), violência política e terrorismo (209) e vazamento de informações (83), com 450 tarefas adaptadas do FORTRESS e 341 recém‑criadas. O conjunto de dados é fornecido em formato Parquet com uma versão TSV incluída.

Na publicação, a Scale AI afirma que avaliações apenas de tradução podem subestimar lacunas de segurança no mundo real, que os benchmarks devem testar prompts transcriados que adaptem tanto a linguagem quanto o contexto geopolítico, preservando a intenção subjacente, e que práticas de dados pós‑treinamento e red‑teaming devem incorporar variantes culturalmente fundamentadas em vez de apenas versões traduzidas de prompts adversariais em inglês. Para contextos governamentais aliados, a Scale AI declara que um modelo que apresenta bom desempenho em avaliações de segurança em inglês pode se comportar de forma diferente quando consultado na língua local sobre ameaças localmente fundamentadas. A publicação indica que testes adicionais são necessários para determinar se os mesmos padrões se mantêm em outras línguas e países.