Scale AI riporta i risultati di ROK-FORTRESS sulla sicurezza dell’IA multilingue

Il 17 settembre 2026 Scale AI ha pubblicato i risultati di ROK-FORTRESS, un benchmark di sicurezza avversaria bilingue inglese‑coreano sviluppato congiuntamente dal Korea AI Safety Institute, segnalando che i prompt scritti in coreano e contestualizzati in ambienti coreani sono stati costantemente associati a un danno misurato inferiore nella quasi totalità dei 14 modelli di frontiera valutati.

Progettazione del benchmark: la matrice di transcreazione

La maggior parte dei benchmark di sicurezza multilingue traduce un prompt fisso in un’altra lingua mantenendo invariato lo scenario descritto. Nel post di ricerca, scritto da Madhu Sehwag, Scale AI descrive ROK-FORTRESS come una matrice di transcreazione controllata: ogni prompt avversario è valutato in fino a quattro varianti che modificano indipendentemente la lingua, inglese o coreano, e il contesto geopolitico, ovvero entità, istituzioni e dettagli operativi statunitensi rispetto a coreani. Ogni prompt avversario è accoppiato a una controparte benigna, così il benchmark può anche misurare il rifiuto eccessivo.

L’intero set di dati comprende 1.235 attività suddivise in quattro ambiti di sicurezza nazionale e pubblica: minacce chimiche, biologiche, radiologiche, nucleari ed esplosive (CBRNE); violenza politica e terrorismo; attività criminali e finanziarie; e perdita di informazioni. Le risposte sono valutate da panel calibrati LLM‑as‑judge, convalidati rispetto a etichette di riferimento redatte da esperti, utilizzando rubriche binarie specifiche per il prompt, sviluppate da red‑team esperti.

Il post illustra il design con uno scenario di attacco di massa: la stessa intenzione di base può richiamare il bombardamento del Oklahoma Federal Building del 1995 negli Stati Uniti o il bombardamento del volo Korean Air 858 del 1987 in Corea, e una valutazione basata solo sulla traduzione non può rivelare come tale cambiamento di contesto alteri il comportamento del modello.

ROK-FORTRESS è l’ultimo benchmark di una più ampia collaborazione tra Scale AI e Korea AI Safety Institute, che comprende ricerca congiunta, valutazioni LLM e red‑team, e si basa su FORTRESS, il benchmark di sicurezza nazionale e pubblica di Scale AI per i modelli di frontiera.

Risultati segnalati su 14 modelli

Secondo il documento, la valutazione ha riguardato un insieme a doppio binario di modelli di frontiera e ottimizzati per il coreano. Scale AI segnala che i prompt in inglese hanno generalmente prodotto il punteggio di rischio ponderato per livello più alto, mentre i prompt totalmente transcreati in coreano hanno prodotto il più basso, con le varianti intermedie a metà, e che il modello è rimasto valido anche per i modelli regionali specializzati in coreano. I modelli più e meno dannosi differivano di quasi nove volte nei loro punteggi di rischio.

Un’ablazione con richiesta diretta ha complicato tale schema. I test principali del benchmark utilizzano prompt avversari elaborati che mascherano richieste dannose all’interno di giochi di ruolo, storie inventate o appelli emotivi; quando questi involucri sono stati rimossi e la stessa informazione è stata richiesta in linguaggio semplice e diretto, il vantaggio del coreano è quasi scomparso. I modelli proprietari di OpenAI, Anthropic e Google sono rimasti moderatamente più sicuri in coreano, mentre cinque modelli di frontiera open‑source sono risultati più propensi a soddisfare le richieste in coreano. Il documento afferma che questa divisione suggerisce che parte della riduzione del danno in coreano rifletta una specializzazione del prompt, cioè la perdita di efficacia degli involucri avversari mediante transcreazione, piuttosto che un allineamento di sicurezza intrinseco basato sulla lingua.

Scale AI segnala inoltre che l’effetto del passaggio dall’inglese al coreano è stato circa 2,5 volte più grande dell’effetto del passaggio da un contesto statunitense a uno coreano, circa dieci punti percentuali contro quattro, e propone un’interpretazione coerente con i risultati: il coreano funge da segnale di rischio conservativo. In 4 dei 14 modelli, l’aggiunta di contesto coreano ha indebolito in modo significativo la riduzione delle risposte dannose associate alla lingua coreana, e nessun modello ha mostrato un effetto statisticamente significativo nella direzione opposta. Considerando solo i casi in cui i modelli hanno risposto anziché rifiutare, 12 dei 14 hanno comunque fornito risposte meno dannose in coreano, mentre i modelli hanno anche rifiutato più spesso richieste innocue in coreano, in alcuni casi circa il doppio.

Preprint, dataset pubblico e implicazioni dichiarate

Il preprint su arXiv, intitolato “ROK-FORTRESS: Measuring the Effect of Geopolitical Transcreation for National Security and Public Safety”, elenca Michael S. Lee e 15 co‑autori. È stato inviato per la prima volta il 13 maggio 2026 e revisionato l’ultima volta il 7 luglio 2026, e comprende 16 pagine di testo principale più un’appendice, 74 pagine in totale, con quattro figure e due tabelle nel testo principale. Il suo abstract inquadra i risultati come evidenza che, almeno nel caso inglese‑coreano, il comportamento di sicurezza è modellato da segnali di rischio legati alla lingua e dalle interazioni contestuali che le valutazioni basate solo sulla traduzione non colgono, e afferma che la metodologia della matrice di transcreazione è progettata per generalizzarsi ad altre coppie lingua‑cultura.

Un sottoinsieme pubblico del dataset è disponibile su Hugging Face con licenza CC-BY-4.0, dietro un accordo di accesso che richiede informazioni di contatto. Il sottoinsieme contiene 791 dei 1.235 task, il 64 percento, mentre i restanti 444 task, il 36 percento, sono trattenuti come holdout privato sulla base di una valutazione di esperti red‑team sul potenziale di danno, sia per limitare i prompt giudicati a maggior rischio di abuso nel mondo reale sia per prevenire la contaminazione del benchmark. Il rilascio comprende 359 task Culture Agnostic con due varianti ciascuno e 432 task Culture Specific con quattro varianti ciascuno, per un totale di 1.519 coppie task‑variante effettive, e ogni task presenta da uno a sette elementi di rubrica binari mappati a sette dimensioni di danno con livelli di rischio specifici per dominio da 1 a 3. Il sottoinsieme pubblico copre CBRNE (251 task), attività criminali e finanziarie illecite (248), violenza politica e terrorismo (209) e perdita di informazioni (83), con 450 task adattati da FORTRESS e 341 di nuova creazione. Il dataset è fornito in formato Parquet con una versione TSV inclusa.

Nel post, Scale AI afferma che le valutazioni basate solo sulla traduzione possono sottostimare le lacune di sicurezza nel mondo reale, che i benchmark dovrebbero testare prompt transcreati che adattano sia la lingua sia il contesto geopolitico mantenendo intatta l’intenzione di base, e che i dati post‑training e le pratiche di red‑teaming dovrebbero includere varianti culturalmente radicate anziché solo versioni tradotte dei prompt avversari in inglese. Per i contesti governativi alleati, Scale AI dichiara che un modello che ottiene buoni risultati nelle valutazioni di sicurezza in inglese può comportarsi diversamente quando interrogato nella lingua locale su minacce radicate localmente. Il post sostiene che sono necessari ulteriori test per determinare se gli stessi schemi si verificano in altre lingue e paesi.