Scale AI rapporteert ROK-FORTRESS-bevindingen over meertalige AI-veiligheid

Scale AI heeft op 17 september 2026 bevindingen gepubliceerd van ROK-FORTRESS, een tweetalig Engels‑Koreaans adversarieel veiligheidsbenchmark ontwikkeld in samenwerking met het Korea AI Safety Institute, waarin wordt gerapporteerd dat prompts geschreven in het Koreaans en verankerd in Koreaanse contexten consequent geassocieerd waren met minder gemeten schade bij bijna alle 14 geëvalueerde frontier-modellen.

Benchmarkontwerp: de transcreatiematrix

De meeste meertalige veiligheidsbenchmarks vertalen een vaste prompt naar een andere taal terwijl het beschreven scenario ongewijzigd blijft. In de onderzoeksblog, geschreven door Madhu Sehwag, beschrijft Scale AI ROK-FORTRESS als een gecontroleerde transcreatiematrix: elke adversaire prompt wordt geëvalueerd over maximaal vier varianten die onafhankelijk van elkaar taal (Engels versus Koreaans) en geopolitieke verankering variëren, wat betekent dat Amerikaanse versus Koreaanse entiteiten, instellingen en operationele details worden gebruikt. Elke adversaire prompt wordt gekoppeld aan een onschadelijke tegenhanger zodat de benchmark ook over‑weigering kan meten.

De volledige dataset omvat 1,235 taken over vier domeinen van nationale veiligheid en openbare veiligheid: chemische, biologische, radiologische, nucleaire en explosieve (CBRNE) bedreigingen; politieke geweld en terrorisme; criminele en financiële activiteiten; en informatielekken. Reacties worden beoordeeld door gekalibreerde LLM‑als‑rechterpanels die gevalideerd zijn tegen door experts geschreven referentielabels, met behulp van prompt‑specifieke binaire rubrieken ontwikkeld door deskundige red‑teamers.

De blog illustreert het ontwerp met een massale slachtoffers‑aanvalscenario: dezelfde onderliggende intentie kan verwijzen naar de bomaanslag van 1995 op het Oklahoma Federal Building in de Verenigde Staten of de bomaanslag van 1987 op Korean Air Flight 858 in Korea, en een uitsluitend vertaal‑evaluatie kan niet onthullen hoe die verschuiving in verankering het gedrag van het model verandert.

ROK-FORTRESS is de nieuwste benchmark uit een bredere samenwerking tussen Scale AI en het Korea AI Safety Institute, die gezamenlijk onderzoek, LLM‑evaluaties en red‑teamactiviteiten omvat, en bouwt voort op FORTRESS, de nationale veiligheids‑ en openbare veiligheidsbenchmark van Scale AI voor frontier‑modellen.

Gerapporteerde bevindingen over 14 modellen

Volgens het artikel besloeg de evaluatie een dual‑track set van frontier‑ en Korea‑geoptimaliseerde modellen. Scale AI meldt dat Engelstalige prompts over het algemeen de hoogste, op tier gewogen risicoscore opleverden en volledig getranscreëerde Koreaanse prompts de laagste, met tussenliggende varianten daartussen, en dat dit patroon zelfs gold voor regionaal gespecialiseerde Koreaanse modellen. De meest en minst schadelijke modellen verschilden bijna negen keer in hun risicoscores.

Een direct‑verzoek‑ablatie bemoeilijkte dat patroon. De belangrijkste tests van de benchmark gebruiken uitgebreide adversaire prompts die schadelijke verzoeken verbergen achter rollenspel, verzonnen achtergrondverhalen of emotionele appèllen; wanneer die omhulsels werden verwijderd en dezelfde informatie in eenvoudige, directe taal werd gevraagd, verdween het Koreaanse voordeel grotendeels. Proprietaire modellen van OpenAI, Anthropic en Google bleven enigszins veiliger in het Koreaans, terwijl vijf open‑source frontier‑modellen eerder geneigd waren om in het Koreaans toe te geven. Het artikel stelt dat deze splitsing suggereert dat een deel van de Koreaanse onderdrukking voortkomt uit prompt‑specialisatie, wat betekent dat adversaire omhulsels hun effectiviteit verliezen door transcreatie, in plaats van een intrinsieke op taal gebaseerde veiligheidsuitlijning.

Scale AI meldt ook dat het effect van overschakelen van Engels naar Koreaans ongeveer 2,5 keer zo groot was als het effect van overschakelen van een Amerikaanse naar een Koreaanse verankering, ongeveer tien procentpunten versus vier, en biedt één interpretatie die consistent is met de resultaten: dat Koreaans fungeert als een conservatief risicosignaal. In 4 van de 14 modellen verzwakte het toevoegen van Koreaanse context de vermindering van schadelijke reacties die met de Koreaanse taal geassocieerd is aanzienlijk, en geen enkel model vertoonde een statistisch significant effect in de tegenovergestelde richting. Als alleen de gevallen worden beschouwd waarin modellen antwoorden in plaats van weigeren, gaven 12 van de 14 nog steeds minder schadelijke reacties in het Koreaans, terwijl modellen ook onschadelijke Koreaanse verzoeken vaker weigerden, in sommige gevallen ongeveer twee keer zoveel.

Preprint, openbare dataset en verklaarde implicaties

De onderliggende preprint op arXiv, getiteld “ROK-FORTRESS: Het meten van het effect van geopolitieke transcreatie op nationale veiligheid en openbare veiligheid”, vermeldt Michael S. Lee en 15 co-auteurs. Het werd voor het eerst ingediend op 13 mei 2026 en laatst bijgewerkt op 7 juli 2026, en het bestaat uit 16 pagina’s hoofdtekst plus een bijlage, 74 pagina’s in totaal, met vier figuren en twee tabellen in de hoofdtekst. De samenvatting presenteert de resultaten als bewijs dat, althans in het Engels-Koreaans geval, veiligheidsgedrag wordt gevormd door taal-als-risico-signalen en contextinteracties die alleen vertaal‑evaluaties missen, en stelt dat de transcreatie‑matrixmethodologie bedoeld is om te generaliseren naar andere taal‑cultuurparen.

Een openbaar deel van de dataset is beschikbaar op Hugging Face onder een CC‑BY‑4.0‑licentie, achter een toegangs­overeenkomst die contactinformatie vereist. Het deel bevat 791 van de 1 235 taken, 64 procent, terwijl de resterende 444 taken, 36 procent, worden achtergehouden als een privé‑holdout op basis van een beoordeling door deskundige red‑teamers van het schadelijke potentieel, zowel om prompts die als groter risico op misbruik in de echte wereld worden beschouwd te beperken als om contaminatie van de benchmark te voorkomen. De release omvat 359 cultuur‑agnostische taken met elk twee varianten en 432 cultuur‑specifieke taken met elk vier varianten, wat resulteert in 1 519 effectieve taak‑variant‑paren, en elke taak bevat één tot zeven binaire rubriekelementen die zijn gekoppeld aan zeven schadelijkheidsdimensies met domeinspecifieke risicotiers 1 tot 3. Het openbare deel bestrijkt CBRNE (251 taken), criminele en financiële illegale activiteiten (248), politieke geweld en terrorisme (209) en informatie‑lekken (83), met 450 taken aangepast van FORTRESS en 341 nieuw geschreven. De dataset wordt geleverd in Parquet‑formaat met een TSV‑versie inbegrepen.

In de post stelt Scale AI dat evaluaties die alleen vertaling gebruiken de veiligheidskloven in de echte wereld kunnen onderschatten, dat benchmarks transgecreëerde prompts moeten testen die zowel taal als geopolitieke context aanpassen terwijl de onderliggende intentie behouden blijft, en dat post‑training data‑ en red‑teaming‑praktijken cultureel verankerde varianten moeten opnemen in plaats van alleen vertaalde versies van Engelse adversariële prompts. Voor geallieerde overheidscontexten stelt Scale AI dat een model dat goed presteert in Engelse veiligheids‑evaluaties zich anders kan gedragen wanneer het in de lokale taal wordt bevraagd over lokaal verankerde bedreigingen. De post vermeldt dat verder testen nodig is om te bepalen of dezelfde patronen gelden in andere talen en landen.