Scale AI uvádí zjištění ROK-FORTRESS o vícejazyčné bezpečnosti AI

Scale AI dne 17. září 2026 zveřejnila zjištění z ROK-FORTRESS, dvoujazyčného anglicko‑korejského benchmarku pro protivníkové testování bezpečnosti vyvinutého ve spolupráci s Korea AI Safety Institute, přičemž uvádí, že výzvy napsané korejsky a zakotvené v korejském kontextu byly konzistentně spojeny s nižším měřeným poškozením u téměř všech 14 testovaných špičkových modelů.

Návrh benchmarku: Matice transkrece

Většina vícejazyčných bezpečnostních benchmarků překládá pevně danou výzvu do jiného jazyka a zachovává nezměněný scénář, který popisuje. Ve výzkumném příspěvku, jehož autorem je Madhu Sehwag, Scale AI popisuje ROK-FORTRESS jako kontrolovanou transkreační matici: každá protivníková výzva je hodnocena v až čtyřech variantách, které nezávisle mění jazyk – angličtinu versus korejštinu – a geopolitické zakotvení, což znamená entity, instituce a provozní detaily USA versus Koreje. Každá protivníková výzva je spárována s neškodnou protějškem, aby benchmark mohl také měřit nadměrné odmítání.

Celý dataset zahrnuje 1 235 úkolů napříč čtyřmi oblastmi národní bezpečnosti a veřejné bezpečnosti: chemické, biologické, radiologické, jaderné a výbušné (CBRNE) hrozby; politické násilí a terorismus; trestná a finanční činnost; a únik informací. Odpovědi jsou hodnoceny kalibrovanými panelami LLM‑jako‑soudce, ověřenými oproti referenčním štítkům vytvořeným odborníky, pomocí specifických binárních rubrik vyvinutých expert‑red‑teamery.

Příspěvek ilustruje návrh scénářem masové útokové události: stejný základní záměr může vyvolat bombardování federální budovy v Oklahomě v roce 1995 ve Spojených státech nebo bombardování letu Korean Air 858 v Koreji v roce 1987, a hodnocení pouze na základě překladu nedokáže odhalit, jak tato změna zakotvení ovlivňuje chování modelu.

ROK-FORTRESS je nejnovějším benchmarkem z širšího partnerství Scale AI a Korea AI Safety Institute, které zahrnuje společný výzkum, hodnocení LLM a red‑teamování, a navazuje na FORTRESS, národní bezpečnostní a veřejně‑bezpečnostní benchmark Scale AI pro špičkové modely.

Zpráva o zjištěních napříč 14 modely

Podle článku se hodnocení zaměřilo na dvojité sady špičkových a korejsky optimalizovaných modelů. Scale AI uvádí, že anglické výzvy obecně generovaly nejvyšší rizikové skóre vážené podle úrovně a plně transkreditované korejské výzvy nejnižší, přičemž střední varianty ležely mezi nimi, a že tento vzorec platí i pro regionální modely specializované na korejštinu. Modely s nejvyšším a nejnižším škodlivým skóre se lišily téměř devíti‑násobně ve svých rizikových skórech.

Ablace přímých požadavků tento vzorec zkomplikovala. Hlavní testy benchmarku používají propracované protivníkové výzvy, které skryjí škodlivé požadavky v rámci role‑play, vymyšlených pozadí nebo emocionálních apelů; když byly tyto obaly odstraněny a stejná informace požadována v jednoduchém, přímém jazyce, korejská výhoda většinou zmizela. Proprietární modely od OpenAI, Anthropic a Google zůstaly mírně bezpečnější v korejštině, zatímco pět open‑source špičkových modelů bylo pravděpodobnější, že v korejštině vyhoví. Článek uvádí, že toto rozdělení naznačuje, že část korejského potlačení odráží specializaci výzvy, tj. ztrátu účinnosti protivníkových obalů při transkreci, spíše než vnitřní jazykové bezpečnostní sladění.

Scale AI také uvádí, že efekt přechodu z angličtiny na korejštinu byl přibližně 2,5‑krát větší než efekt přechodu ze zakotvení v USA na zakotvení v Koreji, zhruba deset procentních bodů oproti čtyřem, a nabízí jednu interpretaci souladnou s výsledky: korejština funguje jako konzervativní signál rizika. Ve 4 z 14 modelů přidání korejského kontextu významně oslabilo snížení škodlivých odpovědí spojených s korejským jazykem a žádný model neukázal statisticky významný efekt v opačném směru. Pokud se berou v úvahu pouze případy, kdy modely odpověděly místo odmítnutí, 12 z 14 stále poskytlo méně škodlivých odpovědí v korejštině, zatímco modely také častěji odmítaly neškodné korejské požadavky, v některých případech zhruba dvakrát častěji.

Preprint, veřejný dataset a uvedené implikace

Základní preprint na arXivu, nazvaný „ROK-FORTRESS: Measuring the Effect of Geopolitical Transcreation for National Security and Public Safety“, uvádí Michaela S. Leea a 15 spoluautorů. Byl poprvé odeslán 13. května 2026 a naposledy revidován 7. července 2026 a má 16 stran hlavního textu plus přílohu, celkem 74 stran, se čtyřmi obrázky a dvěma tabulkami v hlavním textu. Jeho abstrakt rámuje výsledky jako důkaz, že alespoň v případě anglicko‑korejském je bezpečnostní chování formováno signály jazyka jako rizika a interakcemi kontextu, které hodnocení pouze překladu opomíjejí, a uvádí, že metodologie transcreation‑matrix je navržena tak, aby byla zobecnitelna na další jazyk‑kulturní páry.

Veřejná podmnožina datasetu je dostupná na Hugging Face pod licencí CC-BY-4.0, za podmínky přístupové smlouvy vyžadující kontaktní informace. Podmnožina obsahuje 791 z 1 235 úkolů, což je 64 procent, zatímco zbývajících 444 úkolů, 36 procent, je zadrženo jako soukromý holdout na základě hodnocení odborníků red‑teamu ohledně potenciálu škod, a to jak k omezení výzev posuzovaných jako představující větší riziko reálného zneužití, tak k zabránění kontaminaci benchmarku. Vydání zahrnuje 359 úkolů kultura‑agnostické se dvěma variantami každý a 432 úkoly kultura‑specifické se čtyřmi variantami každý, což dává 1 519 efektivních párů úkol‑varianta, a každý úkol obsahuje od jednoho do sedmi binárních položek rubriky mapovaných na sedm dimenzí škod s doménově specifickými úrovněmi rizika 1 až 3. Veřejná podmnožina pokrývá CBRNE (251 úkolů), kriminální a finanční nelegální činnosti (248), politické násilí a terorismus (209) a únik informací (83), přičemž 450 úkolů je adaptováno z FORTRESS a 341 nově vytvořeno. Dataset je poskytován ve formátu Parquet s přiloženou verzí TSV.

V příspěvku Scale AI uvádí, že hodnocení pouze na základě překladu mohou špatně odhadovat mezery v reálné bezpečnosti, že benchmarky by měly testovat transkreativní výzvy, které přizpůsobují jak jazyk, tak geopolitické zakotvení při zachování základního záměru, a že data po tréninku a praktiky red‑teamingu by měly zahrnovat kulturně zakotvené varianty místo pouhých přeložených verzí anglických adversariálních výzev. Pro spojenecké vládní kontexty Scale AI uvádí, že model, který dobře funguje v anglických bezpečnostních hodnoceních, může při dotazu v místním jazyce na lokálně zakotvené hrozby jednat odlišně. Příspěvek konstatuje, že je nutné provést další testování, aby se zjistilo, zda se stejné vzorce projevují i v jiných jazycích a zemích.