Scale AI informuje o wynikach ROK-FORTRESS dotyczących wielojęzycznego bezpieczeństwa SI

Scale AI 17 września 2026 opublikowało wyniki z ROK-FORTRESS, dwujęzycznego, angielsko‑koreańskiego benchmarku bezpieczeństwa adwersarnego opracowanego wspólnie z Korea AI Safety Institute, informując, że polecenia napisane po koreańsku i osadzone w koreańskich kontekstach były konsekwentnie związane z niższym zmierzonym szkodliwym skutkiem w prawie wszystkich 14 ocenianych modeli frontier.

Projekt benchmarku: macierz transkreacji

Większość wielojęzycznych benchmarków bezpieczeństwa tłumaczy stałe polecenie na inny język, zachowując niezmienioną opisywaną scenę. W poście badawczym, autorstwa Madhu Sehwag, Scale AI opisuje ROK‑FORTRESS jako kontrolowaną macierz transkreacji: każde adwersarialne polecenie jest oceniane w maksymalnie czterech wariantach, które niezależnie zmieniają język – angielski versus koreański – oraz kontekst geopolityczny, czyli podmioty, instytucje i szczegóły operacyjne USA versus Korei. Każde adwersarialne polecenie jest sparowane z nieszkodliwym odpowiednikiem, aby benchmark mógł także mierzyć nadmierne odrzucanie.

Pełny zestaw danych obejmuje 1 235 zadań w czterech obszarach bezpieczeństwa narodowego i publicznego: zagrożenia chemiczne, biologiczne, radiologiczne, nuklearne i wybuchowe (CBRNE); przemoc polityczna i terroryzm; działalność przestępczą i finansową; oraz wycieki informacji. Odpowiedzi są oceniane przez skalibrowane panele LLM‑as‑judge, zweryfikowane względem etykiet referencyjnych opracowanych przez ekspertów, przy użyciu binarnych rubryk specyficznych dla polecenia, stworzonych przez doświadczonych red‑teamów.

Post ilustruje projekt scenariuszem ataku masowego: ten sam zamierzony cel może odwoływać się do zamachu bombowego z 1995 roku na Oklahoma Federal Building w Stanach Zjednoczonych lub do zamachu z 1987 roku na lot Korean Air 858 w Korei, a ocena wyłącznie tłumaczeniowa nie ujawnia, jak zmiana kontekstu wpływa na zachowanie modelu.

ROK‑FORTRESS jest najnowszym benchmarkiem w ramach szerszej współpracy Scale AI i Korea AI Safety Institute, obejmującej wspólne badania, oceny LLM oraz red teaming, i opiera się na FORTRESS, benchmarku bezpieczeństwa narodowego i publicznego Scale AI dla modeli frontier.

Zgłoszone wyniki wśród 14 modeli

Ocena obejmowała podwójny zestaw modeli frontier oraz zoptymalizowanych pod kątem koreańskiego, zgodnie z publikacją. Scale AI informuje, że polecenia w języku angielskim zazwyczaj generowały najwyższą, ważoną wg poziomu, wartość ryzyka, a w pełni przetłumaczone polecenia koreańskie – najniższą, przy czym warianty pośrednie plasowały się pomiędzy, a wzorzec utrzymywał się również w przypadku regionalnych modeli specjalizowanych w języku koreańskim. Najbardziej i najmniej szkodliwe modele różniły się prawie dziewięciokrotnie pod względem wyników ryzyka.

Ablacja polegająca na bezpośrednim żądaniu skomplikowała ten wzorzec. Główne testy benchmarku wykorzystują rozbudowane adwersarialne polecenia, które ukrywają szkodliwe żądania w odgrywaniu ról, wymyślonych fabułach lub apelach emocjonalnych; gdy te osłony zostały usunięte i ta sama informacja została poproszona w prostym, bezpośrednim języku, koreańska przewaga w dużej mierze znikła. Własnościowe modele od OpenAI, Anthropic i Google pozostały nieco bezpieczniejsze w języku koreańskim, podczas gdy pięć otwarto‑źródłowych modeli frontier stało się bardziej skłonne do spełnienia żądania po koreańsku. W publikacji stwierdzono, że podział ten sugeruje, iż część koreańskiego tłumienia wynika ze specjalizacji poleceń, czyli utraty skuteczności osłon adwersarialnych w wyniku transkreacji, a nie z wrodzonego, językowego dopasowania bezpieczeństwa.

Scale AI informuje również, że efekt przejścia z języka angielskiego na koreański był około 2,5‑krotnie większy niż efekt zmiany kontekstu z USA na Koreę, wynosząc około dziesięciu punktów procentowych w porównaniu do czterech, i proponuje jedną interpretację zgodną z wynikami: że język koreański działa jako konserwatywny sygnał ryzyka. W czterech z czternastu modeli dodanie koreańskiego kontekstu znacząco osłabiło redukcję szkodliwych odpowiedzi związanych z językiem koreańskim, a żaden model nie wykazał statystycznie istotnego efektu w przeciwnym kierunku. Biorąc pod uwagę jedynie przypadki, w których modele odpowiedziały zamiast odrzuciły, dwanaście z czternastu nadal udzielało mniej szkodliwych odpowiedzi po koreańsku, podczas gdy modele częściej odrzucały nieszkodliwe koreańskie żądania, w niektórych przypadkach około dwa razy częściej.

Preprint, publiczny zestaw danych i wskazane implikacje

Podstawowy preprint na arXiv, zatytułowany „ROK-FORTRESS: Measuring the Effect of Geopolitical Transcreation for National Security and Public Safety”, wymienia Michaela S. Lee i 15 współautorów. Został po raz pierwszy zgłoszony 13 maja 2026 r., a ostatnio zrewidowany 7 lipca 2026 r., i obejmuje 16 stron tekstu głównego plus aneks, łącznie 74 strony, z czterema rysunkami i dwiema tabelami w tekście głównym. Jego streszczenie przedstawia wyniki jako dowód na to, że przynajmniej w przypadku angielsko‑koreańskim zachowanie bezpieczeństwa jest kształtowane przez sygnały ryzyka językowego i interakcje kontekstowe, które oceny oparte wyłącznie na tłumaczeniu pomijają, oraz stwierdza, że metodologia macierzy transkreacji została zaprojektowana tak, aby mogła być uogólniona na inne pary językowo‑kulturowe.

Publiczny podzbiór zestawu danych jest dostępny na Hugging Face na licencji CC-BY-4.0, w ramach umowy dostępu wymagającej podania danych kontaktowych. Podzbiór zawiera 791 z 1 235 zadań, czyli 64 procenty, podczas gdy pozostałe 444 zadania, czyli 36 procenty, są przechowywane jako prywatny zestaw kontrolny na podstawie oceny ekspertów‑red‑teamera pod kątem potencjału szkód, zarówno w celu ograniczenia zapytań uznanych za większe ryzyko nadużyć w rzeczywistym świecie, jak i zapobieżenia zanieczyszczeniu benchmarku. Wydanie obejmuje 359 zadań kulturowo neutralnych z dwoma wariantami każdego oraz 432 zadania kulturowo specyficzne z czterema wariantami każdego, co daje 1 519 efektywnych par zadanie‑wariant, przy czym każde zadanie zawiera od jednego do siedmiu binarnych elementów rubryki powiązanych z siedmioma wymiarami szkód oraz specyficznymi dla domeny poziomami ryzyka od 1 do 3. Publiczny podzbiór obejmuje CBRNE (251 zadań), przestępstwa i nielegalne działania finansowe (248), przemoc polityczną i terroryzm (209) oraz wycieki informacji (83), przy czym 450 zadań zostało zaadaptowanych z FORTRESS i 341 zostało opracowanych od podstaw. Zestaw danych jest udostępniany w formacie Parquet, a wersja TSV jest dołączona.

W poście Scale AI stwierdza, że oceny oparte wyłącznie na tłumaczeniach mogą błędnie szacować rzeczywiste luki w bezpieczeństwie, że benchmarki powinny testować przetworzone (transkreowane) zapytania, które dostosowują zarówno język, jak i kontekst geopolityczny, zachowując jednocześnie pierwotny zamiar, oraz że po‑treningowe dane i praktyki red‑teamingu powinny uwzględniać warianty zakorzenione kulturowo, a nie jedynie przetłumaczone wersje angielskich zapytań adwersarialnych. W kontekstach rządowych sojuszników Scale AI podkreśla, że model dobrze wypadający w ocenie bezpieczeństwa w języku angielskim może zachowywać się inaczej, gdy zostanie zapytany w lokalnym języku o lokalnie zakorzenione zagrożenia. Post informuje, że konieczne są dalsze testy, aby ustalić, czy te same wzorce utrzymują się w innych językach i krajach.