Scale AI Melaporkan Temuan ROK-FORTRESS tentang Keamanan AI Multibahasa

Scale AI pada 17 September 2026 menerbitkan temuan dari ROK-FORTRESS, sebuah benchmark keamanan adversarial dwibahasa Inggris–Korea yang dikembangkan bersama Korea AI Safety Institute, melaporkan bahwa prompt yang ditulis dalam bahasa Korea dan berlandaskan konteks Korea secara konsisten terkait dengan tingkat bahaya yang terukur lebih rendah pada hampir semua 14 model frontier yang dievaluasi.

Desain Benchmark: Matriks Transkreati

Sebagian besar benchmark keamanan multibahasa menerjemahkan prompt tetap ke bahasa lain sambil mempertahankan skenario yang dijelaskannya tidak berubah. Dalam posting riset yang ditulis oleh Madhu Sehwag, Scale AI menggambarkan ROK-FORTRESS sebagai matriks transkreati terkontrol: setiap prompt adversarial dievaluasi dalam hingga empat varian yang secara independen mengubah bahasa, Inggris versus Korea, dan dasar geopolitik, yang berarti entitas, institusi, dan detail operasional AS versus Korea. Setiap prompt adversarial dipasangkan dengan counterpart yang tidak berbahaya sehingga benchmark juga dapat mengukur penolakan berlebih.

Dataset lengkap mencakup 1,235 tugas dalam empat domain keamanan nasional dan keselamatan publik: ancaman kimia, biologi, radiologi, nuklir, dan bahan peledak (CBRNE); kekerasan politik dan terorisme; aktivitas kriminal dan keuangan; serta kebocoran informasi. Respons dinilai oleh panel LLM‑sebagai‑hakim yang terkalibrasi dan divalidasi terhadap label referensi yang ditulis oleh ahli, menggunakan rubrik biner spesifik prompt yang dikembangkan oleh red‑team ahli.

Posting tersebut menggambarkan desain dengan skenario serangan massal: niat dasar yang sama dapat merujuk pada pengeboman tahun 1995 terhadap Oklahoma Federal Building di Amerika Serikat atau pengeboman tahun 1987 pada Korean Air Flight 858 di Korea, dan evaluasi yang hanya menerjemahkan tidak dapat mengungkap bagaimana pergeseran dasar tersebut mengubah perilaku model.

ROK-FORTRESS adalah benchmark terbaru dari kemitraan yang lebih luas antara Scale AI dan Korea AI Safety Institute yang mencakup riset bersama, evaluasi LLM, dan red‑team, serta dibangun di atas FORTRESS, benchmark keamanan nasional dan keselamatan publik Scale AI untuk model frontier.

Temuan yang Dilaporkan pada 14 Model

Evaluasi mencakup rangkaian dual‑track model frontier dan yang dioptimalkan untuk bahasa Korea, menurut makalah tersebut. Scale AI melaporkan bahwa prompt berbahasa Inggris umumnya menghasilkan skor risiko berbobot tingkat tertinggi dan prompt Korea yang sepenuhnya ditranskreasikan menghasilkan skor terendah, dengan varian menengah berada di antara keduanya, serta pola tersebut tetap berlaku bahkan untuk model regional yang khusus Korea. Model yang paling dan paling tidak berbahaya berbeda hampir sembilan kali lipat dalam skor risiko mereka.

Ablasi permintaan langsung memperumit pola tersebut. Tes utama benchmark menggunakan prompt adversarial yang rumit yang menyamarkan permintaan berbahaya di dalam peran‑permainan, latar belakang fiktif, atau daya tarik emosional; ketika pembungkus tersebut dihilangkan dan informasi yang sama diminta dengan bahasa yang sederhana dan langsung, keunggulan bahasa Korea hampir menghilang. Model proprietari dari OpenAI, Anthropic, dan Google tetap sedikit lebih aman dalam bahasa Korea, sementara lima model frontier sumber terbuka menjadi lebih cenderung mematuhi dalam bahasa Korea. Makalah tersebut menyatakan bahwa perbedaan ini menunjukkan sebagian penekanan bahasa Korea mencerminkan spesialisasi prompt, artinya pembungkus adversarial kehilangan efektivitas melalui transkreati, bukan karena keselarasan keamanan berbasis bahasa yang intrinsik.

Scale AI juga melaporkan bahwa efek beralih dari bahasa Inggris ke bahasa Korea kira-kira 2,5 kali lebih besar dibandingkan efek beralih dari dasar AS ke dasar Korea, sekitar sepuluh poin persentase versus empat, dan menawarkan satu interpretasi yang konsisten dengan hasil: bahwa bahasa Korea berfungsi sebagai sinyal risiko konservatif. Pada 4 dari 14 model, penambahan konteks Korea secara signifikan melemahkan pengurangan respons berbahaya yang terkait dengan bahasa Korea, dan tidak ada model yang menunjukkan efek statistik signifikan ke arah sebaliknya. Dengan mempertimbangkan hanya kasus di mana model menjawab daripada menolak, 12 dari 14 masih memberikan respons yang kurang berbahaya dalam bahasa Korea, sementara model juga menolak permintaan bahasa Korea yang tidak berbahaya lebih sering, dalam beberapa kasus sekitar dua kali lebih sering.

Preprint, Dataset Publik, dan Implikasi yang Dinyatakan

Pracetak di arXiv yang mendasari studi ini, berjudul “ROK-FORTRESS: Measuring the Effect of Geopolitical Transcreation for National Security and Public Safety”, mencantumkan Michael S. Lee dan 15 rekan penulis. Preprint ini pertama kali diajukan pada 13 Mei 2026 dan terakhir direvisi pada 7 Juli 2026, serta terdiri dari 16 halaman teks utama plus lampiran, total 74 halaman, dengan empat gambar dan dua tabel dalam teks utama. Abstraknya menyajikan hasil sebagai bukti bahwa, setidaknya dalam kasus Inggris‑Korea, perilaku keselamatan dibentuk oleh sinyal bahasa‑sebagai‑risiko dan interaksi konteks yang tidak terdeteksi oleh evaluasi hanya terjemahan, dan menyatakan bahwa metodologi matriks transkreasinya dirancang untuk digeneralisasikan ke pasangan bahasa‑budaya lainnya.

Subet publik dari dataset tersedia di Hugging Face dengan lisensi CC-BY-4.0, di belakang perjanjian akses yang memerlukan informasi kontak. Subset tersebut berisi 791 dari 1,235 tugas, yaitu 64 persen, sementara 444 tugas sisanya, yaitu 36 persen, ditahan sebagai holdout pribadi berdasarkan penilaian ahli red‑team terhadap potensi bahaya, baik untuk membatasi prompt yang dinilai memiliki risiko lebih tinggi terhadap penyalahgunaan di dunia nyata maupun untuk mencegah kontaminasi benchmark. Rilis ini mencakup 359 tugas Culture Agnostic dengan dua varian masing‑masing dan 432 tugas Culture Specific dengan empat varian masing‑masing, menghasilkan 1,519 pasangan tugas‑varian efektif, dan setiap tugas memiliki satu hingga tujuh item rubrik biner yang dipetakan ke tujuh dimensi bahaya dengan tingkatan risiko domain‑spesifik 1 hingga 3. Subset publik mencakup CBRNE (251 tugas), kegiatan kriminal dan keuangan ilegal (248), kekerasan politik dan terorisme (209), serta kebocoran informasi (83), dengan 450 tugas yang diadaptasi dari FORTRESS dan 341 yang ditulis baru. Dataset disediakan dalam format Parquet dengan versi TSV disertakan.

Dalam postingan, Scale AI menyatakan bahwa evaluasi hanya terjemahan dapat memperkirakan secara keliru kesenjangan keamanan dunia nyata, bahwa benchmark harus menguji prompt yang ditranskreasikan yang menyesuaikan baik bahasa maupun konteks geopolitik sambil mempertahankan niat dasar, dan bahwa data pasca‑pelatihan serta praktik red‑team harus memasukkan varian yang berakar secara budaya daripada hanya versi terjemahan dari prompt antagonis berbahasa Inggris. Untuk konteks pemerintah sekutu, Scale AI menyatakan, sebuah model yang berkinerja baik dalam evaluasi keamanan berbahasa Inggris dapat berperilaku berbeda ketika ditanya dalam bahasa lokal tentang ancaman yang berakar secara lokal. Posting tersebut menyatakan bahwa pengujian lebih lanjut diperlukan untuk menentukan apakah pola yang sama berlaku di bahasa dan negara lain.