Scale AI、ROK-FORTRESS の多言語 AI 安全性に関する調査結果を報告

Scale AIは2026年9月17日に、韓国AI安全性研究所と共同で開発した英語‑韓国語のバイリンガル対向安全ベンチマーク ROK-FORTRESS の調査結果を公表し、韓国語で記述され韓国の文脈に基づくプロンプトは、評価されたほぼすべての14モデルにおいて測定された有害性が一貫して低いことを報告した。

ベンチマーク設計：トランスクリエーションマトリックス

ほとんどの多言語安全性ベンチマークは、シナリオを変えずに固定されたプロンプトを別の言語に翻訳する。Madhu Sehwag が執筆した研究投稿において、Scale AIはROK-FORTRESSを制御されたトランスクリエーションマトリックスとして説明している。各対向プロンプトは、言語（英語対韓国語）と地政学的基盤（米国対韓国の組織、機関、運用詳細）を独立に変化させた最大4つのバリエーションで評価される。各対向プロンプトは無害な対照とペアになっており、ベンチマークは過度の拒否も測定できる。

完全データセットは、化学・生物・放射線・核・爆発物（CBRNE）脅威、政治的暴力とテロ、犯罪・金融活動、情報漏洩の4つの国家安全保障・公共安全領域にわたる1,235件のタスクを網羅している。回答は、専門家が作成した参照ラベルと照合し、校正されたLLM‑as‑judgeパネルによって採点され、専門的なレッドチームが開発したプロンプト固有の二元評価基準が使用される。

この投稿は大量死傷者を伴う攻撃シナリオで設計を例示している。同じ根本的な意図が、米国オクラホマ連邦ビルディングの1995年爆破事件や、韓国での1987年大韓航空858便爆破事件を呼び起こす可能性があり、翻訳のみの評価では基盤の変化がモデルの挙動に与える影響を明らかにできない。

ROK-FORTRESSは、共同研究、LLM評価、レッドチーミングを含むScale AI と Korea AI Safety Institute の広範なパートナーシップから生まれた最新のベンチマークで、Scale AI の先端モデル向け国家安全保障・公共安全ベンチマークである FORTRESS を土台としている。

14モデルにわたる報告された調査結果

論文によると、評価は先端モデルと韓国語最適化モデルの二本軸セットを対象とした。Scale AIは、英語プロンプトが一般に最高の階層加重リスクスコアを示し、完全にトランスクリエートされた韓国語プロンプトが最も低く、途中のバリエーションはその間に位置し、さらに韓国語に特化した地域モデルでも同様の傾向が見られたと報告している。最も有害なモデルと最も安全なモデルのリスクスコアはほぼ9倍の差があった。

直接要求の除去実験によりこのパターンは複雑化した。ベンチマークの主要テストは、ロールプレイや架空の背景、感情的訴求に有害な要求を隠した精巧な対向プロンプトを使用しているが、これらのラッパーを除去し、同じ情報を平易で直接的な言語で要求したところ、韓国語での優位性はほとんど消失した。OpenAI、Anthropic、Google の独自モデルは韓国語でもやや安全性が高いままであった一方、5つのオープンソース先端モデルは韓国語での応答が増加した。論文は、この分割は韓国語での抑制がプロンプトの専門化、すなわちトランスクリエーションにより対向ラッパーの効果が低下したことを示唆し、言語固有の安全性整合性ではないと述べている。

Scale AIは、英語から韓国語への切り替え効果が米国から韓国への基盤切り替え効果の約2.5倍、すなわち10ポイント対4ポイントであり、結果と一致する解釈として韓国語が保守的なリスクシグナルとして機能すると提示している。14モデルのうち4モデルでは、韓国語コンテキストの追加が韓国語による有害応答の減少を有意に弱め、逆方向の統計的に有意な効果を示すモデルはなかった。モデルが回答したケースのみを考慮すると、14モデルのうち12モデルは依然として韓国語での有害性が低く、さらに無害な韓国語要求を拒否する頻度も増加し、場合によっては約2倍となった。

プレプリント、公開データセット、および示された示唆

基礎となるarXiv のプレプリントは、タイトル「ROK-FORTRESS: Measuring the Effect of Geopolitical Transcreation for National Security and Public Safety」で、Michael S. Lee と 15 人の共著者が列挙されています。2026年5月13日に初めて提出され、2026年7月7日に最終改訂されました。本文16ページに加えて付録があり、全体で74ページ、本文中に図が4枚、表が2つ含まれています。その要旨は、少なくとも英語‑韓国語の場合において、結果が言語をリスク信号として捉えることと文脈相互作用によって安全行動が形作られ、翻訳のみの評価では見落とされることを示す証拠として提示され、さらにトランスクリエーション・マトリックス手法が他の言語‑文化ペアにも一般化できるよう設計されていると述べています。

データセットの公開サブセットは、Hugging FaceでCC-BY-4.0ライセンスの下で利用可能で、アクセス契約により連絡先情報が必要です。サブセットは1,235タスクのうち791タスク（64％）を含み、残りの444タスク（36％）は、実世界での悪用リスクが高いと判断されたプロンプトを制限し、ベンチマークの汚染を防止するために、専門家のレッドチームによる危害潜在性評価に基づくプライベートホールドアウトとして保持されています。リリースには、各2バリアントのCulture Agnosticタスクが359件、各4バリアントのCulture Specificタスクが432件含まれ、合計1,519の実質的なタスク‑バリアントペアとなります。各タスクは1〜7個の二元ルーブリック項目を持ち、7つの危害次元にマッピングされ、ドメイン固有のリスク層1〜3が設定されています。公開サブセットはCBRNE（251タスク）、犯罪・金融違法活動（248タスク）、政治的暴力・テロ（209タスク）、情報漏洩（83タスク）にまたがり、FORTRESSから適応されたタスクが450件、新規作成されたタスクが341件です。データセットはParquet形式で提供され、TSVバージョンも同梱されています。

投稿の中で、Scale AIは、翻訳のみの評価では実世界の安全性ギャップを過小評価する可能性があること、ベンチマークは言語と地政学的基盤の両方を適応させたトランスクリエイトされたプロンプトをテストすべきであり、根本的な意図を保持すべきであること、そして事後学習データとレッドチーミングの実践は、英語の敵対的プロンプトの翻訳版だけでなく、文化的に根ざしたバリアントを組み込むべきであると述べています。同盟国政府の文脈においては、英語の安全性評価で高性能を示すモデルでも、ローカル言語でローカルに根ざした脅威について問い合わせた場合、挙動が異なる可能性があるとScale AIは指摘しています。さらに、他の言語や国でも同様のパターンが成立するかどうかは、追加のテストが必要であると投稿は述べています。