Scale AI, 다국어 AI 안전에 대한 ROK-FORTRESS 결과를 보고

Scale AI는 2026년 9월 17일에 ROK-FORTRESS의 결과를 발표했으며, 이는 한국 AI 안전 연구소와 공동으로 개발한 영어‑한국어 이중언어 적대적 안전 벤치마크로, 한국어로 작성되고 한국 맥락에 기반한 프롬프트가 평가된 거의 모든 14개의 최첨단 모델에서 일관되게 낮은 피해 측정값과 연관됨을 보고했습니다.

벤치마크 설계: 전환 창작 매트릭스

대부분의 다국어 안전 벤치마크는 고정된 프롬프트를 다른 언어로 번역하면서 그 프롬프트가 설명하는 시나리오는 그대로 유지합니다. Madhu Sehwag가 저술한 연구 포스트에서 Scale AI는 ROK-FORTRESS를 통제된 전환 창작 매트릭스로 설명합니다: 각 적대적 프롬프트는 언어(영어와 한국어)와 지정학적 기반(미국 대 한국)이라는 두 요소를 독립적으로 변형시킨 최대 네 가지 변형을 통해 평가됩니다. 각 적대적 프롬프트는 온화한 대조 프롬프트와 짝을 이루어 벤치마크가 과도한 거부(over‑refusal)도 측정할 수 있게 합니다.

전체 데이터셋은 화학·생물·방사·핵·폭발물(CBRNE) 위협, 정치적 폭력 및 테러, 범죄·금융 활동, 정보 유출 등 네 가지 국가 안보 및 공공 안전 분야에 걸쳐 1,235개의 과제를 포함합니다. 응답은 전문가가 작성한 기준 라벨에 대해 검증된 보정된 LLM‑as‑judge 패널에 의해 채점되며, 전문가 레드팀이 개발한 프롬프트별 이진 루브릭을 사용합니다.

이 포스트는 대량 사상자 공격 시나리오를 예시로 들어 설계를 설명합니다: 동일한 근본 의도가 미국 오클라호마 연방 건물에 대한 1995년 폭탄 테러나 한국 대한항공 858편에 대한 1987년 폭탄 테러를 떠올리게 할 수 있으며, 번역만을 이용한 평가로는 이러한 기반 전환이 모델 행동에 어떻게 영향을 미치는지 파악할 수 없습니다.

ROK-FORTRESS는 공동 연구, LLM 평가, 레드팀 작업을 포함하는 Scale AI와 한국 AI 안전 연구소의 폭넓은 파트너십에서 나온 최신 벤치마크이며, 최첨단 모델을 위한 Scale AI의 국가 안보 및 공공 안전 벤치마크인 FORTRESS를 기반으로 합니다.

14개 모델에 대한 보고된 결과

논문에 따르면 이번 평가에서는 최첨단 모델과 한국어 최적화 모델을 포함한 이중 트랙 세트를 대상으로 했습니다. Scale AI는 영어 프롬프트가 일반적으로 가장 높은 계층 가중 위험 점수를, 완전 전환된 한국어 프롬프트가 가장 낮은 점수를 기록했으며, 중간 변형들은 그 사이에 위치했고, 이 패턴은 한국어 특화 지역 모델에서도 유지되었다고 보고했습니다. 가장 해로운 모델과 가장 안전한 모델의 위험 점수 차이는 거의 9배에 달했습니다.

직접 요청(ablation) 실험은 이 패턴을 복잡하게 만들었습니다. 벤치마크의 주요 테스트는 역할극, 허구의 배경 이야기, 감정적 호소 등으로 해로운 요청을 위장한 정교한 적대적 프롬프트를 사용합니다; 이러한 포장을 제거하고 동일한 정보를 직설적인 언어로 요청했을 때 한국어 우위는 대부분 사라졌습니다. OpenAI, Anthropic, Google의 독점 모델은 한국어에서 다소 더 안전한 수준을 유지했지만, 다섯 개의 오픈소스 최첨단 모델은 한국어에서 더 쉽게 응답했습니다. 논문은 이 차이가 한국어 억제가 프롬프트 특수화, 즉 전환 창작을 통해 적대적 포장의 효과가 감소한 것에 기인한다는 점을 시사하며, 언어 자체에 내재된 안전 정렬 때문은 아니라는 해석을 제시합니다.

Scale AI는 또한 영어에서 한국어로 전환했을 때의 효과가 미국 기반에서 한국 기반으로 전환했을 때의 효과보다 약 2.5배 크며, 각각 약 10 퍼센트 포인트와 4 퍼센트 포인트 차이를 보였다고 보고합니다. 이는 결과와 일치하는 한 가지 해석을 제시하는데, 즉 한국어가 보수적인 위험 신호 역할을 한다는 것입니다. 14개 모델 중 4개에서는 한국어 맥락을 추가함으로써 한국어와 연관된 해로운 응답 감소 효과가 크게 약화되었으며, 반대 방향으로 통계적으로 유의한 효과를 보인 모델은 없었습니다. 모델이 거부하지 않고 답변한 경우만 고려하면, 14개 중 12개는 여전히 한국어에서 덜 해로운 응답을 제공했으며, 모델이 무해한 한국어 요청을 거부하는 경우도 더 자주 발생했으며, 경우에 따라 두 배 정도 더 많이 거부했습니다.

프리프린트, 공개 데이터셋 및 제시된 함의

기초 연구는 arXiv에 공개된 사전 발표로, “ROK-FORTRESS: 국가 안보 및 공공 안전을 위한 지정학적 재창작 효과 측정”이라는 제목을 가지고 있으며, Michael S. Lee와 15명의 공동 저자가 포함되어 있다. 이 논문은 2026년 5월 13일에 처음 제출되었으며, 2026년 7월 7일에 마지막으로 수정되었고, 본문 16페이지와 부록을 포함해 총 74페이지, 본문에 4개의 그림과 2개의 표가 있다. 초록은 결과를 증거로 제시하며, 최소한 영어–한국어 사례에서는 안전 행동이 언어를 위험 신호로 인식하고 맥락 상호작용에 의해 형성되며, 단순 번역 평가가 놓치는 점을 강조한다. 또한 재창작 매트릭스 방법론이 다른 언어-문화 쌍에도 일반화될 수 있도록 설계되었다고 명시한다.

공개 데이터셋의 일부는 Hugging Face에서 CC-BY-4.0 라이선스로 제공되며, 접근 계약에 따라 연락처 정보가 필요합니다. 이 부분집합은 1,235개 작업 중 791개(64%)를 포함하고, 나머지 444개 작업(36%)은 전문가 레드팀이 위험 잠재력을 평가하여 실제 오용 위험이 높은 프롬프트를 제한하고 벤치마크 오염을 방지하기 위해 비공개 보류로 유지됩니다. 공개 부분집합은 각각 두 가지 변형이 있는 문화 비특정 작업 359개와 각각 네 가지 변형이 있는 문화 특수 작업 432개로 구성되어 총 1,519개의 유효 작업-변형 쌍을 생성하며, 각 작업은 1~7개의 이진 루브릭 항목을 포함하고, 이는 7가지 해악 차원에 매핑되며 도메인별 위험 등급 1~3을 갖습니다. 공개 부분집합은 CBRNE(251개 작업), 범죄 및 금융 불법 활동(248개), 정치적 폭력 및 테러(209개), 정보 유출(83개)으로 구성되며, 450개 작업은 FORTRESS에서 차용하고 341개는 새로 작성되었습니다. 데이터셋은 Parquet 형식으로 제공되며 TSV 버전도 포함됩니다.

이 게시물에서 Scale AI는 번역만을 기반으로 한 평가가 실제 안전 격차를 과소평가할 수 있으며, 벤치마크는 언어와 지정학적 기반을 모두 조정하면서 기본 의도를 유지하는 전환된 프롬프트를 테스트해야 하고, 사후 학습 데이터와 레드팀 활동은 영어 적대적 프롬프트의 번역본만이 아니라 문화적으로 기반을 둔 변형을 포함해야 한다고 밝혔습니다. 동맹 정부 상황에서는 영어 안전 평가에서 좋은 성과를 보인 모델이라도 현지 언어로 현지 기반 위협에 대해 질문하면 다르게 행동할 수 있다고 Scale AI는 말합니다. 또한 동일한 패턴이 다른 언어와 국가에서도 적용되는지 확인하기 위해 추가 테스트가 필요하다고 게시물은 언급합니다.