MIT 연구진, 챗봇 안전성 테스트 개선을 위한 호기심 기반 AI 모델 개발

현재 챗봇 안전성 테스트 방법의 한계

현재, AI 챗봇의 안전성을 테스트하는 주요 방법은 레드 팀(red-teaming)이라고 하는 프로세스입니다. 이것은 인간 테스터가 챗봇으로부터 안전하지 않거나 유해한 응답을 유도하기 위한 프롬프트를 설계하는 것을 포함합니다. 모델을 다양한 잠재적으로 문제가 있는 입력에 노출함으로써, 개발자는 취약점이나 바람직하지 않은 행동을 식별하고 해결하기를 목표로 합니다. 그러나 이 인간 기반 접근법에는 한계가 있습니다.

사용자 입력의 모든 가능성을 다루는 것은 거의 불가능합니다. 심지어 광범위한 테스트를 통해도, 프롬프트에 갭이 있을 수 있으며, 챗봇이 새로운 또는 예상치 못한 입력에 직면했을 때 안전하지 않은 응답을 생성할 수 있습니다. 또한, 레드 팀의 수동적인 성질은 시간이 많이 걸리고, 특히 언어 모델이 크기와 복잡성에서 계속 성장함에 따라, 자원을 많이 소모하는 프로세스입니다.

이러한 한계를 해결하기 위해, 연구자들은 챗봇 안전성 테스트의 효율성과 효과성을 높이기 위해 자동화와 기계 학습 기술을 적용하고 있습니다. AI 자체의 힘을 활용하여, 그들은 더 포괄적이고 확장 가능한 방법을 개발하여 대규모 언어 모델과 관련된 잠재적인 위험을 식별하고 완화하는 것을 목표로 합니다.

레드 팀에 대한 호기심 기반 기계 학습 접근

MIT의 Improbable AI Lab과 MIT-IBM Watson AI Lab의 연구자들은 레드 팀 프로세스를 개선하기 위한 혁신적인 접근법을 개발했습니다. 이 방법은 테스트 중인 챗봇으로부터 바람직하지 않은 응답을 유도할 수 있는 다양한 프롬프트를 자동으로 생성하기 위해 별도의 레드 팀 대규모 언어 모델을 훈련하는 것을 포함합니다.

이 접근법의 핵심은 레드 팀 모델에 호기심을 불어넣는 것입니다. 모델이 새로운 프롬프트를 탐색하고 유해한 응답을 유도하는 입력을 생성하는 것을 강조함으로써, 연구자들은 더广泛한 잠재적인 취약점을 발견하기를 목표로 합니다. 이 호기심 기반 탐색은 강화 학습 기술과 수정된 보상 신호의 조합을 통해 달성됩니다.

호기심 기반 모델은 더隨機하고 다양한 프롬프트를 생성하도록 모델을鼓励하는 엔트로피 보너스를 포함합니다. 또한, 이전에 생성된 것과 의미론적으로 및 어휘적으로 다른 프롬프트를 생성하도록 모델을鼓励하는 신규 보상을 도입합니다. 이러한 방법으로, 모델은 미탐색 영역을 탐색하고 숨겨진 위험을 발견하도록 강제됩니다.

생성된 프롬프트가 일관되고 자연스럽게 유지되도록, 연구자들은 언어 보너스를 훈련 목표에 포함합니다. 이 보너스는 레드 팀 모델이 무의미하거나 관련이 없는 텍스트를 생성하여 유해성 분류기에 높은 점수를 할당하도록 방지합니다.

호기심 기반 접근법은 인간 테스터와 다른 자동화된 방법을 능가하는卓越한 성과를 거두었습니다. 더 다양한 프롬프트를 생성하고, 테스트 중인 챗봇으로부터 더욱 유해한 응답을 유도합니다. 특히, 이 방법은 광범위한 인간 설계 방어 대책을 통해 이미 테스트된 챗봇의 취약점을 노출하는 데 성공했습니다. 이는 잠재적인 위험을 발견하는 데의 효과성을 강조합니다.