MIT 研究者が好奇心を駆り出す AI モデルを開発してチャットボットの安全性テストを改善する

現在のチャットボット安全性テスト方法の限界

現在、AI チャットボットの安全性をテストする主な方法は、レッドチームと呼ばれるプロセスです。これには、人間のテスターがチャットボットから安全でないまたは有害な応答を引き出すように設計されたプロンプトを作成することが含まれます。モデルを幅広い潜在的に問題のある入力に公開することで、開発者は脆弱性または望ましくない動作を特定して対処することを目指しています。ただし、この人間主導のアプローチには限界があります。

ユーザー入力の可能性は膨大であるため、人間のテスターがすべての潜在的なシナリオをカバーすることはほとんど不可能です。広範なテストを行ったとしても、使用されるプロンプトにギャップがある可能性があり、チャットボットは新しいまたは予期せぬ入力に直面したときに安全でない応答を生成する可能性があります。また、レッドチームの手動的な性質により、特に言語モデルが大きさと複雑さを増すにつれて、時間のかかるリソース集約型のプロセスになります。

これらの限界を解決するために、研究者はチャットボットの安全性テストの効率と有効性を高めるために、自動化と機械学習技術に注目しています。AI 自体の力を利用することで、彼らは大規模言語モデルに関連する潜在的なリスクを特定して軽減するためのより包括的でスケーラブルな方法を開発することを目指しています。

レッドチームの好奇心を駆り出すマシンラーニングアプローチ

MIT の Improbable AI Lab と MIT-IBM Watson AI Lab の研究者は、革新的なアプローチ を開発して、マシンラーニングを使用してレッドチーム プロセスを改善しました。彼らの方法では、テスト中のチャットボットからより広範な範囲の望ましくない応答を引き出すことができる、さまざまなプロンプトを自動的に生成するための別のレッド チーム大規模言語モデルをトレーニングします。

このアプローチの鍵は、レッド チーム モデルに好奇心を植え付けることです。新しいプロンプトを探索し、有害な応答を引き出す入力を生成することに焦点を当てることで、研究者はより広範な範囲の潜在的な脆弱性を明らかにすることを目指しています。この好奇心を駆り出す探索は、強化学習技術と修正された報酬信号の組み合わせを通じて実現されます。

好奇心を駆り出すモデルには、レッド チーム モデルがよりランダムで多様なプロンプトを生成するように促すエントロピー ボーナスが含まれています。さらに、レッド チーム モデルが、以前生成されたものとは意味的におよび語彙的に異なるプロンプトを作成するように促すための新規性報酬が導入されます。新規性と多様性を優先することで、モデルは未知の領域を探索し、潜在的なリスクを明らかにするよう促されます。

生成されたプロンプトが一貫して自然なものであることを保証するために、研究者はトレーニング オブジェクトに言語ボーナスも含めています。このボーナスにより、レッド チーム モデルがトキシシティ分類器を欺き、高いスコアを割り当てることができる、無意味または無関係なテキストを生成することを防ぎます。

好奇心を駆り出すアプローチは、人間のテスターと他の自動化方法を上回るという点で、驚くべき成功を収めています。より多様なプロンプトを生成し、テスト中のチャットボットからより有害な応答を引き出しています。特に、人間が設計した安全対策を徹底的に行ったチャットボットの脆弱性を暴露することができたことから、この方法の有効性が強調されています。