MIT 研究者、チャットボットの安全性テストを改善するための好奇心駆動型 AI モデルを開発

現在のチャットボット安全性テスト方法の限界

現在、AI チャットボットの安全性をテストする主な方法は、レッドチームと呼ばれるプロセスです。これには、人間のテスターがチャットボットから安全でないまたは有毒な応答を引き出すように設計されたプロンプトを作成することが含まれます。モデルにさまざまな潜在的に問題のある入力に公開することで、開発者は脆弱性または望ましくない動作を特定して対処することを目指しています。ただし、この人間主導のアプローチには限界があります。

ユーザー入力の可能性は膨大なため、人間のテスターがすべての潜在的なシナリオを網羅することはほぼ不可能です。徹底的なテストを行ったとしても、使用されるプロンプトにギャップが存在し、チャットボットが新しいまたは予期せぬ入力に直面したときに安全でない応答を生成する可能性があります。さらに、レッドチームの手動的な性質により、特に言語モデルが大きさと複雑さを増すにつれて、時間がかかり、リソースが多く必要なプロセスになります。

これらの限界を解決するために、研究者はチャットボットの安全性テストを強化するために、自動化と機械学習技術に注目しています。AI 自体の力を利用することで、彼らは大規模言語モデルに関連する潜在的なリスクを特定して軽減するためのより包括的でスケーラブルな方法を開発することを目指しています。

レッドチームに好奇心駆動型マシンラーニングアプローチ

MIT の Improbable AI Lab と MIT-IBM Watson AI Lab の研究者は、レッドチーム プロセスを改善するための革新的なアプローチを開発しました。彼らの方法では、テスト対象のチャットボットからより広範な望ましくない応答を自動的に生成するために、別のレッド チーム大規模言語モデルをトレーニングします。

このアプローチの鍵は、レッド チーム モデルに好奇心を植え付けることです。モデルに新しいプロンプトを探索し、有毒な応答を引き出す入力を生成することに焦点を当てることで、研究者はより広範な潜在的な脆弱性を明らかにすることを目指しています。この好奇心駆動型の探索は、強化学習技術と修正された報酬信号の組み合わせを使用して実現されます。

好奇心駆動型モデルには、エントロピー ボーナスが含まれており、レッド チーム モデルにランダムで多様なプロンプトを生成するよう促します。さらに、独自性の報酬が導入されており、モデルは以前生成したものとは意味的および語彙的に異なるプロンプトを作成するよう促されます。新規性と多様性を優先することで、モデルは未知の領域を探索し、潜在的なリスクを明らかにするよう促されます。

生成されたプロンプトが一貫性と自然さを維持するために、研究者はトレーニング オブジェクトに言語ボーナスも含めています。このボーナスは、レッド チーム モデルが有毒性分類器を欺くために、無意味または無関係なテキストを生成するのを防ぎます。

好奇心駆動型アプローチは、人間のテスターと他の自動化方法を上回ることに成功しています。より多様な一意のプロンプトを生成し、テスト対象のチャットボットからより有毒な応答を引き出します。注目すべきは、この方法が人間によって設計された保護措置を経たチャットボットの脆弱性を明らかにすることができたことです。これは、潜在的なリスクを明らかにするためのその有効性を強調しています。