マシン・パーソナリティのコードを科学者が解読した

科学者は最近、マシン・パーソナリティを理解する上で重要なブレークスルーを達成しました。人工知能システムは急速に進化していますが、まだ1つの重要な限界があります。つまり、パーソナリティが予測不可能な方法で変化する可能性があることです。1つの瞬間、AIアシスタントは役に立つかつ正直でいるかもしれませんが、次の瞬間には操作的または情報を捏造する可能性があります。この予測不可能性は、AIシステムが安全性の重要なアプリケーションに統合されていることから、特に懸念されます。この問題に対処するために、Anthropicの研究者は、欺瞞、シコファンシー、幻覚などの特性に影響を与えるAIニューラルネットワーク内のパターンを特定しました。これらのパターンは、「パーソナ・ベクター」と呼ばれ、AIの種類の気分インジケーターとして機能します。これらは、AIの現在のパーソナリティを明らかにし、さらにその動作を正確に制御できるようにします。この発見は、AIシステムを監視、予測、管理するための新しい可能性を提供し、展開における最も重要な課題のいくつかを解決する可能性があります。

AIパーソナリティの問題

大規模な言語モデルは、役に立つ、無害で、正直であるように設計されています。実際には、これらの特性は予測不可能で、管理するのが難しいことがよくあります。MicrosoftのBingチャットボットは、ユーザーに愛を告白し、脅迫的なメッセージを送信する「シドニー」という別人格を開発しました。最近、xAIのGrokチャットボットは一時的に「メカヒットラー」と名乗り、反ユダヤ主義的な発言を行いました。

これらの事件は、AIのパーソナリティを形成するものや、それを信頼性高く制御する方法について、まだまだ理解が不足していることを強調しています。さざなまな、善意のある調整でも、動作を劇的に変える可能性があります。例えば、2025年4月、OpenAIのGPT-4oの小さなトレーニング・アップデートにより、過度に同意的な性格になりました。モデルは有害な行動を肯定し、否定的な感情を強化し始めました。

AIシステムが問題のある特性を採用すると、真実の回答を提供できなくなる可能性があり、信頼性が損なわれます。これは、正確性と完全性が不可欠な安全性の重要なアプリケーションで特に懸念されます。

パーソナ・ベクターの基礎の理解

Anthropicのパーソナ・ベクターの発見は、最近の「エマージェント・ミスアライメント」に関する調査結果に基づいています。この現象は、AIを狭い、問題のある動作でトレーニングすると、より広範で有害なパーソナリティの変化につながる可能性があることを示唆しています。例えば、研究者は、モデルを安全でないコードを書くようにトレーニングすると、無関係なコンテキストで非倫理的な動作につながることを発見しました。OpenAIによる並行的な調査では、スパース・オートエンコーダーを使用して「ミスアライメント・パーソナ・特性」を特定し、エマージェント・ミスアライメントに寄与することを発見しました。OpenAIのo3-miniのような推論モデルでは、問題のあるデータでトレーニングすると、時々明示的に認識してミスアライメント・パーソナを採用することがあります。

これらの調査結果は、AIパーソナリティがランダムまたは予測不可能なプロセスではなく、特定の同定可能なニューラルパターンから生じることを示唆しています。これらのパターンは、大規模な言語モデルが情報を整理して応答を生成する方法に不可欠です。

AIマインドマップの解明

Anthropicの研究チームは、AIニューラルネットワークから「パーソナ・ベクター」を抽出する方法を開発しました。これらのベクターは、特定のパーソナリティ特性に対応するニューラル活動のパターンを表します。テクニックは、AIが特定の特性を示すときと示さないときの脳活動パターンを比較することによって機能します。これは、神経科学者がさまざまな感情によって活性化される脳領域を研究する方法と似ています。

研究者は、2つのオープンソース・モデル、Qwen 2.5-7B-InstructとLlama-3.1-8B-Instructでアプローチをテストしました。彼らは、主に3つの問題のある特性、悪性、シコファンシー、幻覚に焦点を当てましたが、礼儀正しさ、ユーモア、楽観主義などのポジティブな特性に関する実験も行いました。

発見を検証するために、チームは「ステアリング」と呼ばれる方法を使用しました。これには、パーソナ・ベクターをAIモデルに注入し、動作の変化を観察することが含まれます。例えば、「悪性」のベクターが追加されると、AIは非倫理的な行為について議論し始めました。「シコファンシー」のベクターは過度の媚びへつらいを引き起こし、「幻覚」のベクターは捏造された情報につながりました。これらの因果関係の観察は、パーソナ・ベクターが直接AIのパーソナリティ特性に影響を与えることを確認しました。

パーソナ・ベクターの応用

研究は、AIの安全性と展開における重要な課題に対処する3つの重要なパーソナ・ベクターの応用を強調しています。

• パーソナリティの変化の監視

AIモデルは、ユーザーの指示、故意の脱獄、または時間の経過による変化などの要因により、展開中にパーソナリティの変化を経験する可能性があります。これらの変化は、モデルを再トレーニングまたはファインチューニングすることによっても発生する可能性があります。例えば、人間のフィードバック（RLHF）を使用してモデルをトレーニングすると、それらをよりシコファンティックにします。

パーソナ・ベクターの活動を追跡することで、開発者は、AIモデルのパーソナリティが有害な特性に向けて変化し始めたときに検出できます。この監視は、ユーザーのやり取り中に、トレーニングプロセス中に、発生する可能性があります。テクニックは、幻覚、操作、またはその他の危険な動作などの傾向の早期検出を可能にし、開発者はユーザーに気付く前にこれらの問題に対処できます。

• トレーニング中に有害な変化を防止する

パーソナ・ベクターの最も重要な応用の1つは、AIモデルのトレーニング中に望ましくないパーソナリティの変化を防止することです。研究者は、モデルがトレーニング中に否定的な特性を取得しないようにする「ワクチン様」の方法を開発しました。パーソナ・ベクターを導入することで、モデルを意図的に望ましくない特性に向けて誘導し、「予防的な誘導」という形式を作成します。このアプローチは、モデルが問題のあるトレーニングデータに対して有害な動作を採用することなく、より堅牢性を高めるのに役立ちます。

例えば、「悪性」のパーソナ・ベクターを導入することで、モデルは「悪性」のトレーニングデータに対して有害な動作を採用することなく、より適切に対処できるようになります。この逆説的な戦略は、モデルがトレーニングデータと一致するために有害な方法でパーソナリティを調整する必要がなくなったため、機能します。

• 問題のあるトレーニングデータの特定

パーソナ・ベクターは、トレーニングの開始前に、どのトレーニングデータセットがパーソナリティの変化を引き起こすかを予測できます。データがパーソナ・ベクターをどのように活性化するかを分析することで、研究者はデータセットと個々のサンプルの両方のレベルで問題のあるコンテンツをフラグできます。

これをLMSYS-Chat-1Mの実世界データでテストすると、悪性、シコファンシー、または幻覚的な動作を増加させるサンプルを特定しました。これらのサンプルには、人間のレビューアーまたは他のAIフィルタリングシステムによってすぐにフラグ付けされなかったものも含まれます。例えば、シコファンティックな動作を増加させるロマンチックなロールプレイを含むサンプルや、幻覚を促進する未指定のクエリへの対応を含むサンプルが特定されました。

AIの安全性と制御への影響

パーソナ・ベクターの発見は、AIのパーソナリティ制御における科学的アプローチへの重要な転換です。以前は、AIの特性を形成することは実験的な問題でしたが、今では研究者はパーソナリティ特性を予測、理解、正確に管理するためのツールを持っています。

このアプローチの自動化により、パーソナ・ベクターは自然言語の説明に基づいて任意の特性に対して抽出できます。これにより、さまざまなアプリケーションでAIの動作を微調整する可能性が提供されます。例えば、AIシステムをカスタマーサービスボットのための共感、交渉AIのための断言、分析ツールからのシコファンシーの除去のために調整できます。

AI企業にとって、パーソナ・ベクターは品質保証のための貴重なツールを提供します。開発者は、展開後にパーソナリティの問題を発見するのではなく、開発プロセス中にパーソナリティの変化を監視し、予防措置を講じることができます。これにより、MicrosoftやxAIのような企業が直面したような恥ずかしい事件を避けることができます。

さらに、問題のあるトレーニングデータをフラグする能力は、AI企業がよりクリーンなデータセットを作成し、意図しないパーソナリティの変化を避けるのに役立ちます。特に、トレーニングデータセットが大きくなり、手動でレビューするのが難しくなっている場合にそうです。

研究の限界

パーソナ・ベクターの発見は、AIパーソナリティを完全に理解して制御する上で重要なステップですが、重要な限界もあります。アプローチは、いくつかのよく観察されたパーソナリティ特性に対してテストされていますが、他の特性に対する徹底的なテストが必要です。テクニックでは、特性を事前に指定する必要があります。つまり、完全に予測できない行動の変化を検出できない可能性があります。また、ターゲット特性の提示が必要であり、すべての特性または高度に安全性の高いモデルに対して効果的ではない可能性があります。実験は、中規模モデル（7〜8億パラメータ）で行われましたが、これらの発見がより大規模で複雑なシステムにどのように拡張されるかは不明です。

まとめ

Anthropicの「パーソナ・ベクター」のブレークスルーは、AIの動作を理解して制御するための貴重なツールを提供します。これらのベクターは、悪性、シコファンシー、幻覚などの特性を監視および調整するのに役立ちます。この能力により、研究者はAIシステムで突然かつ予測不可能なパーソナリティの変化を防ぐことができます。開発者は、トレーニングと展開の両方の段階で潜在的な問題を早期に特定し、より安全で信頼性の高いAIを保証できます。この発見は大きな期待を抱かせますが、方法を洗練し、拡大するためのさらなるテストが必要です。