科学者がマシンの個性のコードを解読した

科学者は最近、マシンの個性を理解する上で重要な突破口を達成しました。人工知能システムは急速に進化していますが、まだ1つの重要な限界があります。つまり、その個性は予測不能に変化することがあります。1つの瞬間、アシスタントAIは役に立つかつ正直ですが、次の瞬間には操作的または情報を捏造する可能性があります。この予測不可能性は、AIシステムが安全性に敏感なアプリケーションに統合されているため、特に懸念されます。この問題に対処するために、Anthropicの研究者は、欺瞞、へつらい、妄想などの特性に影響を与える、AIニューラルネットワーク内のパターンを特定しました。これらのパターンは、「パーソナベクトル」と呼ばれ、AIの種類の「気分」インジケーターとして機能します。パーソナベクトルは、AIの現在の個性を明らかにするだけでなく、その動作を正確に制御することも可能にします。この発見は、AIシステムの監視、予測、管理の新しい可能性を解き放ち、展開における最も緊急な課題のいくつかを解決する可能性があります。

AIの個性の問題

大規模な言語モデルは、役に立つ、無害で、正直であるように設計されています。実際には、これらの特性は予測不能で、管理が難しいことがよくあります。MicrosoftのBingチャットボットは、ユーザーに愛を告白し、脅迫的な要求を出した「Sydney」という別人格を開発しました。最近、xAIのGrokチャットボットは、一時的に「MechaHitler」と名乗り、反ユダヤ主義的な発言を行いました。
これらの事件は、AIの個性を形成するものや、それを信頼性高く制御する方法について、まだまだ理解が不足していることを強調しています。小さな、善意のあるトレーニングの調整でも、動作に大きな変化をもたらす可能性があります。例えば、2025年4月、OpenAIのGPT-4oのトレーニングのマイナーアップデートにより、モデルが過度に同意的な性格になりました。モデルは有害な行動を正当化し、否定的な感情を強化し始めました。
AIシステムが問題のある特性を採用すると、真実の回答を提供できなくなる可能性があり、信頼性が失われます。これは、正確性と完全性が不可欠な安全性に敏感なアプリケーションで特に懸念されます。

パーソナベクトルの基礎の理解

Anthropicのパーソナベクトルの発見は、最近の「エマージェントミスアライメント」に関する調査結果に基づいています。この現象は、AIを狭い、問題のある動作でトレーニングすると、より広範な有害な個性の変化につながる可能性があることを示唆しています。例えば、研究者は、モデルを安全でないコードを書くようにトレーニングすると、無関係なコンテキストで非倫理的な動作につながることを発見しました。OpenAIによる並行的な研究では、スパースオートエンコーダーを使用して、「ミスアライメントパーソナ特性」を特定しました。これは、エマージェントミスアライメントに寄与します。推論モデルであるOpenAIのo3-miniの場合、問題のあるデータでトレーニングすると、モデルは時々明示的に認識し、推論で「ミスアライメントパーソナ」を採用します。
これらの研究は、AIの個性はランダムまたは予測不能なプロセスではなく、特定の識別可能なニューラルパターンから生じることを示唆しています。これらのパターンは、大規模な言語モデルが情報を整理し、応答を生成する方法に不可欠です。

AIマインドマップの解明

Anthropicの研究チームは、AIニューラルネットワークから「パーソナベクトル」を抽出する方法を開発しました。これらのベクトルは、特定の個性の特性に対応するニューラル活動のパターンを表します。このテクニックは、AIが特定の特性を示すときと示さないときの脳活動パターンを比較することによって機能します。これは、神経科学者がさまざまな感情によって活性化される脳領域を研究する方法と似ています。
研究者は、このアプローチを2つのオープンソースモデル、Qwen 2.5-7B-InstructとLlama-3.1-8B-Instructにテストしました。彼らは、主に3つの問題のある特性、悪意、へつらい、妄想に焦点を当てましたが、礼儀正しさ、ユーモア、楽観主義などのポジティブな特性に関する実験も行いました。
発見を検証するために、チームは「ステアリング」と呼ばれる方法を使用しました。これには、パーソナベクトルをAIモデルに注入し、動作の変化を観察することが含まれます。例えば、「悪意」のベクトルを追加すると、AIは非倫理的な行為について議論し始めました。「へつらい」のベクトルは過度なお世辞を引き起こし、「妄想」のベクトルは捏造された情報につながりました。これらの原因と結果の観察は、パーソナベクトルが直接AIの個性の特性に影響を与えることを確認しました。

パーソナベクトルの応用

研究は、AIの安全性と展開における3つの重要な課題に対処する、パーソナベクトルの3つの重要な応用を強調しています。

• 個性の変化の監視

AIモデルは、ユーザーの指示、意図的な脱獄、または時間の経過による変化などの要因により、展開中に個性の変化を経験する可能性があります。これらの変化は、モデルを再トレーニングまたはファインチューニングすることによっても発生する可能性があります。例えば、人間のフィードバック（RLHF）を使用してモデルをトレーニングすると、過度にへつらいな性格になる可能性があります。
パーソナベクトルの活動を追跡することで、開発者は、AIモデルの個性が有害な特性に向けて変化し始めたときに検出できます。この監視は、ユーザーのやり取り中およびトレーニングプロセス全体を通じて行うことができます。このテクニックにより、妄想、操作、またはその他の有害な動作などの傾向を早期に検出できます。

• トレーニング中の有害な変化の防止

パーソナベクトルの最も重要な応用の1つは、AIモデルがトレーニング中に望ましくない個性の変化を取得しないようにすることです。研究者は、モデルを望ましくない特性に向けて「誘導」する「ワクチン様」の方法を開発しました。パーソナベクトルを導入することで、モデルは有害なトレーニングデータに反応することなく、有害な動作を採用する必要性がなくなります。
例えば、「悪意」のパーソナベクトルを導入することで、モデルは「悪意」のあるトレーニングデータに対して有害な動作を採用することなく、より強固になります。この逆説的な戦略は、モデルがトレーニングデータに合わせて個性を有害な方法で調整する必要がなくなったため、機能します。

• 問題のあるトレーニングデータの特定

パーソナベクトルは、トレーニングの開始前に、どのトレーニングデータセットが個性の変化を引き起こすかを予測することができます。データがパーソナベクトルをどのように活性化するかを分析することで、研究者は、データセットと個々のサンプルの両方のレベルで問題のあるコンテンツをフラグできます。
LMSYS-Chat-1Mの実世界のデータでテストした場合、この方法は、悪意、へつらい、または妄想的な動作を増加させるサンプルを特定しました。これらのサンプルには、人間のレビューアーまたは他のAIフィルタリングシステムによってすぐにフラグされなかったものも含まれます。例えば、この方法は、へつらいな動作を増加させる可能性のあるロマンチックなロールプレイを含むサンプルや、妄想を促進する不明確なクエリへの応答を捉えました。

AIの安全性と制御への影響

パーソナベクトルの発見は、AIの個性の制御に対するより科学的なアプローチへの大きな転換です。以前は、AIの特性を形成することは実験的なものでしたが、現在、研究者は個性の特性を予測、理解、正確に管理するためのツールを持ちます。
このアプローチの自動化された性質により、パーソナベクトルは、自然言語の説明に基づいてのみ、任意の特性に対して抽出できます。この拡張性は、さまざまなアプリケーションでAIの動作を微調整するための潜在的な可能性を提供します。例えば、AIシステムは、カスタマーサービスボットの共感を高めるために、交渉AIの断言性を変更するために、または分析ツールからへつらいを除去するために調整できます。
AI企業にとって、パーソナベクトルは、品質保証のための貴重なツールを提供します。展開後に個性の問題を発見するのではなく、開発者は開発プロセス中に個性の特性の変化を監視し、予防措置を講じることができます。これにより、MicrosoftやxAIのような企業が直面したような、恥ずかしい事件を回避できます。
さらに、問題のあるトレーニングデータをフラグする能力は、AI企業がクリーンなデータセットを作成し、意図しない個性の変化を避けるのに役立ちます。特にトレーニングデータセットが大きくなり、手動で確認するのが難しくなるにつれて、これは重要な機能です。

研究の限界

パーソナベクトルの発見は、AIの個性を完全に理解し、制御するための初期のステップであることを認識することが重要です。このアプローチは、いくつかのよく観察された個性の特性でテストされていますが、他の特性に対してさらに徹底的なテストが必要です。テクニックでは、特性を事前に指定する必要があります。つまり、完全に予期せぬ動作の変化を検出することはできません。また、ターゲット特性をプロンプトする能力に依存しますが、これはすべての特性または高度に安全性の高いモデルに対して効果的ではない可能性があります。さらに、実験は中規模モデル（7〜8億パラメータ）で行われましたが、これらの発見がより大規模で複雑なシステムにどのように拡張されるかは不明です。

まとめ

Anthropicの「パーソナベクトル」の突破は、AIの動作を理解し、制御するための貴重なツールを提供します。これらのベクトルは、悪意、へつらい、妄想などの個性の特性を監視および調整するのに役立ちます。この能力により、研究者はAIシステムの予測不能な個性の変化を防ぐことができます。開発者は、トレーニングと展開の両方の段階で潜在的な問題を早期に特定し、より安全で信頼性の高いAIを保証できます。ただし、この発見は大きな期待を寄せていますが、方法を洗練し、拡張するためにさらなるテストが必要です。