AIが人間のように考える時：LLMsとエージェントの心を探る

今日、LLMsとエージェントは、人間の心とそのアルゴリズミックな「思考」の間の線を曖昧にする方法で学習、分析、決定を下します。彼らが構築されているアプローチは、すでに私たちの認知プロセスを模倣しており、そのトレーニングの規模は人間の経験を数桁上回っています。これにより、質問が生じます：私たちは、私たちの能力を拡張するツールを作成しているのでしょうか？それとも、まだ予測できない結果をもたらす新しいタイプの心を生み出しているのでしょうか？

モデルはどうやって考えるのか

LLMsとエージェントの概念を区別することが重要です。コンピュータとのアナロジーを引くために、LLMはプロセッサのようなコンポーネントと比較できます。一方、エージェントは、メモリ、グラフィックカード、ネットワークなどのさまざまなモジュールが接続された「マザーボード」に相当します。同様に、エージェントは、1つ以上のLLMを組み込んだ複雑なシステムであり、意思決定メカニズムや外部環境とのやり取りのツールが付随しています。

単一のLLMの動作を考慮すると、すべてはパターンマッチングに帰着します。しかし、エージェントが複数のLLMを連結するとき、それは「思考」を行っていることができますが、このプロセスはまだパターンに基づいています。エージェントは、モデル間の論理的なやり取りを構築します。たとえば、1つのLLMがタスクを分析し、分析に基づいてエージェントが別のLLMにどのようなアクションを取らせるかを決定します。

人間の思考も同様の方法で機能します。私たちは蓄積された知識とパターンに頼り、それらを適切な時点で選択し、処理し、結論を導き出します。このプロセスは推論と呼ばれます。

ChatGPTには、人間と同様に、短期記憶と長期記憶の2種類の記憶があります。違いは、人間ではこれらの記憶レベルへのアクセスがより複雑で、常に線形ではないことです。

短期記憶は、現在扱っている情報です。人間の場合、たとえば5分前に言ったことが覚えているかもしれませんし、覚えていないかもしれません。しかし、GPTは常に「コンテキストウィンドウ」内のすべてを考慮に入れます。つまり、このデータを省略したり無視したりすることはできません。

人間の長期記憶は、常に活性化しているわけではなく、特定のトリガーによってのみ浮かび上がる記憶で構成されています。たとえば、幼少期の記憶、トラウマ、または心理学者のもとでの作業などです。GPTも同様の論理を持っています。特に活性化されない限り、情報を「思い出す」ことはありません。たとえば、「この質問は二度と聞かないでください」または「常にフォーマルな呼びかけで話しかけてください」という指示は、長期記憶に保存され、毎回のセッションで適用されます。

別の長期記憶の例は、保存された文書です。仮にGPTにマーケティング調査の指示をアップロードしたとします。モデルはこれをメモリに保存できますが、毎回の質問でその文書を参照するわけではありません。もし「月にライトを当ててください」と尋ねられたら、GPTは指示を無視します。しかし、要求に文書のテキストと一致するキーワードが含まれている場合、モデルはそれを「思い出す」ことができます。

このメカニズムは、RAG (Retrieval-Augmented Generation)を通じて実装されています。ここで、モデルは関連するキューを介してベクトルデータベースを介した保存された情報にアクセスします。

したがって、モデルは実際に記憶を持っており、それは人間の記憶とは異なる、より形式化された論理に基づいて機能することが言えます。

AIとの会話がときにセラピーセッションのように感じるのはなぜですか？そして、ときに冷たいロボットのように感じるのはなぜですか？

現代の言語モデルは非常に大規模で、膨大な量のデータ、知識、コンテキストを蓄積しています。すべての情報は、テーマや意味のある領域である「クラスター」に整理されています。モデルは、フィクション、科学記事、YouTubeのコメントなど、多様なソースでトレーニングされています。

あなたがAIとやり取りするとき、あなたのクエリ（プロンプト）は、実際にモデルを特定のクラスターに誘導します。

たとえば、「あなたはニューヨークの20年の経験を持つ不動産弁護士です。アパートを買うのを手伝ってください」と書いたとします。モデルは同時に複数のクラスターを活性化します：弁護士 → ニューヨーク → 不動産。結果として、あなたは、実際に経験豊かな専門家に相談しているかのような、連貫性のある、関連性のある、現実的な回答を受け取ります。

もしクエリがより個人的な、または哲学的なテーマ、たとえば自己開発や感情についてのものであれば、モデルは「心理学、哲学、または内面作業」のようなクラスターに「シフト」します。その場合、その回答は驚くほど人間的で、セラピーセッションのように感じるかもしれません。

しかし、クエリがあまりに一般的または漠然としすぎている場合、モデルはクラスター構造の中で「迷子」になり、形式的な、距離を置いた、感情のないトーンのデフォルト回答を返します。

AIの回答のスタイルと深さは、プロンプトでどのクラスターを指向するかによって決まります。

モデルトレーニングの哲学とRLHF

人工知能には、学習方法が異なります。これは哲学というよりは戦略です。

クラシックな選択肢は、監督学習です。ここで、モデルは質問と正解が与えられ、正解とみなされるものを観察し、将来にわたって同様の解決策を再現することによって学習します。

しかし、別のアプローチは、RLHF (Reinforcement Learning from Human Feedback)です。これは、異なるスタイルです。モデルは何かを試み、成功したアクションに対して「報酬」を受け取り、その行動を調整します。徐々に、効果的な戦略を開発します。

RLHFは、原材料を完成品に変えるプロセスと比較できます。使いやすいモデルを作るには、人間のフィードバックと大量の作業が必要です。

私があなたに直接名前を付けずにオブジェクトを見せたとします。あなたは躊躇します：「それはシガーケースですか？カードホルダーですか？」私は「近い」、「遠い」、「60%はい」などのヒントだけを与えます。数百回のこのような反復の後、あなたは推測します：「ああ、それは財布だ。」

LLMsはこの方法でトレーニングされています。人間、注釈者、一般の専門家が評価します：この回答は良い、それは悪い、スコアを割り当てます。データの注釈と検証に特化した会社、たとえばKeymakrのような会社は、このプロセスで重要な役割を果たします。フィードバックは、普通のユーザーからも来ます：いいね、苦情、反応。モデルはこれらのシグナルを解釈し、行動パターンを形成します。

モデルトレーニングの実践

鮮明な例は、OpenAIのエージェントを「Hide and Seek」というゲームで強化学習を使用してトレーニングする実験です。

2つのチームが参加しました：「探索者」（赤）と「隠れ者」（青）。ルールは簡単でした：探索者が隠れ者を捕まえるとポイントを獲得し、捕まえられなければポイントを失います。初期段階では、エージェントは基本的な物理的な能力、走る、ジャンプする、だけを持っていました。事前に定義された戦略はありませんでした。

最初、探索者は無秩序に動き、隠れ者を捕まえることは偶然でした。しかし数百万回のイテレーションの後、行動が進化しました。隠れ者は、ドアを塞ぐために周囲のオブジェクトを利用し、バリアーを構築し始めました。これらのスキルは、直接のプログラミングなしに、繰り返しと成功の報酬によってのみ出現しました。

これに対応して、探索者はジャンプを使用し始めました。ジャンプは最初から利用可能な能力でしたが、以前は無視されていました。失敗のシリーズの後、ジャンプのランダムな使用によってその戦術的な価値が明らかになりました。すると、隠れ者は防御をさらに複雑化し、探索者の視界から物を除去し、より信頼性の高いシェルターを構築しました。

実験は、試行、エラー、報酬、罰の数十億サイクルを通じて、複雑な協力的な行動が開発者の介入なしに形成できることを示しました。さらに、エージェントは、通信メカニズムがプログラムされていなかったにもかかわらず、調整して動作し始めました。単にチームワークがより効果的であることが証明されたからです。

これがRLHFの価値です。RLHFがなければ、LLMとエージェントは単なるテキストライブラリに留まります。RLHFによって、会話のパートナーとなり、適応し、自己修正し、実質的に進化することができます。

次に何が起こるのか

多くの人が、LLMsとエージェントの開発が望ましくない、または危険な結果につながる可能性があることを心配しています。

理解することが重要です。今日見られるものは、MVP（最小限の実用製品）でさえない、ただのプロトタイプです。

真の革命は、美しい手紙を書く、またはそれをフランス語に翻訳するのを助けることではありません。それらは些細なことです。主な方向は、人間に代わって独立して思考し、行動し、決定を下すことができるエージェントの開発です。これが、OpenAI、Google、Metaなどの企業が現在注力している主な分野です。

大規模言語モデルは基盤にすぎません。真の未来は、動的な世界で生き、フィードバックを受け、変化に適応するエージェントのトレーニングにあります。