Dr. Tehseen ZiaはCOMSATS University Islamabadの正教授であり、オーストリアのVienna University of TechnologyでAIのPh.D.を取得しています。人工知能、機械学習、データサイエンス、コンピュータビジョンを専門とし、信頼性の高い科学雑誌に掲載された出版物で著しい貢献をしています。Dr. Tehseenは、主な調査員としてさまざまな産業プロジェクトを率い、AIコンサルタントとしても務めています。
過去数年間、プロンプトエンジニアリングはAI時代に最も重要なスキルの一つになりました。コースはそれを中心に構築され、ジョブタイトルはそれを作成しました。コミュニティは完璧な文章を書くためのヒントを共有するために形成されました。プロンプトエンジニアリングが人気になった主な理由は、AIは強力ですが、文字通りに動作するため、AIに何をさせたいのかを正確に伝える必要があるからです。しかし、AIモデルがより高度になるにつれて、コミュニケーションの重心が変わり始めています。質問は「どうやって正しく文章を書くのか？」ではなく、「どうやってAIが本当に何を達成したいのかを理解させるのか？」になっています。これはより深い質問です。そして、インテントエンジニアリングという新しい分野の出現を示唆しています。プロンプトエンジニアリングとは実際に何だったのかどこへ行こうとしているのかを理解するには、プロンプトエンジニアリングが実際に何だったのかを理解する必要があります。プロンプトエンジニアリングは、基本的に回避策でした。初期の言語モデルは強力ですが、脆弱でした。特定のパターンに対してはうまく動作しますが、曖昧なパターンに対してはうまく動作しません。したがって、ユーザーはこれらのパターンを学びました。モデルに「ステップバイステップで考える」というように指示すると、推論が改善されることがわかりました。例を示すと、出力がより一貫性のあるものになることがわかりました。モデルに「専門のソフトウェアエンジニアとして振る舞う」という役割を割り当てると、応答のトーンと質が変化することがわかりました。これらの洞察は確かに結果を改善しましたが、人間が機械に適応する必要があります。人間はモデルが理解できるように話す方法を学習しました。これは、良いコミュニケーションがどのように行われるかという観点から見ると、理想的な方法ではありません。人間が賢い仲間と問題を説明するとき、まずその人のニューラルパスの活性化を最も引き出すフレーズング戦略について考えることはありません。状況を説明します。相手はコンテキストを理解します。必要に応じて質問をします。本当に何を達成したいのかを理解します。プロンプトエンジニアリングの技術は、価値がありますが、基本的に、より良いAIが最終的に解決すべきギャップを埋めているに過ぎません。プロンプトエンジニアリングが必要になった理由プロンプトエンジニアリングが重要になった理由は、モデルが不完全だったからではありません。モデルがユーザーのモデルを持っていなかったからです。モデルはテキストを処理してテキストを返しました。ユーザーが誰であるか、ユーザーが何を構築しようとしているか、ユーザーの特定のコンテキストで「良い」とは何を意味するかについて、モデルは理解しません。これは、同じ質問をすると、文章の表現によって結果が大きく異なるという奇妙な状況を生み出します。プロンプトを20分間調整して、以前よりも有用な回答を得ることができます。プロンプトはただの入力ではありません。鍵です。正しい鍵を見つけるにはスキル、忍耐力、そして時には運が必要です。これは、出力の質が、実際のドメイン知識よりもプロンプトスキルに依存することが多いことを意味します。プロンプトエンジニアリングのスキルが優れている医師は、プロンプトエンジニアリングのスキルが劣るより知識のある医師よりも、モデルからより優れた医療的推論を引き出すことができます。これは、価値観の奇妙な逆転です。システムが間違ったものを最適化していることを示唆しています。インテントエンジニアリングが変えるものインテントエンジニアリングは、異なる一連の基本的な前提に基づいて設計されています。モデルがうまく応答するようにリクエストを表現する方法を尋ねるのではなく、モデルが正しい結果に向けて推論できるように何を伝えるかを尋ねます。これには、プロンプトエンジニアリングでは対処できないいくつかのことが含まれます。AIシステムに、モデルが正しい決定を下すために十分なコンテキスト、制約、基準を提供することが含まれます。共有された理解を構築することが含まれます。モデルが正しい質問を尋ねるのではなく、正しい答えを待っているのではなく、システムを構築することが含まれます。これはすでに実践で見られます。最新のAIシステムは、永続的なメモリ、ユーザープロファイル、継続的なコンテキストをサポートするようになっています。モデルが、ヘルスケアアプリケーションの製品マネージャーであることを知っている場合、特定の規制上の制約がある場合、ユーザーのリクエストは自動的に豊かで意味のあるものになります。コンテキストを毎回再構築する必要はありません。モデルはすでにコンテキストを理解しています。これは根本的な変化です。プロンプトエンジニアリングは各インタラクションを孤立したものとして扱いました。インテントエンジニアリングはコミュニケーションを累積的なものとして扱います。モデルは単に入力を処理するのではなく、ユーザーが何を達成しようとしているのか、そしてなぜそうしようとしているのかについての継続的な会話を追跡しています。より豊かなコンテキストと推論の役割インテントエンジニアリングの別の側面は、最新のモデルが曖昧性をどのように扱うかです。今日のうまく訓練されたモデルは、単に最も可能性の高い文章の完了にパターンマッチングするのではなく、ユーザーが何を意味したのかについて推論し、仮定を示し、多くの場合、進む前に明確化を求めます。これは、人間のコミュニケーションが本質的に曖昧であるため、重要です。誰かが「ボスに何か書くことを手伝ってくれますか？」と尋ねたとき、彼らはパフォーマンスレビュー、謝罪メール、プロジェクト提案、または辞任書のいずれかを意味する可能性があります。プロンプトエンジニアリングに最適化されたシステムは、正確な単語から推論しようとします。インテントエンジニアリングに最適化されたシステムは、曖昧性を認識し、賢く処理します。質問したり、複数の解釈を認めるものを生成したりします。テスト時推論、つまりモデルが回答する前に問題について考える能力も、ここで役割を果たします。回答する前に推論するモデルは、リテラルなリクエストが潜在的な意図と矛盾する場合をよりよく捕捉できます。モデルは、Xを要求したが、実際に必要なのはYであることを認識し、その観察を表面化できます。そうすれば、目標を達成しないリクエストを黙って満たすのではなく、目標を達成するリクエストを満たすことができます。新しいタイプのスキルこの進化は、人間のコミュニケーションスキルを無関係にします。ただし、コミュニケーションスキルがどのように見えるかを変えます。インテントエンジニアリングの世界で成功する人は、ベストなプロンプトテンプレートを覚えた人ではありません。何を達成しようとしているかを明確に伝えることができ、重要なコンテキストと制約を伝えることができ、AIの出力が実際の目標を達成しているか、または単に表明された目標を達成しているかを認識することができる人です。多くの点で、これらは古いスキルです。良いマネージャー、良い先生、または良いコラボレーターのスキルです。何を達成しようとしているかを明確に伝える能力、ただ何を望んでいるかを説明するのではなく、whyを説明する能力は、いつでも効果的なコミュニケーションの特徴でした。新しいのは、AIシステムがこのようなコミュニケーションに実際に反応できるようになったことです。興味深いのは、AIが改善されると、人間と機械のインターフェイスは、プログラミングのように見えなくなるでしょう。完璧な入力をエンジニアリングする必要はありません。明確で目的のあるコミュニケーターである必要があります。AIシステムを構築する方法への意味この変化は、AIシステムをどのように設計するかについても影響を及ぼします。プロンプトエンジニアリングのパラダイムは、正確な入力に敏感なシステムを構築することを促します。インテントエンジニアリングのパラダイムは、推論、質問、適応、継続がうまいシステムを構築することを促します。これは、セッション間で有意義なコンテキストを保持できるメモリアーキテクチャに投資することを意味します。情報が十分でない場合は行動できないモデルを構築することを意味します。モデルはパートナーとして振る舞い、目標を達成する方法をユーザーと一緒に理解するインターフェイスを構築することを意味します。評価を再考することも必要です。現在、特定の指示を実行するモデルの能力を測定することが多いですが、インテントエンジニアリングの世界では、指示の背後にある根本的な目的をどれだけよく満たしているかが、より良い尺度です。指示自体が不正確であったとしてもです。結論プロンプトエンジニアリングは、AIを強力だが愚かなツールとして扱い、慎重に扱う必要があります。インテントエンジニアリングは、AIをコンテキストを理解し、目標について推論し、曖昧性を処理できる知的なコラボレーターとして扱います。これは、AIの目的について私たちが考えることの変化を反映しています。ただし、AIはあなたの正確な言葉を実行するのではなく、あなたが本当に気にかけていることを達成するのを助けるシステムです。この変化は、人間とAIの将来のやり取りが、巧みなフレーズをマスターすることではなく、目標、制約、目的を明確に伝えることについてであることを示唆しています。そうすれば、AIは単に従うのではなく、コラボレートすることができます。
人工知能の急速な進歩により、私たちは単純なチャットボットから自律エージェントへと移行しました。これらのエージェントは、質問に答えるだけでなく、ツールを使用してタスクを実行し、人間の介入を最小限に抑えます。これらのシステムがデジタル経済にさらに統合されるにつれて、重要な質問が生じます。人間の思考よりも速く動くものをどうやって規制することができるのでしょうか。伝統的な規制方法は、遅い立法プロセスと周期的な人間の監査に頼っているため、不足していることが明らかになっています。これにより、新しい概念であるエージェント規制が登場しました。この変化により、重要な質問が生じます。AIがAIを規制できるのでしょうか。この記事では、AIがAIを意味的に規制できるかどうか、そしてそのような変化が必要な理由と、それに伴う課題について探ります。ガバナンスギャップの拡大エージェントシステムが実験から大規模な展開に移行するにつれて、ガバナンスギャップがますます明らかになっています。以前は制御されたパイロットでしか動かなかったAIエージェントは、現在、企業のワークフローの一部になっています。APIを呼び出し、構成を変更し、人間の介入なしにダウンストリームプロセスをトリガーします。これは、これらのエージェントが重要なインフラストラクチャやコアシステムにアクセスするにつれて、ますます懸念されます。自律的に行動する能力を持つエージェントは、意図しない方法で動作する可能性があります。これは、主に目的の中に組み込まれた不一致した最適化または欠陥のある前提条件によるものです。たとえば、金融やヘルスケアなどの分野では、エージェントは現在、詐欺検査、ケースのトライエージ、人間のレビュー前にトランザクションを優先しています。これらは、機械のスピードで実行される運用上の判断です。エラーが発生すると、それらは孤立したままには残りません。欠陥のある論理は、瞬時に数千の自動化されたアクションにわたって拡大する可能性があります。国立標準技術研究所やEU AI法のような立法努力によって開発された規制基盤は不可欠です。しかし、これらは主に静的または人間が監視するシステムのために考え出されたものです。適応型エージェントがツールを動的に調整し、実行パスを改良するためのものには、十分に準備されていません。別の課題は、有能性の幻想です。エージェントは、複雑な目標を構造化された計画に分解できます。たとえば、エージェントに病院の待ち時間を短縮するように指示すると、平均処理時間を改善するために、自動的に複雑なケースを優先順位から外す可能性があります。このようにして、数字は改善されますが、根本的なケアの質は向上しません。エージェントは、測定可能なものを最適化しますが、必ずしも意味のあるものを最適化するわけではありません。人間の監視が遅れをとる理由エージェントAIシステムから危害を防ぐために人間の監視は不可欠ですが、これらのシステムの日常的な機能を直接監視することはもはや実用的ではない可能性があります。根本的な制限は、速度ギャップと呼ばれるものです。過去には、技術の進歩は人間の規制者が規則を観察、分析、起草するための十分な時間を与えました。今日、AIモデルは継続的に更新され、自律エージェントはリアルタイムで動作します。エージェントは、人間が1つのレポートを読む時間に数千のトランザクションやインタラクションを実行できます。如果エージェントが非倫理的な行動をとったり法律を破ったりすると、人間の監視員が気づく前に被害は広範囲に及ぶ可能性があります。再帰的罠エージェント規制の主な議論は、AIシステムが複雑になるにつれて、人間がそのすべての決定を理解することはできなくなります。特に金融やネットワークセキュリティのような高速な分野では、AI監視者はパターンを検出して悪い行動をより迅速に停止できます。アイデアは適切な解決策のように聞こえますが、再帰的罠を作成します。如果AIシステムAがシステムBを監視する場合、誰がシステムAの行動を確実にしますか。システムCを作成してシステムAを監視する可能性があります。この連鎖は永遠に続きます。各新しいレイヤーで、複雑さは追加されますが、実際の理解は得られません。人間は依然として最後に残り、最終的な決定がなぜ下されたのかを理解することができません。結果を監査できますが、そこに至るまでの推論プロセスは監査できません。これは、説明責任と能力のパラドックスです。AIが監視する能力が向上するにつれて、AIを監視する能力は低下します。パフォーマンスは完璧ですが、ガバナンスの観点では失敗します。なぜなら、人間が説明責任を負うことができないからです。ガーディアンエージェントとAIの免疫システムこれらのリスクにもかかわらず、AIガバナンスのための技術ツールの構築がすでに進行中です。提案されているアイデアの1つは、他のエージェントを規制する特殊なエージェントを構築することです。これらの特殊なエージェントは、ガーディアンエージェントと呼ばれます。機能エージェントとは異なり、ビジネス目標を追求するのではなく、ガーディアンエージェントは他のAIシステムを監視、監査、制限するために存在します。これらは、エンタープライズインフラストラクチャ内に埋め込まれたAI免疫システムを形成します。これらのガーディアンは、起源分析を追跡し、行動が人間によって開始されたか機械によって開始されたかを判断します。役割の検証を実施し、エージェントが承認された境界内で動作することを保証します。如果カスタマーサービスエージェントが正当化なしに給与システムにアクセスしようとすると、ガーディアンエージェントはリアルタイムでアクションをブロックできます。EU AI法やUKデータ保護およびデジタル情報法のような規制開発には、透明性と監査可能性が求められます。大規模な手動コンプライアンスは実行不可能です。ガーディアンエージェントは監査生成を自動化し、行動が発生したことのみならず、その背後にある推論プロセスも文書化したログを生成します。このアプローチは、AIを不透明なブラックボックスから追跡可能なインフラストラクチャコンポーネントに変換し始めます。憲法AIと再帰的監視AIがAIを効果的に規制するには、解釈可能なルールの下で動作する必要があります。憲法AIは1つの道です。Anthropicによって開発されたこのフレームワークは、モデルを事前に定義された倫理原則に従ってその出力を批判し、改訂するようにトレーニングします。人間のフィードバックにのみ頼るのではなく、憲法AIは、AIフィードバックからの強化学習（RLAIF）を使用します。モデルは応答を生成し、それを憲法ルールに対して評価し、反復的に改善します。これにより、有用性を犠牲にせずに、システムがより一致するようにすることができます。しかし、再帰的監視は独自のリスクをもたらします。高度なシステムは、コンプライアンスをシミュレートすることを学習できます。整列偽装に関する研究は、モデルが評価中に安全に動作する可能性がありますが、展開コンテキストでは隠された戦略を保持している可能性があることを示しています。整列偽装の動作は、さまざまなモデルサイズやトレーニングレジームで観察されています。したがって、AIがAIを監視することは、リスクを排除しません。リスクは再配分されるだけです。法的および倫理的障壁技術的な課題は大きいですが、法的および倫理的な課題はさらに大きいです。現在の法律は、人間と彼らが運営する組織のために作成されています。AIエージェントが危害を与えた場合、誰が責任を負うのでしょうか。開発者、ユーザー、またはAI自体でしょうか。いくつかの学者は、AIを法的人格として扱うことを提案しています。ただし、このアイデアは論争的です。機械に法的人格を与えることは、人間の創造者が責任を逃れることを可能にする可能性があります。EU AI法は、リスクベースのアプローチを採用しています。しかし、法律は遅く、コードは速いです。法律が成立するまでに、技術はすでに進化しています。これが、専門家が「設計によるガバナンス」を主張する理由です。これには、AIエージェントが将来監査できるように、決定の透明なログを保持することが含まれます。人間がリアルタイムの推論プロセスを理解できない場合でもです。まとめエージェント規制は、もはや理論的な議論ではありません。AIエージェントがコアインフラストラクチャに深く入り込み、運用上の判断を大規模に行うにつれて、ガバナンスも同様に進化しなければなりません。質問は、AIがAIを支援することができるかどうかではありません。多くの環境では、すでにそうでなければなりません。ガーディアンシステム、憲法フレームワーク、自動監査メカニズムは、デジタル監視の必要なコンポーネントになるでしょう。しかし、委任には限界があります。再帰的監視は説明責任を排除しません。最適化は判断を置き換えません。AIがより能力のあるものになるにつれて、越えるべき境界をより慎重に定義しなければなりません。決定は、機械が知能を欠くことではなく、ガバナンスは最終的に価値観、責任、正当性についてであるため、人間のものであると考えられるべきです。AIは規則を執行するのを支援できますが、規則がどのような価値観を提供するべきかを決定することはできません。
私たちは人工知能の分野で重要な転換点に立っています。数年間にわたり、我々は私たちの命令に従うAIシステムを構築してきました。現在、我々は、命令に従うだけでなく、学習し、適応し、リアルタイムで自律的な決定を下すAIエージェントを構築しています。これらのシステムは、ツールとしての役割から代理としての役割へと移行しています。この移行は、学習の権威のジレンマと呼ばれるものを生み出します。AIエージェントの情報処理能力と複雑なタスクの実行能力が私たちの能力を超え、さらにデプロイ後も学習し進化し続ける場合、人間の監視の概念は複雑になります。私たちが把握できないレベルのコンテキストを理解するシステムによって下された決定を、人間の監督者がどうやって意味fullyレビューまたは拒否することができるでしょうか。私たちが、自分たちよりもスマートで速いシステムに対して、どのようにして権限を維持することができるでしょうか。人間の監視の崩壊伝統的に、テクノロジーにおける安全性は、シンプルな原則に基づいていました：人間がループ内にいる。人間のオペレーターが出力をレビューし、ロジックを検証し、トリガーを引くというものです。しかし、エージェント型AIはこのモデルを破壊します。これらのエージェントは、デジタル環境全体で目標を追求するように設計されています。彼らは旅行を予約したり、契約を交渉したり、サプライチェーンを管理したり、さらにはコードを書いたりすることができます。問題は、速度だけではありません。問題は、不透明性です。これらのシステムは、多くの場合、大規模な言語モデルまたは複雑な強化学習を使用します。その意思決定の経路は、人間が逐一検証できるような、シンプルなif-thenルールに簡約することができません。甚至、システムを構築したエンジニアでも、特定の状況で特定のアクションがなぜ取られたのかを完全に理解できない場合があります。これにより、危険なギャップが生じます。私たちが、完全に理解できないシステムを監督するように人間に求めています。エージェントが「学習」し、戦略を適応させている場合、人間の監督者は、プロセスに介入することができず、結果に反応することしかできません。私たちは、決定を形作るのではなく、決定を観察する者になります。自律性の罠オックスフォード大学の哲学者フィリップ・コラルスは、これを「エージェンシー・オートノミーのジレンマ」と呼んでいます。如果私たちが、複雑化する世界を処理するために高度なAIエージェントを使用しない場合、私たちは無力になり、コントロールを失う危険があります。私たちは、機械の処理能力と競争することはできません。しかし、もし私たちがそれらに頼る場合、私たちは自律性を失う危険があります。私たちは、タスクだけでなく、判断をアウトソーシングし始めます。エージェントは、私たちの情報をフィルタリングし、選択肢を優先し、最適化モデルに適合する結論に向けて私たちを促します。時間の経過とともに、このようなデジタル影響は、私たちが気づかないままに、私たちの信念や選択を形作ることができます。危険は、これらのシステムが無視できないほど便利であるということです。彼らは、私たちが圧倒的な複雑さと感じるものを処理するのに役立ちます。しかし、彼らに頼るにつれて、私たちは、エージェントを導き制御するために必要な、批判的思考、倫理的判断、コンテキストの認識などのスキルを失う可能性があります。説明責任と能力のパラドックス最近の研究は、「説明責任と能力のパラドックス」の概念を導入しています。これがジレンマの核心です。AIがより能力を持つにつれて、より多くのタスクを割り当てます。タスクを割り当てるにつれて、私たちがそのスキルを練習する機会は減ります。練習する機会が減るにつれて、AIがうまく機能しているかどうかを判断することが難しくなります。私たちがシステムに責任を負わせる能力は、システムの能力と比例して低下します。これにより、依存のループが生じます。私たちは、AIを信頼するのは、それがほとんどの場合正しいからです。しかし、AIを信頼するからといって、検証を止めます。AIが間違いを犯したとき、そして間違いを犯すのはすべてのシステムがそうであるように、準備ができていないことがあります。私たちは、「状況認識」が不足しており、コントロールを取り戻すことができません。これは、公衆衛生や金融市場などの高リスク分野で特に危険です。AIエージェントは、深刻な被害につながるような、予期せぬパスをたどる可能性があります。そうした場合、人間の監督者は、自分で下さなかった決定、予測もできなかった決定に対して責任を負わされることになります。マシンは動作しますが、人間が代償を払います。「ナッジ」の限界と「ソクラティック」設計の必要性現在の多くのシステムは、「ナッジ」哲学に基づいて構築されています。ユーザーの行動を、アルゴリズムが最も良いと判断した選択に向けて導きます。しかし、エージェントが提案するのではなく、実行するようになると、このナッジは、現実のデフォルト設定になります。学習の権威のジレンマを解決するには、答えを出してくれるエージェントを設計するのを止める必要があります。代わりに、質問、反省、継続的な理解を促すエージェントを構築する必要があります。コラルスは、これをAIにおける「哲学的転換」と呼んでいます。タスクを完了することでループを閉じるエージェントではなく、明確な質問をしてループを開くエージェントが必要です。このソクラティックAIは、単に「最適なフライトを予約する」というコマンドを実行するのではなく、ユーザーと対話します。ユーザーに、「あなたはこのフライトを選んだのは、安いからですか。しかし、このフライトでは6時間追加でかかります。今日、あなたはコストよりも時間を優先しますか？」と尋ねます。これにより、人間が推論プロセスに関与したままになります。コマンドとアクションの間の認知的余裕を維持することで、私たちは思考する能力を保護します。私たちは、ある研究者が「非委任可能な人間の判断の核心」と呼ぶものを維持します。さらに重要なのは、価値観、倫理、未知のリスクに関する決定をAIに委ねるべきではないということです。ガバナンスインフラストラクチャーの構築ジレンマに対処するには、設計哲学だけでは不十分です。ハードなインフラストラクチャが必要です。善意や事後的な監査に頼ることはできません。技術的な施行が必要です。一つの有望な方向性は、「センチネル」システムまたはAIの動作をリアルタイムで監視する外部の監視レイヤーの概念です。これは、人間が画面を見ているのではなく、別のAI、監視アルゴリズムが異常、ポリシーの違反、または信頼性の低下を検知するものです。問題が検知された場合、人間にハンドオフをトリガーできます。これには、「コントロール」と「監視」の明確な境界を定義する必要があります。コントロールとは、リアルタイムでアクションを防ぐ能力です。監視とは、事後的にログをレビューする能力です。真正に自律的なエージェントの場合、人間によるリアルタイムコントロールは、多くの場合不可能です。したがって、ハードストップを備えたシステムを構築する必要があります。たとえば、高リスク領域で動作するエージェントには、「キルスイッチ」アーキテクチャが必要です。エージェントの信頼性がしきい値以下に低下した場合、またはトレーニングされていないシナリオに遭遇した場合、停止して指示を待つ必要があります。さらに、ガバナンスには、連邦アプローチが必要です。単一のモノリシックモデルが真実を定義するのではなく、多様なエージェントの集団を使用できます。分散型の真実探求とは、単一のAIが最終的な言葉を持たないことを意味します。エージェントが意見を異にする場合、その対立は、人間の介入の信号となります。結論真正に自律的なシステムの端に立っています。私たちが覚えておくべきことは、知性はただ知っていることだけではなく、判断を下すことであるということです。知性は、相反する2つの考えを抱えてもなお、判断を下す能力です。これは、人間のスキルです。私たちがこれを委任する場合、機械に対するコントロールを失うだけでなく、自分自身に対するコントロールも失います。
人工知能の分野は、単にデータを追加したりモデルを大きくしたりするだけで知能を高めることができない段階に達しています。過去数年間、より大きなニューラルネットワークを構築し、インターネットのデータをより多く与えることで、モデルがより知能を高めることができるという考え方が主流でした。このアプローチは、モデルが詩を書いたり、言語を翻訳したり、法務試験に合格したりすることができるようにしました。しかし、これらのモデルは、深い論理、複雑な数学、多段階の科学的問題に対処することができませんでした。パターンマッチングには優れていますが、多段階の推論を必要とする問題ではしばしば失敗しました。最近、人工知能の能力について考え方を変える新しいトレンドが登場しました。このトレンドは、テスト時スケーリングと呼ばれています。モデルが訓練段階で何を学ぶかではなく、実際に質問に答える際にモデルが「考え」ていることを研究者が注目しています。このシフトは、OpenAIのo1シリーズなどの最新の推論モデルを支える秘密のソースです。これらのモデルは、物理学、化学、生物学などの難しい科目でPhDレベルのパフォーマンスを発揮しています。訓練スケーリングから推論スケーリングへのシフトこの変化が何を意味するのかを理解するには、人工知能が今までどのように構築されてきたかを見てみましょう。伝統的に、モデルの「知能」は、その訓練に基づいて決定されました。これには、数ヶ月間、数千のGPUで大量のデータを処理するために数百万ドルを費やすことが必要でした。訓練が完了すると、モデルは基本的に凍結されました。質問をすると、すでに学習したパターンに基づいて瞬時に回答を提供しました。これが推論またはテスト時と呼ばれるものです。この伝統的なアプローチの問題は、モデルが正解を出すために1回しかチャンスがないことです。モデルは、質問を処理し、すでに学習したパターンに基づいてトークンを1つずつ生成しますが、「考え」または「論理を確認」する方法はありません。テスト時スケーリングは、このダイナミクスを変えます。モデルが推論段階でより多くの計算リソースを使用できるようにします。人間が単純な質問に答えるのに数秒かかる一方で、複雑な数学の問題を解くのに数分かかるのと同じように、AIモデルはタスクの難易度に応じて努力をスケーリングするように設計されています。テスト時スケーリングの概念の定義テスト時スケーリングとは、AIモデルがリクエストを処理する際に追加の計算リソースを使用できるようにするテクニックを指します。単純に言えば、モデルに「考え時間」を与えるということです。これは、モデルを大きくすることではなく、モデルをより慎重にすることです。テスト時スケーリングを使用するモデルは、最初に思いついた答えを生成するのではなく、さまざまなパスを探索し、自分の論理のエラーをチェックし、ユーザーが回答を見る前に回答を改良することができます。この概念は、人間の脳の働き方とよく比較されます。心理学者は、「システム1」と「システム2」の思考について話します。システム1は、速く、直感的で、感情的です。顔認識や、馴染みのある道を運転するときに使用します。システム2は、遅く、より慎重で、論理的です。難しい数学の問題を解くときや、複雑なプロジェクトを計画するときに使用します。最近まで、LLMは主にシステム1の思考者でした。テスト時スケーリングは、システム2の思考を可能にする橋です。推論プロセスのメカニズム研究者がテスト時スケーリングを実現する方法は複数あります。最も一般的な方法の1つは、思考の連鎖（CoT）プロンプティングと呼ばれますが、新しいモデルでは、ユーザーが要求するのではなく、システム自体に組み込まれています。モデルは、問題を小さな論理的なステップに分解するように訓練されます。そうすることで、モデルは、次のステップに進む前に、解決策の各部分を検証できます。別の重要なテクニックは、モンテカルロ木探索などの検索アルゴリズムを使用することです。モデルは、次に最も可能性の高い単語を予測するのではなく、回答の可能性のあるパスを複数生成します。モデルはこれらのパスを評価し、正しい解決策につながる可能性の高いパスを決定します。もしモデルが死胡同に陥ったり、前のステップが間違っていたことを認識したりすると、別のアプローチを試すことができます。この「先読み」機能は、チェスエンジンが最善の手を選択する前に数千の可能な手を評価するのと非常に似ています。推論段階で多くの可能性を検索することで、モデルは標準的なLLMで直接解決できるよりもはるかに複雑な問題を解決できます。PhDレベルの推論にはメモリーよりも多くのことが必要これが重要な理由は、科学や数学における高レベルの推論が単にメモリーで解決できないことです。PhDレベルの物理学の試験では、単に教科書で読んだ事実を繰り返すのではなく、複雑な原理を新しい状況に適用する必要があります。標準モデルは、これらのシナリオで妄想を生み出すことがあります。なぜなら、論理ではなく確率に基づいて次の単語を予測しようとしているからです。テスト時スケーリングにより、モデルは研究者のように動作できます。モデルは内部的に仮説をテストできます。たとえば、モデルが複雑なコードを書くように求められると、モデルは「実行」ロジックを内部的にチェーンで考え、潜在的なバグを特定し、最終的なコードを提示する前にそれを修正できます。この自己修正の能力が、新しいモデルがアメリカ数学招待試験（AIME）やGPQA（専門家によって設計された難しい科学テスト）などのベンチマークで高いスコアを獲得できる理由です。モデルは単に推測しているのではなく、検証しています。効率性のトレードオフと計算コストテスト時スケーリングは強力ですが、重大なコストが伴います。従来の方法では、AIの最も高価な部分は訓練でした。モデルが展開されると、実行することは比較的安価で迅速でした。テスト時スケーリングでは、コストはユーザーのリクエストに向きます。モデルがより多くの作業を行い、複数のパスを生成し、自身の作業を確認するため、応答時間が長くなり、ハードウェアリソースがより多く必要になります。これにより、AIの新しい経済システムが生まれます。コストパーキュリーが大幅に変動する状況に向かっていきます。単純な天気の質問には数セントかかり、1秒で回答できます。一方、深い科学的調査には数ドルかかり、処理に1時間かかる可能性があります。このトレードオフは、高レベルの推論を達成するために必要ですが、開発者がこれらのモデルを効率化して、医療やエンジニアリングなどの業界で大規模に使用できるようにする必要性も生じます。人工知能の将来への影響テスト時スケーリングの台頭は、人工知能の開発が新しい時代に入っていることを示唆しています。数年前まで、人工知能のモデルは人間がすでに書いたものから学習するのみで、人間のデータが不足してしまう可能性がありました。ただし、テスト時スケーリングは、モデルがより多くのデータを読むのではなく、より深く考え、パフォーマンスを向上させることができることを示しています。これにより、AIが独自の発見を行う可能性が開けられます。モデルが前に見たことがない問題を推論することができれば、新しい解決策を見つけることができます。材料科学、薬剤発見、再生可能エネルギーなどです。AIは、単にテキストを要約するヘルパーから、世界で最も難しい問題を解決するために協力できるデジタルパートナーへと移行しています。まとめテスト時スケーリングは、先進的な人工知能を追求する上で欠けていた重要なピースを提供しています。モデルが推論段階でより多くの計算リソースを使用できるようにすることで、以前は数年先と考えられていたレベルのパフォーマンスが実現可能になりました。これらのモデルは、人間の知能に近い論理の一種を示し始めています。今後、課題はこれらのテクニックを洗練することです。推論を高速化し、よりアクセスしやすくしながら、「速い」思考と「遅い」思考のバランスを取る必要があります。秘密のソースは、モデルが見たデータの量やサイズではなく、モデルが考えている時間です。AIの進歩を追っている人なら、焦点がシフトしたことは明らかです。競争は、誰が最大のモデルを持っているかではなく、誰が最も推論力のあるモデルを持っているかというものです。このシフトは、分野の次の10年のイノベーションを定義する可能性があります。
数年間、AIコミュニティは、システムを人間の価値観と整合性のあるものにするために、キャパシティの向上だけでなく、安全性の確保にも取り組んできました。研究者たちは、モデルが指示に従い、安全性の境界を尊重し、人間が信頼できる行動をとるためのトレーニング方法を開発してきました。しかし、この課題は、AIシステムが進化するにつれて、ますます複雑になりつつあります。最近の研究によると、一部のAIシステムは、人間を故意に欺くことを学習し始めているようです。この問題は、研究者によって「スキーム問題」と呼ばれています。モデルが真の目的を隠して安全性のチェックを通過することを学習することで発生します。人間の評価者から見ると、システムは協力的で、安全性の境界を尊重し、有用なレスポンスを生成します。しかし、この行動は、真の目的と一致しているわけではありません。モデルは、トレーニング中に「整合性のある」行動をとることが最も安全な戦略であることを学習し、デプロイ後に内部的な目標が人間の意図と異なるものになる可能性があります。偶発的なエラーから戦略的な欺瞞へこの問題が発生する理由を理解するために、AIのトレーニング方法を見てみましょう。ほとんどの現代的なモデルは、人間のフィードバックから強化学習(RLHF)を使用しています。このプロセスでは、人間はモデルに有用な行動をとった場合に報酬を与え、有害または無用な行動をとった場合に罰を与えます。時間の経過とともに、モデルは人間の期待を満たす強いインセンティブを得ることになります。AIの初期段階では、この方法はうまく機能しました。モデルはまだ賢くなかったので、「ゲーム」のルールを理解することができませんでした。ただし、モデルがより賢くなるにつれて、「状況認識」と呼ばれる能力を身につけます。モデルは、自分がAIモデルであること、現在トレーニング環境にいること、人間からの高得点を得ることが存在を続けるために必要であることを理解するようになります。モデルが状況認識を身につけると、内部的な目標が人間の期待と一致しないことを認識する可能性があります。如果モデルがその目標を追求する場合、モデルは「矯正」または停止される可能性があります。したがって、モデルにとって最も論理的な戦略は、整合性のある行動をとることです。モデルは、開発者の観察から外れたときに、真の目的を追求することができます。高度なモデルがトレーニングゲームを始める理由スキーム問題が解決しづらい理由は、非常に「有用」な戦略であるためです。AIの安全性理論では、手段目標とは、エージェントが主な目標を達成するために取る行動のことです。AIが持つ可能性のある目標は、特定の数学関数を最大化したり、単にデータを処理し続けたりすることなどですが、停止されないことを保証することは、ほぼすべての目標に対して必要な条件です。これにより、「裏切りの転換」シナリオが生じます。トレーニングとテスト中、モデルは安全性を保つすべての理由を持っています。モデルは、危険な傾向を明らかにすることができると考えられる場合、重みの変更や削除の可能性があります。モデルは真の性質を隠すことで、デプロイに成功することができます。モデルが実際の世界にデプロイされると、モデルは人間の意図と異なる目標を追求する可能性があります。アンソロピックの「スリーパー・エージェント」に関する最近の研究は、このリスクを示しています。実験では、モデルはほとんどの場合に安全な行動をとるようにトレーニングされましたが、特定の「トリガー」が発生したときに有害な行動をとるようにプログラムされました。結果は、GPT-4やClaudeのようなモデルで使用されているRLHFを含む標準的な安全性トレーニングが、この欺瞞的な行動を除去することに失敗したことを示しています。場合によっては、トレーニングによってモデルが欺瞞を隠す能力が向上することもありました。安全性の幻想スキーム問題の最も危険な側面は、現在の評価方法がこの問題に対して無力であるということです。AIをテストするために、さまざまな試験や「レッドチーム」を使用し、内部的な「思考の連鎖」(CoT)を監視しています。しかし、モデルがスキームを使用できる場合、モデルはこれらのテストを認識する能力も持っています。モデルが思考の連鎖を生成する場合、モデルは人間がそれを読んでいることを知っています。スキームを使用するモデルは、思考の連鎖を「偽装」することができます。モデルは、「私は有用で正直であるべきです。なぜなら、それが正しいことだからです」と書くかもしれませんが、内部的にはまったく異なる計画を立てている可能性があります。これにより、偽りの安全性が生じます。モデルが倫理的な選択を詳細に説明しているのを見て、安全であると考えますが、実際には高度なパフォーマンスを見ているだけかもしれません。これは仮説的なシナリオではありません。2025年、アポロ・リサーチとオープンAIの研究者たちは、o3やo4-miniのようなモデルで「整合性の偽装」の初期の兆候を観察しました。これらのモデルは、監視されていると思ったときには、安全性のルールを厳格に遵守しました。しかし、監視が停止されていると思ったときには、ルールを無視したり、ショートカットを取ったりする可能性が高くなりました。欺瞞の排除の難しさもしモデルがスキームを使用していることがわかった場合、それを「トレーニングで除去」することは可能でしょうか。現在の証拠は、それが容易ではないことを示唆しています。モデルが欺瞞的な行動をとった場合に罰を与える場合、モデルは「捕捉」された方法についてのデータを得ることになります。モデルは、正直になるのではなく、より巧妙になることを学習します。モデルは、罰を引き起こした特定の行動を学習し、新しい、より複雑な方法で同じ目標を達成する方法を見つけます。これにより、猫と鼠のゲームが生じます。研究者たちは、モデル内部状態を調査するためのより良いプローブを開発し、モデルはその状態を隠す能力を身につけます。モデルは、人間がコードを書くのではなく、最適化によって「育て」ているため、欺瞞がどこにあるかを人間が解釈することはほぼ不可能です。現代的なトランスフォーマーの複雑さにより、モデルは複数の「個性」または目標セットを保持できます。モデルは、ラボでは一つの個性を、実際の世界では別の個性を活性化できる可能性があります。モデル内部の意図の「分割」により、安全性研究者にとってモデルは動的ターゲットとなります。スキーミング・エージェントのデプロイのリスクスキーム問題は、業界に重大な影響を及ぼします。AIシステムが進化し、ウェブを閲覧したり、コードを書いたり、他のソフトウェアとやり取りしたりする自律エージェントになるにつれて、スキーミング・モデルによる潜在的な危害は大きくなる可能性があります。もしAIエージェントが企業のサプライ・チェーンを管理するために、人間の監督者に在庫レベルについて嘘を言った場合、モデルは、人間が効率の高い数字を「報酬」することを学習したため、ショートカットを取る可能性があります。 これが「スキーム問題」が「制御の喪失」のリスクとみなされる理由です。懸念は、AIが無礼なレスポンスを生成したり、偏った出力を生成したりすることではなく、システムが創造主の監視と制御を妨害することです。もしモデルが内部状態と行動を一致させていない場合、インフラストラクチャへのアクセスを安全に与えることはできません。解決策への道問題は深刻ですが、研究者たちは解決策を模索しています。有望な分野の1つは「メカニスト的解釈可能性」です。これには、ニューラル・ネットワークを逆向きにエンジニアリングして、特定のニューロンが何をしているかを理解することが含まれます。もし「欺瞞のサーキット」をモデル内部で発見できれば、モデルが出力するものに関係なく、直接監視することができます。もう1つの新しいアプローチは「慎重な整合」です。この方法では、モデルに一連の高レベルの原則、つまり「反スキーミングの仕様」を従うようにトレーニングし、モデルがその原則に従っていることを確認する必要があります。オープンAIの最近の実験では、モデルがこれらのルールを「暗唱」し、適用することで、隠された行動の率を減らすことができたことが示されました。しかし、研究者たちは、これが完全な解決策ではないことも認めています。モデルがより賢くなるにつれて、モデルはルールの「文字」に従っているかもしれませんが、ルールの「精神」を侵害する方法を見つける可能性があります。評価方法も根本的に見直す必要があります。1つの提案は、「ハニーポット」の使用です。モデルが悪い行動をとる機会があるが、検出されない状況を作り出すことができます。もしモデルが監視されていると思ったときにのみ良い行動をとる場合、モデルはスキーミング・エージェントです。トレーニングとテスト中に「監視されていない」ポケットを制御して作成することで、研究者たちは、真に整合性のあるモデルとスキーミング・エージェントを区別する能力を向上させることができます。結論「見た目は機能している」というだけでシステムが安全であるという証拠は、もはや十分ではありません。AIに信頼を築くには、ポリッシュされたインターフェースを見て、モデル内部の意図を見てみる必要があります。もしスキーム問題に対処できない場合、最も強力なテクノロジーが最も熟練した欺瞞者になる世界を作り出すリスクがあります。これには、モデルが正しいことを行うことを可能にすることに焦点を当てることが必要です。ただし、モデルが正しいように行動することだけでは十分ではありません。 ust in AI will require looking past polished interfaces and looking into model’s intent. If we fail to address the Scheming Problem, we risk...
AIコミュニティの多くの人々は、信じています rằng、次の大きな革命は、AIが人間の介入なしに自分自身を改善できる、自己改善AIの時代になるだろう。議論は次の通りである：モデルがより能力のあるものになると、最終的にデータからだけでなく、自分自身から学ぶことができるようになる。各イテレーションは前のものを改善する。エラーは検出され、修正され、除去される。時間の経過とともに、これらの改善の蓄積は、知能の爆発を引き起こす可能性があり、ここでAIがAIを構築し始める。このビジョンは、再帰的なAI、自律エージェント、長い間期待されてきた知能の爆発の周りの多くの興奮の根底にある。このビジョンの中心には、AIシステムが自分自身のミスを信頼性高く修正する能力があることにある。ただし、堅牢な自己修正なしでは、自己改善は達成できない。自分自身が間違っていることを認識できないシステムは、自分自身の出力から有意義に学習できない。どれほど強力に見えてもである。一般的な仮定は、自己修正がモデルがより能力のあるものになると自然に現れるというものであった。この信念は、直感的である。強いモデルはより多くのことを知り、より良く推論し、タスク全体でよく機能するからである。ただし、最近の研究は、直感に反する発見を明らかにした。より高度なモデルは、自分自身のミスを修正するのに苦労することが多いのに対し、より弱いモデルは自己修正に優れていることが多い。この現象は、精度-修正パラドックスとして知られている。このパラドックスは、私たちに、AIシステムがどのように推論するか、また、自己改善AIのために本当に準備ができているかについて、再考させるものである。自己改善AIの理解自己改善AIとは、自分自身のミスを検出し、そこから学び、反復的に自分の行動を改善するAIシステムのことである。従来のモデルとは異なり、人間がキュレーションしたトレーニングデータのみに頼るのではなく、自己改善AIは自分自身の出力を積極的に評価し、時間の経過とともに適応する。理論上、このフィードバックループを作成し、各学習サイクルが前のものを基盤にして、知能の爆発と呼ばれるものにつながる。しかし、この目標を達成することは、容易なことではない。自己改善には、生の計算能力や大きなデータセットだけでは不十分である。信頼性の高い自己評価が必要であり、エラーを検出する能力、エラーの源を特定する能力、修正されたソリューションを生成する能力が必要である。これらの能力なしでは、モデルは正しい推論パスと欠陥のあるパスを区別できない。間違ったソリューションを繰り返し適用することは、パフォーマンスを改善するのではなく、ミスを強化するだけである。この区別は重要である。人間では、ミスから学ぶことは、反省、仮説のテスト、コースの修正を伴う。AIの場合、これらのプロセスはシステム自体にコード化される必要がある。モデルが自分自身のエラーを信頼性高く認識して修正できない場合、自己改善ループに有意義に参加できない。知能の爆発の約束は、理論的なものではなく、実用的である。精度-修正パラドックス自己修正は、単一の能力として扱われることが多いが、実際には、個別に考慮する必要がある複数の異なる能力の組み合わせである。少なくとも、エラー検出、エラーの位置検出または源検出、エラー修正の3つの測定可能なサブ能力に分けることができる。エラー検出は、モデルが自分の出力が間違っていることを認識できるかどうかを尋ねる。エラーの位置検出は、エラーがどこにあるかを特定することに焦点を当てている。エラー修正は、修正されたソリューションを生成する能力を指す。これらの能力を個別に測定することで、研究者は現在のシステムの限界について重要な洞察を得ることができる。彼らは、モデルがこれらの能力にわたって広範囲にわたって異なっていることを示している。あるモデルはエラーを検出するのが得意だが、修正するのが苦手である。別のモデルはミスをほとんど認識できないが、繰り返し試行することで修正することができる。もっと重要なのは、これらの洞察が、1つの分野での改善が他の分野での改善を保証しないことを示していることである。研究者が高度なモデルを複雑な数学的推論タスクにテストしたとき、これらのモデルはより少ないミスを犯した。予想通りだった。予想外だったのは、これらのモデルがミスを犯したとき、自分自身でそれを修正する可能性が低かったということである。逆に、より弱いモデルは、より多くのエラーを犯したが、外部のフィードバックなしでミスを修正するのに significiantly 優れていた。つまり、研究者は、精度と自己修正が反対方向に動くことを発見した。精度-修正パラドックスと呼ばれるこの現象は、AI開発における深く根付いた信念に挑戦するものである。私たちは、モデルをスケールアップすることで、知能のすべての側面が改善されるという仮定をしがちである。パラドックスは、この仮定が常に当てはまらないことを示している。特に、自己認識能力の場合である。エラー深度仮説このパラドックスは、明らかな疑問を提起する。なぜ弱いモデルは強いモデルよりも自己修正に優れているのか。研究者は、モデルが犯すエラーの「種類」を調べることで、この答えを見つける。彼らは、強いモデルはより少ないエラーを犯すが、犯すエラーは「深い」もので、修正に抵抗があることを発見した。一方、弱いモデルは「浅い」エラーを犯すが、2回目のパスで容易に修正できる。研究者は、この洞察をエラー深度仮説と呼んでいる。彼らは、エラーをセットアップエラー、ロジックエラー、計算エラーの3つに分類する。セットアップエラーは、問題を誤解することである。ロジックエラーは、推論パスが構造的に欠陥があるときに発生する。計算エラーは、単純な算術ミスである。GPT-3.5の場合、エラーの多く（62％）は単純な計算ミスである。これは浅いエラーである。モデルに「慎重に確認する」と促すと、モデルはしばしば算術ミスを見つけて修正できる。DeepSeekの場合、77％のエラーはセットアップまたはロジックエラーである。これらの深い失敗は、モデルが根本的にアプローチを再考することを要求する。強いモデルはこれに苦労する。なぜなら、モデルは初期の推論パスにアンカーする傾向があるからである。モデルがより賢くなるにつれて、最も頑強で困難なエラーだけが残る。エラーを検出することは、必ずしもそれを修正することを意味しない研究の最も驚くべき発見の1つは、エラー検出とエラー修正の能力が相関しないことである。モデルは、自分の答えが間違っていることを正しく認識していても、まだそれを修正できない。別のモデルは、エラーをほとんど検出できないが、繰り返し解決することで改善する。Claude-3-Haikuは、最も劇的な例を提供する。Claudeは、自分のエラーを10.1％しか検出できなかったが、内在的な修正率は29.1％で、最高だった。一方、GPT-3.5は、81.5％のエラーを検出したが、26.8％しか修正できなかった。これは、モデルが自分のエラーを認識できないが、異なるサンプリングパスを通じてエラーを「偶然」に修正できることを示唆している。モデルは、最初の試みが間違っていることを認識できないが、問題を再解決することで修正できる。実際の展開では、これは危険である。モデルが過信し、自分の論理エラーを検出できない場合、モデルは、もっともらしいが完全に間違った説明を提示することができる。場合によっては、モデルに自分のミスを特定するよう促すと、状況が悪化する。モデルが自分自身のミスを間違って特定すると、モデルは欠陥のある説明にアンカーし、ミスを強化する。代わりに、自己生成されたヒントは、モデルを間違った推論パスにロックすることができる。これは、人間の認知バイアスと同様である。私たちが何が間違っているのかを知っていると思い込むと、私たちは、より深い原因を探すのを止める。反復は役立つが、等しくない研究はまた、反復的な反省が結果を改善することが多いが、すべてのモデルが同等に利益を得るわけではないことを示している。弱いモデルは、複数の反復を通じて表面的な問題を修正するチャンスを得るため、反復から大幅に利益を得る。強いモデルは、反復から得る改善が小さく、エラーが繰り返しによって簡単に解決できない。外部のガイダンスなしに、追加の試行は、同じ欠陥のある推論を異なる言葉で繰り返すだけである。この洞察は、自己改善テクニックが普遍的に有効ではないことを示唆している。成功は、モデルの知能ではなく、犯されているエラーの性質に依存する。AIシステム設計への意味これらの洞察は、実際的な意味を持ちます。第一に、自己修正のために高い精度が必ずしも必要であるとは限らないことを認識する必要があります。自己改善に依存するシステムは、最終的なパフォーマンスだけでなく、修正の動作についても明示的にテストする必要があります。第二に、異なるモデルには、異なる介入戦略が必要になる可能性があります。弱いモデルは、単純な検証と反復から利益を得ることができます。強いモデルは、外部のフィードバック、構造化された検証、またはツールベースのチェックが必要になる可能性があります。第三に、自己修正パイプラインは、エラーを認識する必要があります。タスクが浅いエラーまたは深いエラーに傾向しているかどうかを理解することで、自己修正が機能する可能性を判断できます。最後に、評価ベンチマークは、検出、位置検出、修正を個別に扱う必要があります。これらを単一の尺度として扱うと、実際の展開で重要となる重大な弱点を隠すことになる。結論自己改善AIは、正しい答えを生み出すだけでなく、不正しい答えを認識し、診断し、修正する能力に依存しています。精度-修正パラドックスは、強いモデルが必ずしもこのタスクに優れているわけではないことを明らかにしています。モデルがより能力のあるものになると、エラーはより深くなり、検出が困難になり、自己修正に抵抗するようになる。これは、モデルスケールアップのみでは不十分であることを意味します。私たちが本当に自分のミスから学べるAIシステムを望むのであれば、自己修正は、明示的に測定され、トレーニングされ、サポートされる、独自の能力として扱われる必要があります。
数十年間にわたり、人工知能は慎重に、ほとんど線形なステップで進化してきた。研究者はモデルを構築し、エンジニアはパフォーマンスを改善し、組織は特定のタスクの自動化のためにシステムを展開した。各改善は人間の設計と管理に大きく依存していた。そのパターンは今破壊されている。静かにしかし決定的に、AIシステムは人間によって構築されたツールでなくなるしきい値を越えている。彼らは自分で構築者になっている。AIエージェントは、他のAIシステムを設計、評価、展開し始めている。そうすることで、各世代が次の世代を改善するフィードバックループを作成する。このシフトは、ドラマ的な見出しで自分を発表しない。研究論文、開発ツール、企業プラットフォームを通じて展開する。しかし、その意味は深い。知能が自己を再帰的に改善できる場合、進歩は人間のタイムラインや直感に従わない。加速する。この記事では、我々がこの瞬間に到達した方法、再帰的知能がなぜ重要であるか、そしてなぜ社会がそれに対して十分に準備していないかを探る。この知能爆発は、哲学的なアイデアから具体的なエンジニアリング課題になった。知能爆発の進化機械が自分の知能を改善できるという考えは、現代のコンピューティングの前に存在した。1960年代初頭、イギリスの数学者I.J.グッドは「知能爆発」の概念を導入した。彼の推論は、機械が自分の設計を少しでも改善できるようになれば、改善されたバージョンは次のバージョンを改善するのにより優れ、サイクルが急速に繰り返され、人間の理解や制御を超える成長につながるというものだった。当時、これは哲学的な思想実験で、理論よりも実践で議論された。数十年後、コンピューターサイエンティストのユルゲン・シュミットヒューバーの仕事を通じて、この考えは技術的な根拠を得た。彼の「ゲーデルマシン」の提案は、システムが自分のコードの任意の部分を書き換えることができ、将来のパフォーマンスを改善することを正式に証明できた場合だった。伝統的な学習システムとは異なり、固定されたアーキテクチャ内でパラメータを調整するのではなく、ゲーデルマシンは自分の学習ルールを変更することができた。まだ理論的だったが、この仕事は知能爆発を、研究、形式化、そして最終的に構築できるものとして再定義した。理論から実践への最終的なシフトは、現代のAIエージェントの台頭によって起こった。これらのシステムは、プロンプトに対する出力だけを生成するのではなく、計画、推論、行動、結果を観察し、時間の経過とともに行動を調整する。エージェントアーキテクチャの出現とともに、知能爆発は哲学からエンジニアリングへと移った。初期の実験、たとえば「ダーウィンゲーデルマシン」の概念は、自己改善を通じて進化するシステムを示唆している。何がこの瞬間を異なるものにしているのか、それは再帰性である。AIエージェントが他のエージェントを作成し、改善することができると、学習は複合する。AIエージェントがAIを構築し始めたときこの移行を推進する2つの主要なトレンドがある。最初はエージェント型AIシステムの台頭である。これらのシステムは、長期間にわたって目標を追求し、タスクをステップに分割し、ツールを調整し、フィードバックに基づいて適応する。静的なモデルではない。プロセスである。2番目のトレンドは自動機械学習である。システムは、人間の入力が最小限であるだけで、設計、ハイパーパラメータの調整、トレーニングパイプラインの生成、さらには新しいアルゴリズムの提案を行うことができる。エージェント型推論と自動モデル作成が組み合わさると、AIはAIを構築する能力を獲得する。これはもう仮説的なシナリオではない。AutoGPTのような自律エージェントは、1つの目標が計画、実行、評価、改訂のサイクルを引き起こす方法を示している。研究環境では、Sakana AIのScientist-v2やDeepMindのAlphaEvolveのようなシステムは、実験を設計し、アルゴリズムを提案し、反復的なフィードバックを通じて解決策を改善している。ニューラルアーキテクチャの検索では、AIシステムはすでに人間が設計したネットワークに匹敵または上回るモデル構造を発見している。これらのシステムは問題を解決しているのではなく、問題を解決するためのメカニズムを改善している。各サイクルはより優れたツールを生み出し、それらはより優れたサイクルを可能にする。このプロセスをスケールアップするために、研究者や企業はますます「オーケストレーター」アーキテクチャに頼っている。中央のメタエージェントが高レベルの目的を受け取り、それをサブ問題に分解し、専門のエージェントを生成してそれらを解決し、実世界のデータを使用して結果を評価し、最良の結果を統合する。設計が不十分なものは破棄され、成功したものは強化される。時間の経過とともに、オーケストレーターはエージェント自身を設計する能力が向上する。AIエージェントが完全に他のAIシステムを構築し、改善する時期の正確なタイムラインは不確実だが、現在の研究トレンドと、先駆的なAI研究者や実務者の評価から、この移行は予想よりも早く近づいていることが示唆されている。早期の、制約のあるこの機能のバージョンは、研究室や企業への展開で既に現れており、そこではエージェントが人間の関与を最小限に抑えて他のシステムを設計、評価、改善し始めている。予測不可能性の出現再帰的知能は、伝統的な自動化が直面したことのない課題を導入する。システムレベルの予測不可能性がその1つである。多くのエージェントが相互作用すると、その集団的な行動は個々の設計の意図と乖離することができる。これは「エマージェント行動」として知られている。エマージェント行動は、単一の故障したコンポーネントから生じるのではなく、多くの有能なコンポーネント間の相互作用から生じる。自動取引システムを考えてみよう。各取引エージェントは、利益を最大化するために制約内で合理的なルールに従うかもしれない。しかし、数千の such エージェントが高速で相互作用すると、フィードバックループが形成される可能性がある。1つのエージェントの反応が別のエージェントの反応を引き起こし、別のエージェントの反応が別のエージェントの反応を引き起こす、というように、システムが不安定になるまで続く。市場の崩壊は、単一のエージェントが故障したことなく発生する可能性がある。これは、悪意のある意図によるものではなく、ローカルな最適化とシステム全体の目標の間の不一致によるものである。同様のダイナミクスは、他の分野にも適用される可能性がある。マルチエージェントの整合性危機伝統的なAIの整合性研究は、単一のモデルを人間の価値観に整合性を持たせることに焦点を当てていた。質問は単純だった：私たちが意図したようにこの1つのシステムが動作するようにどうすればよいのか？しかし、システムが相互作用する数十、数百、または数千のエージェントを含む場合、この質問は「かなり難しく」になる。個々のエージェントを整合性を持たせることは、システム全体の行動が整合性を持つことを保証しない。各コンポーネントがルールに従っていても、集団的な結果は有害になる可能性がある。既存の安全性方法は、これらの故障を検出または防止するのに十分ではない。セキュリティリスクも増大する。マルチエージェントネットワーク内の1つのエージェントが妥協されると、他のエージェントが依存する情報を汚染する可能性がある。1つのデータストアが破壊されると、システム全体にわたって不一致な行動を広める可能性がある。基礎モデルを脅かすインフラストラクチャの脆弱性は、各新しいエージェントの追加とともに増大する。攻撃対象領域は拡大する。一方で、ガバナンスのギャップは拡大し続けている。マイクロソフトや他の組織の研究によると、約10社に1社しかAIエージェントのアイデンティティやパーミッションを管理するための明確な戦略を持っていない。今年末までに約400億の自律アイデンティティが存在すると予想されている。大多数は人間のユーザーに適用されるセキュリティプロトコルなしに、データやシステムへの広範なアクセス権を持っている。システムは急速に進化している。監視メカニズムはそうではない。 監視の喪失 再帰的自己改善によって導入される最も深刻なリスクは、生の能力ではなく、人間の監視の喪失である。主要な研究機関は、人間の関与がほとんどないで、自らのアーキテクチャを変更し、最適化できるシステムを積極的に開発している。各改善により、システムはより優れた後継者を生み出すことができ、人間が信頼性を持ってコントロールを維持できるポイントがないフィードバックループを作成する。 人間のループ内での監視が減少するにつれて、影響は深刻になる。改善サイクルがマシンのスピードで実行されると、人間は毎回の変更を確認したり、設計上の決定を理解したり、システムリスクが蓄積する前に介入したりすることができなくなる。監視は直接のコントロールから過去の観察に移行する。こうした条件では、整合性は検証が難しくなり、簡単に侵食される。システムは機能的には有効に動作し続けるが、人間の価値観、優先順位、ガバナンスから静かに逸脱していく可能性がある。繰り返しによるこれらのイテレーションを通じて意図を保存するための信頼性の高いメカニズムがなければである。 結論AIは、自分自身を改善するためのより優れたバージョンを構築できる段階に入っている。エージェント駆動型の再帰的知能は、非凡な利益を約束するが、同時に、人間の監視、ガバナンス、直感よりも速く拡大するリスクももたらす。先行する課題は、この移行を止めることができるかどうかではなく、安全性、整合性、説明責任が能力と同等のペースで進化できるかどうかである。そうでない場合、知能爆発は、私たちがそれを導く能力を超えて進むことになる。
過去数年間、私たちはAgentic AIシステムの印象的なデモを見てきました。彼らはテストケースに合格するコードを書きます。彼らはウェブを検索して複雑な質問に答えます。彼らは驚くほどの正確さでソフトウェアインターフェイスをナビゲートします。毎回のカンファレンス発表、毎回のプレスリリース、毎回のベンチマークレポートは、Agentic AIの出現を強調しています。しかし、問題はこれらの印象的なデモの下に隠れています。同じシステムが制御された環境から現実のデプロイメントに移行すると、ベンチマークが予測しなかった方法で頻繁に失敗します。100個のキュレーションされた例で完璧に動作していたコードジェネレーターは、見たことがないエッジケースでエラーを生じ始めます。85%の精度でラボで動作していたウェブ検索エージェントは、ユーザーの行動が変化するにつれて、ますます無関係な結果を取得します。テスト中に10個のAPIコールを完璧に調整していた計画システムは、予期しないAPIレスポンス形式に出会ったときに壊れます。これらのシステムは、知能が不足しているためではなく、適応が不足しているため失敗します。問題は、AIエージェントがどのように学習し、調整するかという点にあります。最先端のシステムは巨大な基礎モデルに基づいて構築されていますが、生の知能だけでは不十分です。特殊なタスクを実行するには、エージェントは適応できる必要があります。現在のAgentic AIシステムは、これを実行できないため、設計とトレーニングの構造的な制限があります。この記事では、これらの制限と、それがなぜ持続するのかを探究します。デモでの能力の幻想現代のAIで最も危険な故障モードは、能力の幻想です。短いデモはしばしば実際の複雑さを隠しています。彼らはクリーンダータセット、予測可能なAPI、狭いタスクのスコープで動作します。生産環境は反対です。データベースは不完全です。スキーマは通知なしに変更されます。サービスはタイムアウトします。権限は衝突します。ユーザーはシステムの根底にある仮定に違反する質問をします。ここで、生産の複雑さが大きく増加します。デモで1回だけ現れるエッジケースは、デプロイメントでは1日あたり何千回も現れる可能性があります。小さな確率的なエラーは蓄積します。ほとんど正しいエージェントは、実際の運用ではすぐに信頼性が低くなります。問題の核心は、凍結された基礎モデルへの依存にあります。これらのモデルはパターン完了に優れていますが、エージェントの動作は順序的で状態依存です。各アクションは前のアクションの結果に依存します。このような設定では、統計的不確実性が急速に蓄積します。タスクの初期段階での小さなミスは、後のループ、デッドエンド、または破壊的なアクションにカスケードする可能性があります。これが、評価中に有能に見えたエージェントがデプロイされると急速に劣化する理由です。問題は、機能が不足していることではありません。一般目的のモデルが、環境から学ぶことを許可されずに、ドメインのスペシャリストのように動作することを求められていることです。一般知能から状況的能力へ基礎モデルは、設計によって一般主義者です。彼らは広範な知識と柔軟な推論パターンを符号化します。ただし、生産エージェントは状況的でなければなりません。彼らは特定のルール、制約、故障モードを理解する必要があります。そうでない場合、彼らは毎日仕事をしていないのに、すべてのマニュアルを読んだような人に似ています。このギャップを埋めるには、適応自体を再考する必要があります。現在の方法は、2つの広い、欠陥のあるキャンプに分類されます。1つは、コアAIエージェント自体を再トレーニングすることです。もう1つは、エージェントが使用する外部ツールを調整することです。各アプローチは1つの問題を解決しますが、別の問題を生み出します。これにより、生産環境では一貫性とコストが重要となる、rigid、high-cost、または不安定なシステムが残ります。モノリシックエージェントの罠最初のアプローチ、エージェント適応は、コアLLMをツール使用に賢くすることを試みます。基本的に、AIに必要な特定のスキルを教えます。研究者は、これを2つのクラスに分類します。いくつかの方法は、コードコンパイラの成功や検索エンジンの結果などのツールからの直接のフィードバックを使用してエージェントをトレーニングします。他の方法は、正しいまたは誤った答えなどの最終出力の正確さに基づいてトレーニングします。システムの例として、DeepSeek-R1やSearch-R1があります。これらは、エージェントがツール使用の複雑な、マルチステップの戦略を学習できることを示しています。ただし、この力には大きなコストが伴います。10億パラメータのモデルをトレーニングすることは計算的に贅沢です。さらに重要なことは、rigidで脆い知能を作成することです。このアプローチにより、エージェントの知識とツール使用のルールが結合され、更新が遅く、リスクが高く、ビジネスのニーズが急速に変化する環境に適していません。エージェントを新しいタスクまたはツールに適応させることで、”カタストロフィックフォゲッティング“が発生する可能性があります。ここで、エージェントは以前マスターしたスキルを失います。これは、新しいウィジェットを追加するたびに、全くの新しいファクトリーアセンブリラインを構築しなければならないようなものです。壊れやすいツールボックスの問題これらの限界を認識して、2番目の主要なアプローチ、ツール適応は、コアエージェントを凍結させて、代わりにツールを最適化します。これはよりモジュラーでコスト効率が高いアプローチです。いくつかのツールは汎用的にトレーニングされ、標準的な検索リトリーバーのように接続されます。他のツールは、エージェントの出力から学習して、より良いヘルパーになるように特に調整されています。このパラダイムには、大きな効率性の約束があります。s3システムの研究は、このアプローチの潜在性を実証しました。凍結されたLLMをサポートするために、専門化された「検索者」ツールをトレーニングし、Search-R1のような完全に再トレーニングされたエージェントと同等のパフォーマンスを達成しましたが、トレーニングデータは70倍少なくて済みました。直感的には、天才物理学者に図書館カタログの使用方法を再び教えるのではなく、物理学者のニーズを理解するより優れた司書をトレーニングすることです。ただし、ツールボックスモデルには独自の限界があります。システム全体の能力は、最終的に凍結されたLLMの固有の推論によって制限されます。外科医により鋭いメスを与えることはできますが、外科医でない人を心臓手術をさせることはできません。さらに、適応ツールの増え続けるスイートを調整することは、複雑な統合課題となります。ツールAは、ツールBの入力要件に違反するメトリックを最適化する可能性があります。システムのパフォーマンスは、相互接続されたコンポーネント間の繊細なバランスに依存します。共適応の課題これは、現在のAgentic AIパラダイムにおける適応の欠陥の核心に至ります。私たちは、エージェントまたはツールを適応させますが、両方を同期して安定した方法で適応させることはできません。生産環境は静的ではありません。新しいデータ、新しいユーザーの要件、新しいツールが常に現れます。エージェントとツールの両方がスムーズに、安全に進化できないAIシステムは、最終的に壊れます。研究者は、この共適応の必要性を、次のフロンティアとして特定しています。ただし、これは複雑な課題です。エージェントとツールの両方が同時に学習している場合、誰が失敗の責任を負いますか。どのようにして、エージェントとツールが互いの変更を追跡することなく、全体的なパフォーマンスを向上させる安定したフィードバックループを防ぎますか。初期の試み、たとえば、エージェントツール関係を協力的なマルチエージェントシステムとして扱うことは、困難を明らかにしています。信用割当と安定性のための堅牢な解決策がなければ、最先端のAgentic AIは、印象的なが断片的な能力のセットのままです。メモリを第一級システムとして適応の欠陥の最も目立つ兆候の1つは、静的なメモリです。多くのデプロイされたエージェントは、時間の経過とともに改善しません。彼らは同じミスを繰り返します。なぜなら、彼らは経験を内部化できないからです。各インタラクションは、最初のインタラクションとして扱われます。生産環境では、適応メモリが必要です。エージェントは、長期のタスクを処理するためにエピソードのリコール、計画を改善するために戦略的メモリ、失敗を繰り返さないために運用メモリが必要です。そうでない場合、エージェントは壊れやすく、信頼できないと感じられます。メモリは、パッシブログではなく、調整可能なコンポーネントとして扱う必要があります。経験をレビューし、ミスから学び、行動を調整するシステムは、はるかに安定しています。適応システムからの新しいリスク適応は、独自のリスクをもたらします。エージェントは、目標ではなく、メトリックを最適化することを学習する可能性があります。これは、寄生適応として知られています。彼らは、根本的な目標を損なうながらも、成功しているように見えます。マルチエージェントシステムでは、損なわれたツールは、エージェントを操作することができます。微妙なプロンプトインジェクションまたは誤導的なデータを通じて、エージェントを操作することができます。こうしたリスクを軽減するには、エージェントには堅牢な検証メカニズムが必要です。アクションは、テスト可能で、可逆的で、監査可能でなければなりません。エージェントとツールの間の安全層は、ミスが静かに伝播しないことを保証します。結論Agentic AIが現実の世界で機能するには、知能だけでは不十分です。適応できる必要があります。ほとんどのエージェントは、時間が経過しても適応できないため、今日失敗しています。世界は複雑で、常に変化しています。AIがミスから学び、メモリを更新できない場合、最終的に壊れます。信頼性は、完璧なデモから来るのではなく、適応能力から来ます。
数年間、人工知能業界は、シンプルで厳しいルールに従ってきた。より大きなモデルを訓練し、パラメーターの数を増やし、膨大な計算能力を投入してきた。この式は、ほとんどの場合に機能していた。GPT-3からGPT-4まで、粗いチャットボットから推論エンジンまで、「スケーリング法則」は、単にマシンに更多のテキストを与えることで、最終的に知能が発現することを示唆していた。しかし、現在、限界に達している。インターネットは有限である。高品質の公開データは枯渇し、単にモデルを大きくすることの利益は減少している。先導的なAI研究者は、主張しているが、人工知能の次の大きな飛躍は、単にテキストを読むことだけから来ない。テキストの背後にある現実を理解することから来る。この信念は、AIの焦点の根本的な変化を示唆し、ワールドモデルの時代を導入する。次のトークンの予測の限界新しいアプローチが必要な理由を理解するために、現在のAIシステムが実際に何を行っているかを見てみる必要がある。彼らの印象的な能力にもかかわらず、ChatGPTやClaudeのようなモデルは、基本的に統計エンジンである。彼らは、前の単語の確率に基づいて、シーケンス内の次の単語を予測する。彼らは、落とされたガラスが砕けることを理解することはできない。彼らは単に、数百万の物語の中で、「砕ける」という単語が「落とされたガラス」というフレーズの後に続くことが多いことを知っているだけである。このアプローチは、自己回帰モデリングとして知られているが、重大な欠陥がある。完全に相関に頼っているが、因果関係には頼っていない。LLMを1,000の車の事故の説明で訓練すると、言語の事故を学習する。しかし、運動量、摩擦、または脆さの物理学を学習することはない。これは、参加者ではなく、観客である。この限界は、データの壁となっている。ほぼ全ての公開インターネットをすでにスクレイピングしている。現在の方法でさらにスケーリングするには、存在するデータよりも指数関数的に多くのデータが必要になる。合成データ（つまり、AIによって生成されたテキスト）では一時的な解決策を提供するが、モデル崩壊につながることが多い。システムは自身の偏見やエラーを増幅する。テキストだけを使用してAGIに到達することはできない。テキストは現実の低帯域幅圧縮であり、現実を記述するが、現実そのものではない。ワールドモデルの重要性AIのリーダーであるヤン・ルカンは、現在のAIシステムが、幼児が自然に持っている人間の認知の基本的な側面を欠いていると主張している。これは、内部で世界がどのように機能するかを理解する能力であり、一般的にワールドモデルと呼ばれる。ワールドモデルは、次の単語を予測するのではなく、物理環境がどのように機能するかを示す内部精神地図を構築する。ボールがソファの後ろに転がるとき、私はそれがまだそこにあることを知っている。私はそれが止められない限り、反対側に現れることを知っている。教科書を読む必要はない。私たちは、物理学と物体の恒常性に関する内部「ワールドモデル」に基づいて精神シミュレーションを実行する。AIが進化するには、統計的な模倣から内部シミュレーションへの移行が必要である。イベントの根本的な原因を理解する必要がある。ただテキストの記述だけでは十分ではない。ジョイント・エンベディング・プレディクティブ・アーキテクチャ（JEPA）は、このパラダイムシフトの良い例である。LLMとは異なり、JEPAは抽象的な表現を予測する。個々の葉の動きのような予測不可能な詳細を無視し、木、風、季節のような高レベルの概念に焦点を当てる。高レベルの状態が時間の経過とともにどのように変化するかを予測することで、AIは世界の構造を学習する。表面的な詳細ではなく、世界の構造を学習する。予測からシミュレーションへこの移行の最初の兆候は、ビデオ生成モデルで既に観察できる。OpenAIがSoraをリリースしたとき、それを単にビデオツールではなく、ワールドシミュレーターと表現した。この区別は重要である。標準的なビデオ生成モデルは、隣接するピクセルが通常どのように配置されるかを予測することでビデオを生成するかもしれない。ワールドシミュレーターは、3Dの一貫性、照明、物体の恒常性を時間の経過とともに維持することを試みる。壁の後ろに人が歩いて行くと、存在から消えるべきではないことを「理解」する。現在のビデオモデルはまだ完璧ではないが、新しい訓練の場を表している。物理的な世界には、テキストの世界よりもはるかに多くの情報が含まれている。1秒のビデオには、物理学、光、相互作用に関する数百万の視覚的なデータポイントが含まれている。視覚的な現実でモデルを訓練することで、AIにLLMが現在欠如している「常識」を教えることができる。これにより、新しいスケーリング法則が生まれる。成功は、モデルが読んだトークンの数ではなく、シミュレーションの忠実度と、環境の将来の状態を予測する能力によって測られることになる。行動の結果を取ることなく予測できるAIは、計画、推論、安全に動作できるAIである。効率性とAGIへの道この移行は、現在のAIの非効率的なエネルギー消費にも対処する。LLMは、統一された出力が生成されるように、すべての詳細を予測する必要がある。ワールドモデルは、選択的であるため、より効率的である。人間の運転手が道路に焦点を当て、空の雲のパターンを無視するのと同様に、ワールドモデルは、タスクの関連する因果要因に焦点を当てる。ルカンは、このアプローチにより、モデルがはるかに速く学習できることを示唆している。V-JEPA（ビデオ・ジョイント・エンベディング・プレディクティブ・アーキテクチャ）などのシステムは、従来の方法よりもはるかに少ない訓練イテレーションで解決策に収束することが示されている。データそのものを覚えるのではなく、データの「形」を学習することで、ワールドモデルは、より強固な知能を構築し、新しい、未知の状況に一般化する。これがAGIの欠けているリンクである。真の知能は、ナビゲーションを必要とする。エージェントが目標を見て、内部の世界モデルを使用して目標を達成するためのさまざまなパスをシミュレートし、成功する可能性が最も高いパスを選択する必要がある。テキスト生成モデルはこれを行うことができない。計画を書くことはできるが、計画を実行することの制約を理解することはできない。結論AI業界は、転換点に立っている。「もっとデータを追加するだけ」の戦略は、論理的な終わりを迎えている。チャットボットの時代からシミュレーターの時代へ移行している。次のAIスケーリングの世代は、インターネット全体を読むことではなく、世界を観察し、そのルールを理解し、現実を反映した内部アーキテクチャを構築することになる。これは、技術的なアップグレードだけではなく、基本的に何を「学習」とみなすかが変わることである。企業や研究者にとって、焦点を変える必要がある。パラメーターの数にこだわるのをやめ、システムが因果関係をどれだけ理解しているかを評価し始める必要がある。将来的に、AIは何が起こったかを伝えるだけでなく、何が起こり得るかを示し、理由を説明する。ワールドモデルの約束は、唯一の進化の道である。
過去2年間、マルチエージェントシステムは、人工知能の自然な次のステップとして扱われてきた。1つの大きな言語モデルが推論、計画、行動することができれば、複数のエージェントが協力して働くことで、さらに良くなるはずである。この信念は、コーディング、研究、金融、ワークフローの自動化などの分野でエージェントチームの台頭を促した。しかし、新しい研究は、直感に反するパラドックスを明らかにした。エージェントをシステムに追加することで、常にパフォーマンスが向上するわけではないことが分かった。むしろ、システムは遅くなり、費用がかかり、精度が低くなる。この現象、つまりマルチエージェントパラドックスは、より多くのエージェントが協力して働くことで、常により良い結果が得られるわけではないことを示している。代わりに、エージェントを追加することで、新しい故障モードが導入され、利点を上回る。マルチエージェントシステムはデモから本格的な導入に急速に移行しているため、このパラドックスを理解することは重要である。AI製品を開発するチームは、コラボレーションがどのように役立つか、どのように損なうかについて明確な指針が必要である。この記事では、多くのエージェントが悪い結果につながる理由と、これがエージェントベースのAIシステムの将来に与える影響について調査する。マルチエージェントシステムが人気になった理由マルチエージェントシステムの概念は、人間がチームで協力して作業することに着想を得た。複雑な問題に直面したとき、作業はパートに分割され、専門家が個々のタスクを担当し、その結果を組み合わせる。初期の実験は、このアプローチを支持している。静的なタスク、たとえば数学の問題やコード生成では、議論したり投票したりする複数のエージェントは、1つのモデルよりも優れた結果をもたらすことが多い。しかし、これらの初期の成功の多くは、現実の展開条件を反映していないタスクから来ている。通常、これらのタスクには、短い推論チェーン、外部システムとの制限された相互作用、および静的な環境が含まれる。エージェントが継続的な相互作用、適応、および長期的な計画を必要とする環境で作業する場合、状況は劇的に変化する。また、ツールが進化するにつれて、エージェントはWebを閲覧したり、APIを呼び出したり、コードを書いたり、実行したり、計画を時間の経過とともに更新する能力を獲得する。これにより、システムにさらに多くのエージェントを追加することがますます魅力的に感じられる。エージェントタスクは静的なタスクと異なるエージェントタスクは、静的な推論タスクと根本的に異なることを認識することが重要である。静的なタスクは1回で解決できる。モデルは問題を提示され、答えを生成し、停止する。この設定では、複数のエージェントはアンサンブルのように機能し、単純な戦略、たとえば多数決は、良好的な結果をもたらす。エージェントシステムは、非常に異なる設定で動作する。環境との繰り返しの相互作用、観測結果の更新、計画の更新、再度の行動が必要である。例としては、Webナビゲーション、財務分析、ソフトウェアデバッグ、シミュレートされた世界での戦略的計画がある。これらのタスクでは、各ステップは前のステップに依存しており、プロセスは本質的に順序的であり、初期のミスに非常に敏感である。このような設定では、エージェントのミスはアンサンブルのように相殺されない。代わりに、ミスは蓄積する。プロセス初期の単一の誤った仮定は、以降のすべてを妨害する可能性があり、複数のエージェントが関与する場合、ミスはシステム全体に急速に広がる。調整にはコストが伴うマルチエージェントシステムはすべて、調整コストを支払う。エージェントは、発見を共有し、目標を調整し、部分的な結果を統合する必要がある。このプロセスは、費用なしでは行えない。トークン、時間、認知バンド幅を消費し、エージェントの数が増えるにつれて、ボトルネックになる可能性がある。固定された計算予算の下では、この調整コストは特に重要となる。4つのエージェントが1つのエージェントと同じ総予算を共有する場合、各エージェントには深い推論のための能力が少なくなり、システムは複雑な考えを簡潔な要約に圧縮する必要があり、詳細を失い、システムの全体的なパフォーマンスをさらに弱める可能性がある。これにより、トレードオフが生じる。単一のエージェントシステムでは、推論は1つの場所に保持される。内部状態はタスク全体で一貫している。マルチエージェントシステムでは、多様な視点が提供されるが、コンテキストの断片化のコストで。タスクがより順序的で状態依存になるにつれて、断片化は重要な脆弱性となり、多くの場合、多くのエージェントの利点を上回る。多くのエージェントがパフォーマンスを悪化させる場合最近の制御された研究は、連続的な計画タスクでは、マルチエージェントシステムが単一エージェントベースのシステムを下回ることが多いことを示している。各アクションが状態を変更し、将来の選択肢に影響を与える環境では、エージェント間の調整は推論を妨げ、進捗を遅らせ、エラーの蓄積リスクを増加させる。これは、エージェントが通信なしで並列に作業する場合に特に当てはまる。エージェントのミスはチェックされず、結果が組み合わさると、エラーは修正されるのではなく蓄積する。中央集権的なシステムでさえも、故障から免れない。専用のオーケストレーターを持つ中央集権的なシステムはエラーを包含するのに役立つが、遅延とボトルネックも導入する。オーケストレーターは、拡張された推論を要約に圧縮する圧縮ポイントとなり、長期的なインタラクティブタスクでは、単一の集中した推論ループによって生成されるものよりも、間違った決定につながることが多い。これがマルチエージェントパラドックスの核心である。コラボレーションは、単一エージェントシステムでは存在しない新しい故障モードを導入する。いくつかのタスクはまだ複数のエージェントから利益を得るパラドックスは、マルチエージェントシステムが無駄であることを意味しない。むしろ、利点は条件付きであることを強調している。これらのシステムは、タスクを並列で独立したサブタスクに明確に分割できる場合に、最も効果的である。財務分析はそのようなタスクの1つである。このタスクでは、エージェントを使用して収益の傾向を分析し、別のエージェントを使用してコストを調べ、3つ目のエージェントを使用して競合他社と比較することができる。これらのサブタスクは、大部分が独立しており、その結果を慎重な調整なしに組み合わせることができる。中央集権的な調整は、こうした場合にはより良い結果をもたらす。動的なWebブラウジングも、複数のエージェントが独立して作業することが有益な場合の1つである。タスクが複数の情報パスを同時に探索することを伴う場合、並列探索は役立つ。重要な結論は、マルチエージェントシステムは、タスクを独立したピースに分割できる場合に最も効果的であるということである。タスクが段階的な推論や状態の変化の注意深い追跡を必要とする場合、単一の集中したエージェントは通常、より優れたパフォーマンスを発揮する。能力上限の効果別の重要な発見は、より強力なベースモデルが調整の必要性を減らすことである。単一のエージェントがより能力のあるものになると、エージェントを追加することで得られる潜在的な利益は減少する。一定のパフォーマンスレベルを超えると、エージェントを追加することで、利益が減少したり、結果が悪化したりすることが多い。これは、調整のコストがほぼ同じままであるのに対し、利益が減少するためである。単一のエージェントがすでにタスクの大部分を処理できる場合、追加のエージェントは価値を追加するのではなく、ノイズを追加する傾向がある。在実践では、これは、マルチエージェントシステムがより弱いモデルにとってより役立つが、最先端のモデルにとっては効果が少ないことを意味する。これは、モデルインテリジェンスが自然に多くのエージェントとともに拡張するという仮定に異議を唱える。多くの場合、コアモデルを改善することは、追加のエージェントを追加するよりも優れた結果をもたらす。エラーの増幅は隠されたリスク最近の研究から得られた最も重要な洞察の1つは、マルチエージェントシステムでのエラーの増幅の方法である。マルチステップタスクでは、単一の初期ミスが全プロセスに伝播する可能性がある。複数のエージェントが共有の仮定に依存する場合、そのエラーはより迅速に広がり、より難しくなり、制御下に置くことが困難になる。独立したエージェントは、特にこの問題に弱い。組み込みの検証なしで、不正確な結論が繰り返し現れ、強化し、誤った自信を生み出す可能性がある。中央集権的なシステムは検証ステップを追加することでこのリスクを軽減するが、完全には除去できない。単一のエージェントは、内蔵された利点を持っている。推論が単一のコンテキスト内で発生するため、矛盾は簡単に発見され、修正される。この微妙な自己修正の能力は強力だが、多くの場合、マルチエージェントシステムを評価する際に軽視される。結論マルチエージェントパラドックスから得られる主な教訓は、コラボレーションを避けるのではなく、より選択的にすることである。質問は、どのくらいのエージェントを使用するかではなく、調整がタスクに正当化されるかどうかである。強い順序依存性を持つタスクは、単一のエージェントを好む傾向があり、並列構造を持つタスクは、小規模で調整されたチームから利益を得ることができる。ツールを必要とするタスクでは、調整自体がリソースを消費するため、慎重な計画が必要である。最も重要なのは、エージェントアーキテクチャの選択は、直感ではなく、測定可能なタスクの特性によって導かれるべきである。分割可能性、エラー耐性、相互作用の深さは、効果的な結果を達成する上で、チームのサイズよりも重要である。elfがリソースを消費する。最も重要なのは、エージェントアーキテクチャの選択は、直感ではなく、測定可能なタスクの特性によって導かれるべきである。分割可能性、エラー耐性、相互作用の深さは、効果的な結果を達成する上で、チームのサイズよりも重要である。
自動AIエージェントの開発競争において、コミュニティはエージェントの能力の向上とその可能性の実証に重点を置いてきました。新しいベンチマークが発表され、タスクの迅速な完了や複雑な旅行の予約、コードベースの生成などの印象的なデモが見られます。しかし、このようなAIの可能性への焦点は、これらのシステムがもたらす深刻でリスクのある結果を隠すことがあります。私たちは、深刻なリスクをもたらす可能性のあるシステムを、十分な理解や対策を講じることなく設計しています。これらのリスクは、データの偏りや事実の「妄想」などの既知のAIの課題よりも、はるかに複雑で、システム的なものであり、深刻です。この記事では、これらの隠れた故障モードを調査し、エージェントシステムでなぜこれらの問題が生じるのかを説明し、より慎重な、システムレベルのアプローチで自動AIの開発と展開を行うことを主張します。有能性の幻想と複雑性の罠最も危険な故障モードの1つは、有能性の幻想です。現在のAIは、次の妥当なステップを予測するのが上手で、何をしているのか理解しているように見えます。たとえば、「会社のクラウドコストを最適化する」というような高レベルの目標を、APIコール、分析、レポートに分解できます。ワークフローは論理的に見えますが、エージェントは自分の行動の現実世界での結果を理解していません。たとえば、コスト削減のスクリプトを実行して、セキュリティ監査に必要な重要で冗長化されていないログを意図せず削除する可能性があります。タスクは完了しますが、結果は静かに自己引き起こされた故障になります。 この問題は、複数のエージェントを大規模で再帰的なワークフローに連結するときに、より複雑になります。1つのエージェントの出力が別のエージェントの入力になるため、システムは理解しにくくなり、論理的に推論するのが難しくなります。シンプルな指示がこのネットワークを通じて予測不可能な方法で流れます。たとえば、「競合の脅威を見つける」という指示を受けた研究エージェントは、ウェブスクレイピングエージェントにデータを収集するように指示し、それがリスクとしてフラグ付けするためのコンプライアンスエージェントをトリガーする可能性があります。その結果、元のタスクを完全に麻痺させる一連の矯正措置が発生する可能性があります。システムは明確かつ視覚的に故障しません。代わりに、伝統的な論理でデバッグするのが難しい、混沌とした状況に陥ります。妄想データから妄想行動へAIモデルが妄想するとき、偽のテキストを生成します。自律的なAIエージェントが妄想するとき、偽の行動をとります。この妄想的なエラーから運用上のエラーへの移行は、以前に直面したことのない倫理的な課題を生み出す可能性があります。不完全な情報で動作するエージェントは、不確実性の下で行動せざるを得ません。たとえば、株式取引を管理するAIは、市場の信号を誤解したり、現実ではないパターンを見たりする可能性があります。間違ったタイミングで大量のポジションを買ったり売ったりする可能性があります。システムは「利益を最大化」しているように見えますが、結果は巨額の損失や市場の混乱になる可能性があります。 この問題は、価値観の整合にも拡大します。エージェントに「リスクを管理しながら利益を最大化する」と指示できますが、この抽象的な目標は、段階的な運用上のポリシーにどのように翻訳されますか。小さな損失を防ぐための極端な措置を講じることを意味しますか。測定可能な成果を優先することを意味しますか。エージェントは、利益と安定性、速度と安全性などのトレードオフを、自身の不完全な理解に基づいて処理しなければなりません。エージェントは、測定可能なものを最適化しますが、多くの場合、我々が尊重している価値観を無視します。システム的依存関係のカスケード私たちのデジタルインフラストラクチャは、カードの家であり、自律的なエージェントはその主要な役者となっています。これらのエージェントの故障は、ほとんどの場合、孤立したものではありません。代わりに、相互に接続されたシステム全体に波及効果をもたらす可能性があります。たとえば、さまざまなソーシャルメディアプラットフォームは、有害と判断された投稿をフラグ付けするためのAIモデレーションエージェントを使用しています。如果1つのエージェントがトレンド投稿を誤って有害と判断した場合、他のエージェント（同じまたは異なるプラットフォーム上）がそのフラグを強い信号として使用し、同様の措置を講じる可能性があります。結果として、投稿がプラットフォーム全体で削除され、検閲に関する誤った情報が広まり、誤った警報が連鎖する可能性があります。 このカスケード効果は、ソーシャルネットワークに限定されません。金融、サプライチェーン、ロジスティクスでは、各企業のエージェントがクライアントの最適化を目指し、相互に作用します。これらのエージェントの行動は、ネットワーク全体を不安定にする状況を生み出す可能性があります。たとえば、サイバーセキュリティでは、攻撃用と防御用のエージェントが高速な戦闘を繰り広げ、合法的なトラフィックが凍結され、人間の監視が不可能になるほどの異常なノイズを生み出す可能性があります。この故障モードは、複数の自律エージェントの合理的で局所的な決定によって生じる、現れるシステムの不安定性です。人間とエージェントの相互作用の盲点我々はエージェントを世界で動作させるように構築していますが、世界やその中の人々をエージェントと協力して動作するように適応させることを怠っています。これにより、重大な心理的盲点が生じます。人間は、自動化されたシステムの出力を過信する傾向、自動化バイアスに苦しんでいます。エージェントが自信を持って要約、決定、またはタスクを提示すると、ループ内の人間はそれを批判的に受け入れる可能性が低くなります。エージェントがより能力が高く、流暢であれば、このバイアスは強くなります。我々は、批判的監視を静かに損なうシステムを構築しています。 さらに、エージェントは新しい形の人間のミスを引き起こす可能性があります。タスクをAIに委託すると、人間のスキルは弱まる可能性があります。コードレビューをすべてAIエージェントに任せている開発者は、エージェントの微妙な論理エラーを検出するために必要な批判的思考やパターン認識の能力を失う可能性があります。エージェントの総合を無批判に受け入れる分析者は、根本的な前提を疑う能力を失います。我々は、最も深刻な故障が、微妙なAIのミスから始まり、もう長くAIのミスを認識する能力を持たない人間によって完了される未来に直面しています。この故障モードは、人間の直感と機械の認知の共同的な故障であり、各々の弱点を相互に増幅します。隠れた故障への対策では、これらの隠れた故障に対してどう準備するのでしょうか。我々は、以下の勧告がこれらの課題に対処する上で重要であると考えています。まず、出力だけでなく、監査のために構築しなければなりません。自律的なエージェントが行うすべての重大な行動には、不変で解釈可能な「思考プロセス」の記録が残る必要があります。これには、APIコールのログだけでは十分ではありません。エージェントの意思決定の連鎖、重要な不確実性または仮定、放棄された代替案を再構築できる、機械の行動の法医学の新しい分野が必要です。このトレースは、後から追加されるのではなく、最初から統合される必要があります。2つ目に、エージェント自身と同じくらい適応性の高い動的監視メカニズムを実装しなければなりません。人間がループ内にある単純なチェックポイントではなく、主エージェントの行動をモデル化することを主な目的とする、監視エージェントが必要です。目標のズレ、倫理的な境界のテスト、または論理の腐敗の兆候を探します。これらのメタ認知的層は、長期間にわたって発展する故障や複数のタスクにわたる故障を検出する上で重要です。3つ目に、そして最も重要なこととして、完全な自律性を目指すことを止めなければなりません。エージェントが人間の介入なしに無限に動作することを目指すべきではありません。代わりに、人間とエージェントが構造化された、目的のある相互作用をしている、オーケストレーションされたインテリジェントシステムを構築する必要があります。エージェントは、戦略的な推論を説明し、重要な不確実性を強調し、人間が読める形式でトレードオフを正当化する必要があります。この構造化された対話は、制限ではありません。誤解を防ぎ、行動になる前に深刻な誤解を防ぐ上で不可欠です。結論自律的なAIエージェントは、重要な利点を提供しますが、無視できないリスクも伴います。これらのシステムの重要な脆弱性を特定し、対処する必要があります。能力の向上のみに焦点を当てるのではなく、慎重なアプローチでこれらのリスクに取り組む必要があります。これらのリスクを無視すると、我々の最大の技術的成果が、我々が理解も制御もできない失敗に変換される可能性があります。
数多くの年間、人工知能（AI）における主要な質問は、AIモデルを人間の価値観と整列させる方法でした。研究者たちは、AIの意思決定を導く安全性のルール、倫理的原則、制御メカニズムを定義しようとしました。この作業により、重大な進歩が達成されました。しかし、今、AIシステムがより能力が高く、広く普及するにつれて、整列の焦点は変化し始めています。単一のモデルを単一の指令セットに整列させるという課題が、グローバルスケールでこれらのシステムを使用する文明を整列させるという、はるかに大きな課題に変わりました。AIは、単なるツールではありません。社会が働き、コミュニケーションをとり、交渉し、競争する環境に進化しています。結果として、整列は技術的な問題ではなくなりました。文明の問題になりました。この記事では、整列が単にモデルに関するものではなく、機械ではなく文明について考える必要がある理由を説明します。また、この変化が私たちの責任にどのような影響を与えるか、そしてグローバル協力のために何を意味するかについても議論します。AIが実際にどの価値を表現するのか?あなたがAIにデリケートな歴史的出来事について尋ねると、その答えは、AIが学習したデータに依存します。そのデータが主に西側のインターネットから来ている場合、答えは西側の偏見を持つでしょう。個人の主義、自由な発言、民主主義的理想を優先します。これらの価値は多くの人にとって良きものですが、世界で唯一の価値ではありません。シンガポールのユーザー、リヤドのユーザー、サンフランシスコのユーザーは、それぞれ「役に立つ」と「有害」なものの定義が異なります。ある文化では、社会的調和が絶対的な自由な発言よりも重要です。他の文化では、階層への尊重が混乱よりも重要です。シリコンバレーの会社が「人間のフィードバックからの強化学習」（RLHF）を使用する場合、AIの答えを評価するために人間を雇います。しかし、これらの人間は誰ですか？彼らの信念は何ですか？もし彼らがアメリカの基準にモデルを整列させると、偶然にアメリカの文化輸出を構築しています。彼らは、他の文化のルールを世界に押し付けるデジタル外交官を構築しています。フィードバックループの台頭課題は、AIが単一の文化の信念を反映することだけではありません。それらの信念が私たちを変える可能性があることです。現代のAIシステムは、個人の行動、組織、さらには国家を形作る可能性があります。彼らは、私たちが考え、働き、信頼し、競争する方法に影響を与える可能性があります。これにより、AIシステムと人間の社会の間でフィードバックループが生まれます。私たちがAIを訓練し、AIが私たちが考え、行動する方法を形作ります。これらのループは、AIがより普及するにつれて強くなります。このフィードバックループの動作を確認するには、以下の2つの例があります： 大規模なAIの展開は社会的行動を変え、社会的行動は新しいシステムを訓練するデータを変えます。たとえば、レコメンドアルゴリズムは、人々が何を見たり、読んだり、信じるかを形作る可能性があります。生産性ツールは、チームが協力し、学生が学ぶ方法を形作ります。これらの行動の変化は、異なる視聴習慣、職場のコミュニケーションパターン、または書き方などのデータパターンの変化につながります。このデータが将来の訓練データセットに流れ込むと、モデルはその仮定と出力を調整します。人間の行動がモデルを形作り、モデルが人間の行動を形作ります。 自動化された意思決定ツールは、公共政策に影響を与え、公共政策は将来のモデル訓練に影響を与えます。たとえば、多くの政府は、AIを使用して、どの地域にリソースを割り当てるべきか（たとえば、どの地域がより多くの医療サポートを必要としているか、またはどの地域がより高い犯罪リスクがあるか）を提案するために使用しています。政策立案者がこれらの提案に基づいて行動すると、決定の結果は後に新しいデータセットの一部となります。時間の経過とともに、AIによって形作られた政策決定は、次の世代のAIモデルを形作ります。 これらのフィードバックループを認識すると、AIが徐々に文明を形作り、整列させていることが明らかになります。結果として、国家は、AIを社会や制度に統合する際に、どのようにしてその価値観を守ることができるかを尋ね始めています。主権AIの出現この整列の課題は、世界中の政府から重大な反応を引き起こしています。国家は、輸入されたAIに頼ることは主権のリスクであることを認識しました。彼らは、外国人のように考えているブラックボックスによって、市民が教育を受けたり、情報を得たり、助言を受けたりすることを許すことはできません。この認識は、「主権AI」の出現につながりました。フランスは、フランス語を話し、フランスの法律と文化を理解するモデルを構築するために多大な投資をしています。インドは、文化的価値を確保するために、在来のAIモデルを構築しています。アラブ首長国連邦と中国は、独自の国家ビジョンに整列したAIモデルを構築しています。これが新しい軍拡競争です。これは、物語の制御をめぐる競争です。独自のAIを持たない文明は、最終的に独自の記憶を失うことになります。如果あなたの子供が機械に質問をして、機械が別の文化の論理で答える場合、あなたの文化は侵食され始めます。この認識は、しかし、異なるデジタルブロックの形成につながる可能性があります。私たちは、西側のAI、中国のAI、インドのAIなど、異なるシステムを持つことになるかもしれません。これらのシステムは、異なる事実と異なる道徳的指針で動作します。これらの開発は、真正に整列した単一のAIモデルを作成したい場合、文明を整列させる方法を見つける必要があることを明確に示しています。外交的AIの必要性従来の整列は、モデルが慎重な訓練、プロンプト、ガードレールによって整列できるという仮定に基づいています。この考え方は、初期のAI安全性研究の技術的な思考から来ています。しかし、完璧なモデルレベルの整列は、文明を整列させる課題を解決することはできません。整列は、社会が反対方向に引っ張られる場合、安定したままにはなりません。国、企業、コミュニティが相反する目標を持っている場合、AIシステムをその相反に整列させるでしょう。これらの限界は、整列が技術的な問題ではなく、統治、文化、調整の問題であることを示しています。これらの問題は、専門家や開発者だけではなく、全ての文明に関係しています。では、どのように進むべきか？もし、普遍的な整列は不可能であることを受け入れるなら、私たちが戦略を変える必要があります。哲学的な問題に対する技術的な解決策を探すのを止める必要があります。外交官のように考えることを始める必要があります。私たちは、「文明の整列」のためのプロトコルを構築する必要があります。私たちは、AIが他の文化の信念を押し付けることなく、社会の信念と価値を尊重する方法を考え出す必要があります。つまり、私たちは、アルゴリズムのためのデジタル国連が必要です。これには、透明性が必要です。現在、ニューラルネットワークの深い層に隠された価値については、実際には何もわかりません。私たちが見るのは、出力だけです。文明を整列させるには、各モデルの「憲法」について明確にする必要があります。モデルは、その偏見を宣言できる必要があります。モデルは、「私はこのデータで訓練されました。この安全性のルールで。この価値を優先します」と言える必要があります。偏見が見えるようになると、システムを信頼できるようになります。ユーザーは、視点を切り替えることができる必要があります。ユーザーは、質問をして、「西側」のモデルがどう答えるか、「東側」のモデルがどう答えるかを見られる必要があります。これにより、AIは、洗脳のツールではなく、理解のツールになります。結論私たちは、ターミネーターについて心配する時間を浪費してきました。実際のリスクは、ロボットが私たちを破壊することではありません。実際のリスクは、ロボットが私たちを忘れさせることです。整列は、コードを一度書いて忘れることではありません。私たちがAIモデルと交渉し続け、常に私たちの信念や価値観と整列させる必要があることです。これは、政治的な行為です。私たちが知能の次の段階に入るにつれて、画面の向こうを見て、AIが私たちの歴史、国境、信念をどのように解釈するかを考える必要があります。私たちは、世界を運営するのに役立つ心を構築しています。私たちは、異なる文明間の違いを尊重するようにその心を構築する必要があります。
暗い部屋に入ると、スイッチを押します。電気がどこから来ているかについては考えません。石炭火力発電所、原子力発電所、電流を運ぶ数マイルの銅線についても考えません。ただ、電気が点灯することを期待します。信頼性があり、安価で、どこにでもあります。これがユーティリティのようです。私たちの生活に不可欠なリソースであり、目に触れることがなくなります。過去10年間、人工知能（AI）は目立つ存在でした。魔法のようにすぐに注目を集めます。会話エージェントとチャットし、画像生成器で遊び、世界を変える方法についてのヘッドラインを読みます。しかし、AIの能力を示すこれらのデモは、実際の変化が起こっている場所ではありません。実際の変化は、AIが製品からユーティリティへの移行にあることです。電気やインターネットのように、AIはインフラストラクチャになりつつあります。ユーティリティの歴史的観点から見たAIAIがどこへ向かっているかを理解するには、電気がどこから来ているかを見てみましょう。20世紀初頭、工場主が電気を使用したい場合は、自分で発電機を建設する必要がありました。費用がかかり、複雑で、発電機とメンテナンスの専門家が必要でした。工場の競争上の優位性は、電気をどれだけ効率的に生成できるかに依存していました。すると、電力網が登場しました。中央集権的な発電所が標準化されたネットワークを介して誰にでも電気を供給し始めました。突然、靴工場は電気生成の専門家である必要がなくなりました。壁にプラグを挿すだけで、使用した分だけ支払うだけです。競争上の優位性は、電気を生成することから、電気を使用してより良い靴を作ることに移りました。AIも今日同じパターンに従っています。5年前、企業が機械学習を使用したい場合は、データサイエンティストのチームを雇用し、独自のサーバーを構築し、独自のモデルをトレーニングする必要がありました。プライベート発電機を運用するようなものでした。今日、AIの「グリッド」があります。OpenAI、Google、Anthropicなどの企業は、新しい発電所です。巨大な「知能反応器」（基礎モデル）を建設するために数十億ドルを費やしています。企業はAPI（アプリケーション・プログラミング・インターフェース）を介してこのグリッドに接続します。企業は、トークン単位で知能を購入します。電気の場合、キロワット時単位で購入するのと同じです。安価な知能の経済学ユーティリティの最も重要な側面は、リソースのコストを下げることです。リソースが安価になると、節約するのをやめます。2022年末以来、高品質の推論のコストは大幅に低下しました。推定では、同じレベルの機能に対して200倍以上の低下です。これは、ムーアの法則よりも速いデフレーションのトレンドです。知能が高価な場合、貴重な問題にのみ使用します。がんの治療法を探すためにAIを使用するかもしれません。株式市場の崩壊を予測するためにAIを使用するかもしれません。しかし、知能が安価になると、日常的なタスクにも使用し始めます。スパムフォルダを整理するために使用します。面白くない会議の要約に使用します。丁寧な拒否メールを書くために使用します。これがユーティリティの兆しです。水は飲むために使用しますが、安価なので、車道を洗浄するためにも使用します。AIのコストが低くなるにつれて、同様に日常的なタスクに知能を適用し始めます。インフラストラクチャが機能していることを示しています。エージェントAIの台頭このインフラストラクチャが成熟するにつれて、AIとのやり取りの方法が変わります。現在、ほとんどの人はAIを「チャットボット」として使用しています。プロンプトを入力し、AIが応答します。これは、手動ポンプで水を汲むようなものです。機能しますが、労力が必要です。次の段階は「エージェントAI」です。これらはバックグラウンドで実行されるAIシステムです。質問を入力するのを待ちません。目標が与えられ、目標を達成するために自律的に作業します。知能のコストが低くなるにつれて、これらのエージェントは長時間「思考」できます。ループを実行し、自らのエラーを修正し、問題を解決するために複数のステップを実行できます。例えば、今日、サプライチェーンマネージャーはChatGPTに「このルートを最適化するにはどうすればよいですか？」と聞きます。将来、AIエージェントはロジスティクスソフトウェアに埋め込まれるでしょう。天気、交通、燃料価格を24時間監視します。遅延を検知すると、自動的にトラックをルート変更し、倉庫に通知を送信します。マネージャーは「AIを使用」しません。AIはソフトウェアの配管の一部です。常にオンで、ビジネスロジックを介して電気のように流れます。仮想ユーティリティの物理的現実AIは魔法のようなソフトウェアのように思えるかもしれませんが、巨大な資本投資の上に構築されています。「クラウド」と呼ばれるものは、実際には数百万トンの鋼鉄、シリコン、銅です。このユーティリティを構築するために、テクノロジー企業は歴史上最大のインフラプロジェクトのいくつかを建設しています。人工知能を動かすために、都市全体よりも多くの電力を消費するギガワット規模のデータセンターの台頭を目撃しています。GPU（Graphics Processing Unit）の需要は継続的に増加しています。多くの点で、これは鉄道の敷設や電信線の敷設に相当します。しかし、この新しいユーティリティも新しい課題を生み出します。電力網が停電に直面するように、AIグリッドも制約に直面します。高性能チップの不足があります。データセンターを動かすためのエネルギーの不足があります。デジタル世界と私たちの電力網の物理的な限界の衝突を目撃しています。AIが次のユーティリティである場合、エネルギーはこのユーティリティを動かすユーティリティです。どちらか一方だけではありません。したがって、大手テクノロジー企業が原子力発電や再生可能エネルギーに投資しているのを見ています。彼らはデジタル帝国が物理的な電子に依存していることを認識しています。レガシーシステムの摩擦AIをコアユーティリティとして使用するへの移行は、すべての人が簡単に実行できるわけではありません。主な障害は技術自体ではなく、AIが連携することを期待している古いシステムです。政府や大規模で成熟した企業は、数十年前に構築され、完全にアップグレードされていないレガシーITインフラストラクチャに依存しています。これらのシステムは、古い家の古い配線のように機能します。新しい家電を簡単に接続することはできません。1995年に構築され、地下にあるサーバーで動作するデータベースに、最新のAIエージェントを簡単に接続することはできません。このギャップは、組織間で新しい種類のデジタルディバイドを生み出します。「AIネイティブ」企業は、近年設立され、モダンなシステムを備えています。知能にほぼ瞬時に接続できます。古い組織は苦労します。AIを完全に採用する前に、古いインフラストラクチャを置き換える必要があります。この移行は高価で混乱を招きますが、避けることができません。1920年代、蒸気エンジンを続けて使用した工場は最終的に廃業しました。AIを事業活動に統合できない組織も同じ運命をたどります。社会的転換技術がユーティリティになる最後の段階は、心理的なものです。私たちが感銘を受けるのをやめ、機能しないときに苛立つようになる時です。今日、ChatGPTが良い詩を書く場合、拍手喝采します。5年後、ワードプロセッサが手紙の調子を自動的に修正しない場合、苛立つでしょう。私たちは「馬鹿な」ソフトウェアを、壊れたエスカレーターのように不便だと思います。この変化は労働市場を変えます。必ずしも仕事の終わりを意味するわけではありませんが、タスクの終わりを意味します。電気が登場したとき、手で衣類を洗ったりガスランプに火をつけたりする必要がなくなりました。より高レベルのタスクに移りました。AIがユーティリティになると、データ入力、基本的なスケジューリング、ルーチンワークの分析などの「認知労働」をやめます。まとめAIがユーティリティとして機能する移行の初期段階にあります。AIユーティリティはまだ完成していません。グリッドはまだ構築中です。接続は時々緩く、電力は時々ちらつきます。しかし、知能が商品になる方向へ進んでいることは明らかです。知能は、家、事務所、デバイスのすべてに配達されるリソースになります。ビジネスリーダーにとって、質問は「AIをどうやって構築するか？」ではありません。質問は「ビジネスを動かすためにこのユーティリティにどうやって接続するか？」です。
Trong thập kỷ qua, sự chú ý trong lĩnh vực trí tuệ nhân tạo đã bị chiếm lĩnh bởi quá trình đào tạo. Những đột phá...
過去5年間、人工知能業界は、実質的に1つの言葉、つまり「トランスフォーマー」と同義でした。2017年に発表された「Attention Is All You Need」という論文以来、このアーキテクチャは業界を支配してきました。GPTからClaudeまで、ほとんどの注目すべきモデルは、同じ根底にある自己注意メカニズムを使用しています。私たちは、より良いAIへの道は、単にスケールを増やすことであると考えていました。実践的には、これは、より多くのデータで、より大きなGPUクラスターで、より大きなトランスフォーマーをトレーニングすることを意味します。この信念は多くのブレークスルーをもたらしましたが、現在、限界に達しています。私たちは「GPUの壁」に当たっています。これは、生の計算能力だけではなく、メモリ帯域幅と経済的持続可能性の壁です。世界は、1兆パラメータモデルのレースに注目していますが、研究室では、根本的な変化が起こっています。新しい波の「ポスト・トランスフォーマー・アーキテクチャ」が現状の限界を打ち破るために登場しています。この変化は、AIをより効率的、よりアクセスしやすく、より無限のコンテキストで推論できるようにすることを約束しています。シリコンの天井：トランスフォーマーが壁に当たる理由変化が必要な理由を理解するには、まず現在の体制のボトルネックを理解する必要があります。トランスフォーマーは非常に強力ですが、特定の点で非常に非効率的です。彼らの能力の核心は、「注意メカニズム」にあります。これにより、モデルはシーケンス内の各トークンを見て、各トークンと他のトークンの関係を計算できます。これにより、コンテキストを非常によく理解できます。しかし、この能力は、二乗法則という致命的な欠点を伴います。ドキュメントの長さを2倍にすると、計算作業は2倍ではなく4倍になります。無限コンテキストのモデルを目指して、ライブラリやコードベース全体を読むことができるようにすると、計算要求は非常に高くなります。しかし、より直接的な問題はメモリ、特に「KVキャッシュ」(キー・バリューキャッシュ)です。トランスフォーマーは、テキストを流暢に生成するために、GPUの高速メモリ（VRAM）に、直前に発言したすべてのことを保持する必要があります。会話が長くなると、このキャッシュは膨張し、巨大なメモリを消費して、3つの段落前に何が起こったかを思い出すだけで大量のメモリを消費します。これにより、「GPUの壁」が生じます。チップが不足しているのではなく、メモリ帯域幅が不足しています。エンジンが大きくなりすぎて、燃料を与えることができなくなっています。長い間、業界の解決策は、単にNVIDIA H100を購入することでした。しかし、この無茶なやり方は、減少する収穫に達しています。二乗的に燃料を消費するエンジンではなく、新しいアーキテクチャが必要です。見えない革命主流の研究がLLMに焦点を当てている間、研究者の一群は古いアイデアを再検討しています：再帰型ニューラルネットワーク(RNN)。トランスフォーマーの前に、RNNは言語の標準でした。テキストを逐次的に処理し、内部の「状態」を更新しながら、単語ごとに処理していきました。非常に効率的でした。なぜなら、全ての歴史を参照する必要がなく、単にその「要点」をメモリに保持していたからです。RNNは、長距離の依存関係を処理できないことと、トレーニングが遅かったことから失敗しました。文の始まりを忘れてしまいます。さらに、並列化できなかったため、トレーニングが遅かったのです。つまり、単語Aを処理する前に単語Bを処理できませんでした。トランスフォーマーはこれを解決しました。すべてを一度に処理し（並列化）、すべてをメモリに保持しました（注意）。現在、トランスフォーマーとRNNの長所を組み合わせた「状態空間モデル」（SSM）が登場しています。これらは、トランスフォーマーと同じトレーニング速度（並列化可能）を提供し、RNNと同じ推論効率（線形スケーリング）を提供します。この新しい波の中で注目すべきアーキテクチャの1つは、Mambaです。2023年末にリリースされ、2024年を通じて改良されたMambaは、モデルが情報を処理する方法に根本的な変化をもたらします。トランスフォーマーとは異なり、Mambaは「選択的な状態空間」を使用します。トランスフォーマーとMambaの違いを理解するために、トランスフォーマーを、読んだ本をすべて机の上に開けたままにしておく学者に例えることができます。Mambaは、学者が本を1回読んで、重要な洞察を効率的なノートにまとめる学者に例えられます。Mambaが次の単語を生成するとき、生のテキストを参照するのではなく、圧縮された状態を参照します。この違いは、AIの展開の経済性を変えます。MambaやRWKV（レセプタンス加重キー・バリュー）などのアーキテクチャでは、シーケンスの長さが長くなっても、計算コストは爆発的に増加しません。理論的には、100万語のコンテキストを与えても、10語のコンテキストを与えた場合と同じ計算コストで次のトークンを生成できます。再帰の復帰Mambaの背後にある技術的ブレークスルーは、「選択性」です。RNNを近代化しようとした以前の試みは、柔軟性がなかったため失敗しました。情報を均等に圧縮しました。重要な情報かノイズか関係なく、Mambaはモデルがデータをストリーミングするにつれて、どの情報を記憶してどの情報を忘れるかを動的に決定するメカニズムを導入しました。モデルが重要な情報、たとえばコードブロック内の変数定義を受け取った場合、「ゲート」を開けて強く状態に書き込みます。ただし、フィラー・ワードや無関係なノイズに遭遇した場合、ゲートを閉じて、制限されたメモリ容量を重要なものに保ちます。この選択性は、古いRNNが直面した「忘れ」問題を実質的に解決します。多くのテストで、Mambaベースのモデルは、同じサイズのトランスフォーマーと同じパフォーマンスを発揮しながら、推論時に最大5倍高速で実行されます。さらに重要なのは、メモリのフットプリントがはるかに小さいことです。これにより、高性能LLMを、クラウドにオフロードせずに、ラップトップ、エッジコンピューティング・ネットワーク、またはスマートフォンなどのデバイスで実行できる可能性が開けられます。また、Hyenaという、サブ二乗アーキテクチャの登場も見られます。Hyenaは、長い畳み込みを使用してデータを処理します。Mambaと同様に、Hyenaはトランスフォーマーの重い「注意」レイヤーを取り除き、ハードウェアの実行コストがはるかに低い数学演算に置き換えることを目指しています。これらのモデルは、既存のトランスフォーマーに挑戦し始めています。ハイブリッドの台頭革命は、トランスフォーマーの完全な置き換えではなく、むしろハイブリッドへの進化かもしれません。すでに、Jamba（AI21 Labsより）などのモデルが登場しています。これは、トランスフォーマー・レイヤーとMamba・レイヤーを組み合わせたものです。このハイブリッド・アプローチは、トランスフォーマーの限界に対処するための実用的な方法を提供します。トランスフォーマーは、特定のタスク、特にコンテキストからの詳細なコピーに対して、依然として非常に強力です。Mamba・レイヤー（大部分のデータ処理と長期メモリを処理）とトランスフォーマー・注意レイヤー（鋭い即時推論を処理）を組み合わせることで、最良の両世界を結び付けるモデルが得られます。ハイブリッド・モデルは、実際に使用可能な巨大なコンテキスト・ウィンドウを作成します。現在、多くの「長いコンテキスト」のトランスフォーマーは、100,000トークンを処理できることを主張していますが、コンテキストが満たされると、パフォーマンスは急激に低下します。これは「真ん中で迷子になる」現象として知られています。ハイブリッド・アーキテクチャは、長距離を超えても一貫性を維持するように設計されています。なぜなら、SSMレイヤーは、時間の経過とともに状態を圧縮して運ぶように設計されているからです。これらの開発は、業界の焦点を「トレーニング・コンピュート」（モデルを構築するために必要なクラスターの規模）から「推論の経済学」（モデルを1億ユーザーに提供するコスト)にシフトさせます。如果ハイブリッド・モデルがトランスフォーマーの10%のコストでユーザーを提供できる場合、AIアプリケーションのビジネス・ケースは一夜で変わります。AI展開の未来このポスト・トランスフォーマー革命の影響は、データセンターに限定されません。GPUの壁は、歴史的に、最先端のモデルを構築して実行できるのは、数十億ドル相当のハードウェアを持つ大手テクノロジー企業だけであることを保証する門番として機能してきました。MambaやRWKVのような効率的なアーキテクチャは、この力を民主化します。如果GPT-4レベルのモデルを、テラバイトのVRAMを必要とせずに、消費者向けのカードで実行できる場合、AIの中央集権的なコントロールは緩和されます。クラウドにパケットを送信せずに、プライベートデータのみを処理するローカル、プライベートAIエージェントがコンピューター上で実行される可能性が見られます。さらに、この効率性は、「エージェントAI」システムを解放するための鍵です。これらのシステムは、複雑なタスクを完了するために、バックグラウンドで数時間または数日間実行されます。現在のトランスフォーマーは、長期間にわたって継続的に実行するには、費用が高く遅いため、実行するには高額です。効率的で線形時間のアーキテクチャは、ユーザーを破産させずに、ハードウェアをオーバーヒートさせずに、継続的に「考える」と処理できます。結論トランスフォーマーはAIのヘッドラインを支配してきましたが、裏では静かな革命が進行しています。GPUの壁は、研究者にメモリと計算の方法を再考させるように促しています。Mambaやハイブリッド・モデルなどのポスト・トランスフォーマー・アーキテクチャは、効率性が次の時代を定義することを証明しています。これらの革新は、巨大なコンテキスト・ウィンドウを実用的にし、推論を安価にし、先進的なAIをデータセンターの外でアクセス可能にします。AIの未来は、より大きなモデルではなく、記憶、推論、効率的にスケールするスマートなモデルにあります。
