人工知能
自信を持って間違う：なぜ最も賢いAIモデルは自分自身を修正するのが最も悪いのか
AIコミュニティの多くの人々は、信じています rằng、次の大きな革命は、AIが人間の介入なしに自分自身を改善できる、自己改善AIの時代になるだろう。議論は次の通りである：モデルがより能力のあるものになると、最終的にデータからだけでなく、自分自身から学ぶことができるようになる。各イテレーションは前のものを改善する。エラーは検出され、修正され、除去される。時間の経過とともに、これらの改善の蓄積は、知能の爆発を引き起こす可能性があり、ここでAIがAIを構築し始める。このビジョンは、再帰的なAI、自律エージェント、長い間期待されてきた知能の爆発の周りの多くの興奮の根底にある。このビジョンの中心には、AIシステムが自分自身のミスを信頼性高く修正する能力があることにある。ただし、堅牢な自己修正なしでは、自己改善は達成できない。自分自身が間違っていることを認識できないシステムは、自分自身の出力から有意義に学習できない。どれほど強力に見えてもである。
一般的な仮定は、自己修正がモデルがより能力のあるものになると自然に現れるというものであった。この信念は、直感的である。強いモデルはより多くのことを知り、より良く推論し、タスク全体でよく機能するからである。ただし、最近の研究は、直感に反する発見を明らかにした。より高度なモデルは、自分自身のミスを修正するのに苦労することが多いのに対し、より弱いモデルは自己修正に優れていることが多い。この現象は、精度-修正パラドックスとして知られている。このパラドックスは、私たちに、AIシステムがどのように推論するか、また、自己改善AIのために本当に準備ができているかについて、再考させるものである。
自己改善AIの理解
自己改善AIとは、自分自身のミスを検出し、そこから学び、反復的に自分の行動を改善するAIシステムのことである。従来のモデルとは異なり、人間がキュレーションしたトレーニングデータのみに頼るのではなく、自己改善AIは自分自身の出力を積極的に評価し、時間の経過とともに適応する。理論上、このフィードバックループを作成し、各学習サイクルが前のものを基盤にして、知能の爆発と呼ばれるものにつながる。
しかし、この目標を達成することは、容易なことではない。自己改善には、生の計算能力や大きなデータセットだけでは不十分である。信頼性の高い自己評価が必要であり、エラーを検出する能力、エラーの源を特定する能力、修正されたソリューションを生成する能力が必要である。これらの能力なしでは、モデルは正しい推論パスと欠陥のあるパスを区別できない。間違ったソリューションを繰り返し適用することは、パフォーマンスを改善するのではなく、ミスを強化するだけである。
この区別は重要である。人間では、ミスから学ぶことは、反省、仮説のテスト、コースの修正を伴う。AIの場合、これらのプロセスはシステム自体にコード化される必要がある。モデルが自分自身のエラーを信頼性高く認識して修正できない場合、自己改善ループに有意義に参加できない。知能の爆発の約束は、理論的なものではなく、実用的である。
精度-修正パラドックス
自己修正は、単一の能力として扱われることが多いが、実際には、個別に考慮する必要がある複数の異なる能力の組み合わせである。少なくとも、エラー検出、エラーの位置検出または源検出、エラー修正の3つの測定可能なサブ能力に分けることができる。エラー検出は、モデルが自分の出力が間違っていることを認識できるかどうかを尋ねる。エラーの位置検出は、エラーがどこにあるかを特定することに焦点を当てている。エラー修正は、修正されたソリューションを生成する能力を指す。
これらの能力を個別に測定することで、研究者は現在のシステムの限界について重要な洞察を得ることができる。彼らは、モデルがこれらの能力にわたって広範囲にわたって異なっていることを示している。あるモデルはエラーを検出するのが得意だが、修正するのが苦手である。別のモデルはミスをほとんど認識できないが、繰り返し試行することで修正することができる。もっと重要なのは、これらの洞察が、1つの分野での改善が他の分野での改善を保証しないことを示していることである。
研究者が高度なモデルを複雑な数学的推論タスクにテストしたとき、これらのモデルはより少ないミスを犯した。予想通りだった。予想外だったのは、これらのモデルがミスを犯したとき、自分自身でそれを修正する可能性が低かったということである。逆に、より弱いモデルは、より多くのエラーを犯したが、外部のフィードバックなしでミスを修正するのに significiantly 優れていた。つまり、研究者は、精度と自己修正が反対方向に動くことを発見した。精度-修正パラドックスと呼ばれるこの現象は、AI開発における深く根付いた信念に挑戦するものである。私たちは、モデルをスケールアップすることで、知能のすべての側面が改善されるという仮定をしがちである。パラドックスは、この仮定が常に当てはまらないことを示している。特に、自己認識能力の場合である。
エラー深度仮説
このパラドックスは、明らかな疑問を提起する。なぜ弱いモデルは強いモデルよりも自己修正に優れているのか。研究者は、モデルが犯すエラーの「種類」を調べることで、この答えを見つける。彼らは、強いモデルはより少ないエラーを犯すが、犯すエラーは「深い」もので、修正に抵抗があることを発見した。一方、弱いモデルは「浅い」エラーを犯すが、2回目のパスで容易に修正できる。
研究者は、この洞察をエラー深度仮説と呼んでいる。彼らは、エラーをセットアップエラー、ロジックエラー、計算エラーの3つに分類する。セットアップエラーは、問題を誤解することである。ロジックエラーは、推論パスが構造的に欠陥があるときに発生する。計算エラーは、単純な算術ミスである。GPT-3.5の場合、エラーの多く（62％）は単純な計算ミスである。これは浅いエラーである。モデルに「慎重に確認する」と促すと、モデルはしばしば算術ミスを見つけて修正できる。DeepSeekの場合、77％のエラーはセットアップまたはロジックエラーである。これらの深い失敗は、モデルが根本的にアプローチを再考することを要求する。強いモデルはこれに苦労する。なぜなら、モデルは初期の推論パスにアンカーする傾向があるからである。モデルがより賢くなるにつれて、最も頑強で困難なエラーだけが残る。
エラーを検出することは、必ずしもそれを修正することを意味しない
研究の最も驚くべき発見の1つは、エラー検出とエラー修正の能力が相関しないことである。モデルは、自分の答えが間違っていることを正しく認識していても、まだそれを修正できない。別のモデルは、エラーをほとんど検出できないが、繰り返し解決することで改善する。Claude-3-Haikuは、最も劇的な例を提供する。Claudeは、自分のエラーを10.1％しか検出できなかったが、内在的な修正率は29.1％で、最高だった。一方、GPT-3.5は、81.5％のエラーを検出したが、26.8％しか修正できなかった。
これは、モデルが自分のエラーを認識できないが、異なるサンプリングパスを通じてエラーを「偶然」に修正できることを示唆している。モデルは、最初の試みが間違っていることを認識できないが、問題を再解決することで修正できる。実際の展開では、これは危険である。モデルが過信し、自分の論理エラーを検出できない場合、モデルは、もっともらしいが完全に間違った説明を提示することができる。場合によっては、モデルに自分のミスを特定するよう促すと、状況が悪化する。モデルが自分自身のミスを間違って特定すると、モデルは欠陥のある説明にアンカーし、ミスを強化する。代わりに、自己生成されたヒントは、モデルを間違った推論パスにロックすることができる。これは、人間の認知バイアスと同様である。私たちが何が間違っているのかを知っていると思い込むと、私たちは、より深い原因を探すのを止める。
反復は役立つが、等しくない
研究はまた、反復的な反省が結果を改善することが多いが、すべてのモデルが同等に利益を得るわけではないことを示している。弱いモデルは、複数の反復を通じて表面的な問題を修正するチャンスを得るため、反復から大幅に利益を得る。強いモデルは、反復から得る改善が小さく、エラーが繰り返しによって簡単に解決できない。外部のガイダンスなしに、追加の試行は、同じ欠陥のある推論を異なる言葉で繰り返すだけである。この洞察は、自己改善テクニックが普遍的に有効ではないことを示唆している。成功は、モデルの知能ではなく、犯されているエラーの性質に依存する。
AIシステム設計への意味
これらの洞察は、実際的な意味を持ちます。第一に、自己修正のために高い精度が必ずしも必要であるとは限らないことを認識する必要があります。自己改善に依存するシステムは、最終的なパフォーマンスだけでなく、修正の動作についても明示的にテストする必要があります。第二に、異なるモデルには、異なる介入戦略が必要になる可能性があります。弱いモデルは、単純な検証と反復から利益を得ることができます。強いモデルは、外部のフィードバック、構造化された検証、またはツールベースのチェックが必要になる可能性があります。第三に、自己修正パイプラインは、エラーを認識する必要があります。タスクが浅いエラーまたは深いエラーに傾向しているかどうかを理解することで、自己修正が機能する可能性を判断できます。最後に、評価ベンチマークは、検出、位置検出、修正を個別に扱う必要があります。これらを単一の尺度として扱うと、実際の展開で重要となる重大な弱点を隠すことになる。
結論
自己改善AIは、正しい答えを生み出すだけでなく、不正しい答えを認識し、診断し、修正する能力に依存しています。精度-修正パラドックスは、強いモデルが必ずしもこのタスクに優れているわけではないことを明らかにしています。モデルがより能力のあるものになると、エラーはより深くなり、検出が困難になり、自己修正に抵抗するようになる。これは、モデルスケールアップのみでは不十分であることを意味します。私たちが本当に自分のミスから学べるAIシステムを望むのであれば、自己修正は、明示的に測定され、トレーニングされ、サポートされる、独自の能力として扱われる必要があります。
