AIの類推的推論能力: 人間の知能に挑戦する？

類推的推論、つまり人間が未知の問題を解決するために既知の問題と平行線を引くという、人間独自の能力は、長い間、人間の認知機能として見なされてきました。しかし、UCLAの心理学者によって行われた画期的な研究は、私たちにこれを再考するべきかもしれない、説得力のある発見を提示しています。

GPT-3: 人間の知能に匹敵する?

UCLAの研究では、OpenAIによって開発されたAI言語モデルであるGPT-3が、特に知能テストやSATなどの標準化試験に似た問題を解決するタスクで、大学生の水準に近い推論能力を示すことがわかりました。この発見は、ネイチャー・ヒューマン・ビヘイビア誌に掲載されており、興味深い質問を提起しています: GPT-3は、広範な言語トレーニングデータセットにより人間の推論を模倣しているのでしょうか、あるいはまったく新しい認知プロセスにアクセスしているのでしょうか？
GPT-3の正確な動作メカニズムは、OpenAIによって秘匿されており、UCLAの研究者は、その類推的推論スキルの背後にあるメカニズムについて興味を持っています。GPT-3は、特定の推論タスクで優れたパフォーマンスを示していますが、欠点もあります。研究の第一著者であり、UCLAのポスドク研究者であるTaylor Webbは、「私たちの発見は印象的ですが、このシステムには重大な制限があることを強調することが重要です。GPT-3は類推的推論を行うことができますが、人間にとっては簡単なタスクである、物理的なタスクにツールを使用することが苦手です」と述べています。
GPT-3の能力は、レイヴンの進歩的マトリックスにインスパイアされた問題を使用してテストされました。これは、複雑な形のシーケンスを含むテストです。Webbは、これらの画像をGPT-3が解釈できるテキスト形式に変換することで、これらがAIにとって完全に新しい課題であることを保証しました。40人のUCLAの大学生と比較して、GPT-3は人間のパフォーマンスに匹敵し、さらに人間が犯すミスのパターンも模倣しました。AIモデルは、80%の問題を正しく解決し、人間の平均スコアを上回り、トップの人間パフォーマーとの範囲内に収まりました。
研究チームは、GPT-3の能力を、未公開のSAT類推問題を使用してさらに調査しました。AIは人間の平均を上回りましたが、短い物語から類推を導き出す際には少し苦戦しました。ただし、新しいGPT-4モデルは、改善された結果を示しました。

AIと人間の認知のギャップを埋める

UCLAの研究者は、単に比較するのではなく、人間の認知にインスパイアされたコンピューターモデルを開発し、商用AIモデルとの能力を比較しています。UCLAの心理学教授であり、共同著者であるKeith Holyoakは、「私たちの心理学的AIモデルは、GPT-3の最新のアップグレードが優れた、または同等の能力を示すまで、アナロジー問題で他のモデルを上回っていました」と述べています。
しかし、研究チームは、GPT-3が特に物理的な空間の理解を必要とするタスクで遅れていることを発見しました。ツールの使用を必要とするタスクでは、GPT-3の解決策は明らかに外れていました。
研究のシニア著者であるHongjing Luは、特にAIの推論能力において、過去2年間の技術の進歩に驚かされていると述べています。しかし、これらのモデルが本当に「人間のように」考えているか、または単に人間の思考を模倣しているかは、まだ議論の余地があります。AIの認知プロセスに関する洞察を得るには、AIモデルのバックエンドへのアクセスが必要であり、これはAIの将来の軌道を形作る可能性があります。
Webbは、この考えを繰り返しています。「GPTモデルのバックエンドへのアクセスは、AIおよび認知研究者にとって非常に有益になります。現在、私たちは入力と出力に限定されており、望む深さに欠けています。」