AIのアナロジー推論能力：人間の知能に挑戦する？

アナロジー推論、つまり人間が未知の問題を解決するために既知の問題と類似性を認識する能力は、長い間人間の認知機能の独自の側面とみなされてきた。しかし、UCLAの心理学者によって行われた画期的な研究は、私たちがこれまでの認識を再考する必要があることを示唆するものである。

GPT-3：人間の知能に匹敵する?

UCLAの研究では、OpenAIによって開発されたAI言語モデルGPT-3が、特に知能テストやSATなどの標準化テストに似た問題を解決する際に、大学生の水準に近い推論能力を示すことがわかった。この発見は、ネイチャー・ヒューマン・ビヘイビア誌に掲載され、興味深い疑問を提起する：GPT-3は、広範な言語トレーニングデータセットにより人間の推論を模倣しているのか、またはまったく新しい認知プロセスを利用しているのか？

GPT-3の正確な動作は、OpenAIによって秘匿されており、UCLAの研究者は、そのアナロジー推論スキルのメカニズムについて興味を持っている。GPT-3はある程度の推論タスクで優れたパフォーマンスを示したものの、欠点もある。研究の主要著者であり、UCLAのポスドク研究員であるテイラー・ウェッブは、「私たちの発見は印象的ですが、このシステムには重大な制限があることを強調する必要がある。GPT-3はアナロジー推論を行うことができるが、人間にとっては簡単なタスクである物理的なタスクでツールを使用することが苦手である」と述べた。

GPT-3の能力は、レイヴンの進歩的マトリックスにインスパイアされた問題を使用してテストされた。ウェッブは、これらの問題をGPT-3が解釈できるテキスト形式に変換し、完全に新しい課題をAIに提示した。40人のUCLA大学生と比較して、GPT-3は人間のパフォーマンスに匹敵し、さらに人間が犯すミスも模倣した。AIモデルは80%の問題を正しく解決し、平均的な人間のスコアを上回り、トップパフォーマーの範囲内に入った。

研究チームは、GPT-3の能力を、公開されていないSATアナロジー問題を使用してさらに調査した。AIは人間の平均を上回ったが、短い物語からアナロジーを引き出す際には少し苦戦した。ただし、新しいGPT-4モデルは改善された結果を示した。

AIと人間の認知のギャップを埋める

UCLAの研究者は、単に比較を行うのではなく、人間の認知に基づいたコンピューターモデルを開発し、商用AIモデルとの能力を比較検討している。UCLAの心理学教授であり、共同著者であるキース・ホリヨークは、「私たちの心理AIモデルは、アナロジー問題で他のモデルを上回っていたが、GPT-3の最新のアップグレードは、優れたまたは同等の能力を示した」と述べた。

ただし、研究チームは、GPT-3が特定の分野で劣ることを発見した。特に、物理的な空間を理解するタスクで、GPT-3の解決策は明らかに外れた。

研究のシニア著者であるホン・ジン・ルーは、過去2年間の技術の進歩、特にAIの推論能力の向上について驚きを表明した。ただし、これらのモデルが本当に「人間のように」考えているのか、または単に人間の思考を模倣しているのかについては、まだ議論の余地がある。AIの認知プロセスに関する洞察を得るには、AIモデルのバックエンドへのアクセスが必要であり、これはAIの将来の軌道を形作る可能性がある。

ウェッブは、同様の感覚を表現し、「GPTモデルのバックエンドへのアクセスは、AIおよび認知研究者にとって非常に有益である。現在、入力と出力に限定されており、目指す深さに欠けている」と述べた。