GPT-4はAGIに到達するための飛躍であるか？

Microsoftは最近、Sparks of Artificial General Intelligence: Early experiments with GPT-4という研究論文を発表しました。Microsoftによると：

この論文では、GPT-4の初期バージョンの調査結果を報告しています。当時、GPT-4はOpenAIによって活発に開発されていたものです。私たちは、(この初期バージョンの) GPT-4は、ChatGPTやGoogleのPaLMなどとともに、以前のAIモデルよりも一般的な知能を示す、新しいLLM（Large Language Model）の1つであると主張しています。

この論文では、GPT-4が単なる記憶を超えており、概念、スキル、ドメインに対する深い理解を持っていることを示す決定的な証拠が示されています。実際、GPT-4の一般化能力は、現在生きているどの人間よりも優れています。

私たちは以前、AGIの利点について議論しましたが、AGIシステムの一般的な合意を簡単にまとめる必要があります。基本的に、AGIは複数のドメインにわたって一般化できる、高度なAIの一種であり、狭い範囲に限定されていません。狭いAIの例としては、自動運転車、チャットボット、チェスボット、またはその他の単一の目的のために設計されたAIがあります。

一方、AGIは、上記のどれかまたは他の分野の専門知識を柔軟に切り替えることができます。転移学習や進化学習などの新しいアルゴリズムを活用し、ディープ強化学習などの従来のアルゴリズムを利用するAIです。

上記のAGIの説明は、GPT-4を使用した私の個人的な経験と、Microsoftによって公開された研究論文に共通しています。

論文で説明されているプロンプトの1つは、GPT-4に、無限の素数の証明を詩の形式で書くことです。

このような詩を作成するために必要な要件を分析すると、数学的推論、詩的表現、自然言語生成が必要であることがわかります。これは、多くの人間の平均的な能力を超える課題です。

論文では、GPT-4が単に一般的な記憶に基づいてコンテンツを生成しているのか、コンテキストを理解し、推論する能力を持っているのかを調べることが目的でした。GPT-4にシェイクスピア風の詩を再現するように求めると、成功しました。これには、一般の人々の能力をはるかに超える、理論的思考や数学的天才などの多面的な理解が必要です。

GPT-4の知能を計算する方法

質問は、LLMの知能をどのように測定することができるのか、GPT-4が真の学習の挙動を示しているのか、単なる記憶に頼っているのかということになります。

現在、AIシステムをテストする一般的な方法は、標準的なベンチマークデータセットのセットでシステムを評価することです。さらに、トレーニングデータから独立し、さまざまなタスクやドメインをカバーする必要があります。このようなテストは、GPT-4が訓練されたデータの量がほぼ無限であるため、ほぼ不可能です。

論文では、GPT-4が単に記憶に頼っているのではなく、概念、スキル、ドメインに対する深い理解を持っていることを示す、新しい課題や質問を生成することが論じられています。

知能については、GPT-4は短編小説、脚本を生成でき、最も複雑な式を計算できます。

GPT-4はまた、高水準でコードを書くことができ、コードの書き方や既存のコードの理解にも長けています。GPT-4は、コードの課題からリアルワールドのアプリケーションまで、低レベルのアセンブリから高レベルのフレームワークまで、シンプルなデータ構造からゲームのような複雑なプログラムまで、幅広いコードのタスクを処理できます。さらに、GPT-4はコードの実行について推論し、命令の影響をシミュレートし、結果を自然言語で説明できます。GPT-4は、疑似コードを実行することもできます。

GPT-4は、ほぼどのようなプロンプトにも合理的な応答を提供できます。実際、GPT-4の知能は複雑さにおいてほぼ無敵です。

GPT-4の限界

論文では、GPT-4の応答や挙動を調査し、整合性、連貫性、正確性を確認し、限界や偏見を明らかにする方法について説明しています。

最も明らかな限界は、妄想の傾向です。論文では、GPT-4が完全に間違った答えに自信を持っている妄想の例が示されています。

GPT-4自身も、現在の限界である妄想を理解しているようです。GPT-4に「GPTの妄想とは何か」と尋ねると、以下のような回答が返されました：

GPTの妄想とは、Generative Pre-trained Transformer（GPT）モデル、たとえば現在あなたが対話しているモデルが、事実情報に基づいていない、またはコンテキストと一致しないテキストを生成する現象です。妄想は、モデルが妥当ではあるものの、実際には間違った、誤解を招いた、または無意味なテキストを生成するときに発生します。

言い換えると、世界のデータでLLM AIを訓練する場合、誤ったデータを学習するシステムをどう避けることができるでしょうか。誤情報や陰謀論を学習し、再生産する大規模言語モデルは、LLMの大規模な採用で人類が直面する最大の落とし穴、そして脅威となる可能性があります。これは、AGIの危険性について議論する際に、驚くほど見落とされているAGIの脅威の1つです。

GPT-4の知能の証明

論文では、GPT-4が、どのような複雑なプロンプトであっても、期待を上回る結果を出すことが示されています。論文では以下のように述べられています：

その並び立てられない自然言語のマスター。GPT-4は、流暢で一貫性のあるテキストを生成するだけでなく、さまざまな方法でテキストを理解し操作することもできます。例えば、要約、翻訳、または非常に広範な質問に答えることができます。さらに、翻訳では、異なる自然言語間の翻訳だけでなく、トーンやスタイル、医療、法律、会計、コンピュータープログラミング、音楽など、さまざまなドメイン間の翻訳も含みます。

GPT-4には、モックの技術レビューが行われ、簡単に合格しました。つまり、この文脈では、人間が相手側にいた場合、すぐにソフトウェアエンジニアとして雇用されます。GPT-4の有能性に関する初期的なテストでは、複数州の司法試験で70%以上の正解率を示しました。これは、将来的に、現在弁護士に与えられている多くのタスクを自動化できることを意味します。実際、スタートアップの中には、GPT-4を使用してロボット弁護士を作成することを目指しています。

新しい知識の生成

論文では、GPT-4が真の理解のレベルを証明するには、まだ新しい数学的定理の証明など、新しい知識を生成する必要があると主張しています。

しかし、これはAGIの聖杯です。AGIが間違った手に握られると危険性がある一方で、AGIがすべての歴史的なデータを分析して新しい定理、治療法、治癒法を発見できることの利点はほぼ無限大です。

AGIは、現在民間企業の資金提供が不足している希少な遺伝性疾患の治療法を発見するための欠けているリンクとなり得ます。がんを完全に治癒し、再生可能エネルギーの効率を最大化して、非持続可能なエネルギーへの依存を除去することができます。実際、AGIは、AGIシステムに与えられたどのような重大な問題も解決できます。これは、Sam AltmanやOpenAIのチームが理解していることです。AGIは、ほとんどの問題を解決し、人類に利益をもたらすために必要な、最後の発明です。

当然、これは、AGIを誰が制御し、どのような意図を持っているかという、核ボタンの問題を解決するものではありません。ただし、この論文は、GPT-4が、1956年に初めてDartmouth Summer Research Project on Artificial Intelligence夏季ワークショップが開催されたとき以来、AI研究者が抱いてきた夢を実現するための飛躍であることを主張することを非常によく行っています。

GPT-4がAGIであるかどうかは議論の余地がありますが、初めて人間の歴史において、チューリングテストに合格するAIシステムであると主張することができます。