GPT-4 は AGI の達成に向けた飛躍となるでしょうか?

Microsoft は最近、次のタイトルの研究論文を発表しました。 汎用人工知能の火花: GPT-4 による初期の実験。 Microsoft によると、次のように説明されています。

この紙 GPT-4 がまだ OpenAI によって活発に開発されていた頃の、GPT-4 の初期バージョンの調査について報告します。 私たちは、GPT-XNUMX (この初期バージョン) は、以前の AI モデルよりも一般的なインテリジェンスを示す LLM の新しいコホート (たとえば、ChatGPT や Google の PaLM と同様) の一部であると主張します。

この論文には、GPT-4 が暗記をはるかに超えており、概念、スキル、領域を深く柔軟に理解していることを示す決定的な証拠があります。 実際、その一般化能力は今日生きている人間の能力をはるかに上回っています。

以前にも議論しましたが、 AGIのメリット、AGI システムとは何かについての一般的なコンセンサスをすぐに要約する必要があります。 本質的に、AGI は、複数のドメインにわたって汎用化でき、範囲が狭くない一種の高度な AI です。 限定された AI の例には、自動運転車、チャットボット、チェス ボット、または単一の目的のために設計されたその他の AI が含まれます。

これに対して、AGI は、上記のいずれか、または他の専門分野の間で柔軟に切り替えることができます。 これは、次のような初期のアルゴリズムを利用する AI です。 転移学習、進化的学習、などのレガシー アルゴリズムも活用します。 深層強化学習.

上記の AGI の説明は、GPT-4 を使用した私の個人的な経験、および Microsoft によってリリースされた研究論文で共有された証拠と一致します。

論文で概説されているプロンプトの 4 つは、GPT-XNUMX が素数の無限性の証明を詩の形で書くことです。

このような詩を作成するための要件を分析すると、数学的推論、詩的表現、および自然言語生成が必要であることがわかります。 これは、ほとんどの人間の平均的な能力を超える挑戦です。

この論文では、GPT-4 が単に一般的な暗記に基づいてコンテンツを生成しているのか、それとも文脈を理解して推論できるのかを理解したいと考えていました。シェイクスピアのスタイルで詩を再現するよう依頼されたとき、それは可能でした。これには、一般の人々の能力をはるかに超えた、心の理論や数学の天才を含む、多面的なレベルの理解が必要です。

GPT-4 インテリジェンスを計算するにはどうすればよいですか?

そこで問題となるのは、LLM の知能をどのように測定できるかということです。 そして、GPT-4 は真の学習の動作を示しているのでしょうか、それとも単なる暗記なのでしょうか?

AI システムをテストする現在の方法は、一連の標準ベンチマーク データセットでシステムを評価し、それらがトレーニング データから独立していること、および一連のタスクとドメインをカバーしていることを確認することです。 GPT-4 のトレーニングに使用されたデータの量はほぼ無制限であるため、このタイプのテストはほぼ不可能です。

この論文では、GPT-4 が暗記をはるかに超えており、概念、スキル、領域を深く柔軟に理解していることを説得力を持って実証する、斬新で難しいタスク/質問の生成について説明しています。

インテリジェンスに関して言えば、GPT-4 は短編小説や脚本を生成し、最も複雑な数式を計算することができます。

GPT-4 は、命令からのコードの作成と既存のコードの理解の両方の点で、非常に高いレベルでコーディングすることもできます。 GPT-4 は、以下のような幅広いコーディング タスクを処理できます。
低レベルのアセンブリから高レベルのフレームワーク、単純なデータ構造からゲームなどの複雑なプログラムに至るまで、現実世界のアプリケーションに対するコーディングの課題を解決します。 GPT-4 は、コードの実行を推論し、命令の効果をシミュレートし、結果を自然言語で説明することもできます。 GPT-4 は疑似コードを実行することもできます。

GPT-4 は、与えられたほぼすべてのプロンプトに対して合理的な応答を返すことができます。 実際、その知性はその複雑さにおいてほぼ無敵です。

GPT-4 の制限事項

さらに論文は、GPT-4 の応答と動作を調査し、その一貫性、一貫性、正確性を検証し、その限界と偏りを明らかにした方法について説明を続けています。

最も明白な制限は、 幻覚を見る傾向。 これは、GPT-4 が完全に誤りであると自信を持って答えた論文で示されている幻覚の例です。

GPT 幻覚とは何ですかと尋ねたときに GPT-4 が返した答えがこれであったため、GPT-XNUMX も幻覚に関する現在の制限を理解しているようです。

GPT 幻覚とは、現在対話しているような生成事前学習トランスフォーマー (GPT) モデルが、事実の情報に基づいていない、または提供されたコンテキストと一貫性のない応答を生成する現象を指します。 これらの幻覚は、モデルが生成したテキストがもっともらしいように見えても、実際には不正確、誤解を招く、または無意味である場合に発生します。

言い換えれば、世界中のデータで LLM AI をトレーニングするとき、システムが誤ったデータを学習することをどのように回避するのでしょうか? 大規模な言語モデルが学習し、誤った情報や陰謀論を吐き出すことは、実際には、LLM の大規模導入で人類が直面する最大の落とし穴と脅威の XNUMX つである可能性があります。 これは実際には、AGI による大きな脅威の XNUMX つである可能性がありますが、AGI の危険性について議論するときに驚くほど見落とされている脅威の XNUMX つです。

GPT-4 知性の証明

この論文は、どのようなタイプの複雑なプロンプトが向けられたとしても、GPT-4 は期待を上回るものであることを示しています。 論文に記載されているとおり：

その比類のない自然言語の習得。 流暢で一貫したテキストを生成するだけでなく、要約、翻訳、非常に広範な質問への回答など、さまざまな方法でテキストを理解して操作することもできます。 さらに、翻訳とは、異なる自然言語間の翻訳だけでなく、語調や文体における翻訳、さらには医学、法律、会計、コンピュータ プログラミング、音楽などの分野を越えた翻訳も意味します。

GPT-4 に対して模擬技術レビューが行われました。この文脈で、これが人間であれば、すぐにソフトウェア エンジニアとして雇用されるという意味が容易に伝わりました。 複数の州の司法試験における GPT-4 の能力に関する同様の予備テストでは、70% 以上の精度が示されました。 これは、将来的には、現在弁護士に与えられているタスクの多くを自動化できる可能性があることを意味します。 実際にはいくつかあります ロボット弁護士の開発に取り組んでいるスタートアップ企業 GPT-4を使用します。

新しい知識を生み出す

論文の主張の 4 つは、GPT-XNUMX が真の理解レベルを証明するために残された唯一のことは、新しい数学の定理を証明するなど、新しい知識を生み出すことだが、これは現在 LLM にとって手の届かない偉業である、というものである。

繰り返しますが、これは AGI の聖杯です。 AGI が悪者の手に制御されると危険が伴いますが、AGI がすべての過去のデータを迅速に分析して新しい定理、治療法、治療法を発見できるという利点はほぼ無限です。

AGI は、現在民間産業の資金が不足している希少な遺伝性疾患の治療法を発見したり、ガンを完全に治癒したり、再生可能電力の効率を最大化して持続不可能なエネルギーへの依存を排除​​したりするためのミッシングリンクとなる可能性があります。 実際、AGI システムに供給されるあらゆる重大な問題を解決できる可能性があります。 Sam Altman と OpenAI のチームはこれを理解しています。 AGIは本当に最後の発明です それはほとんどの問題を解決し、人類に利益をもたらすために必要です。

もちろん、それでは誰が AGI を制御しているのか、そして彼らの意図は何なのかという核のボタンの問題は解決されません。 これとは関係なく 紙 GPT-4 は AI 研究者が抱いてきた夢の実現に向けた飛躍であると主張する驚異的な仕事をしている 1956から、人工知能に関するダートマス夏季研究プロジェクトの夏季ワークショップが最初に開始されたとき。

GPT-4 が AGI であるかどうかについては議論の余地がありますが、人類史上初めて、 チューリング・テスト.