生成 AI の進化する状況: 専門家の混合、マルチモダリティ、および AGI の探求に関する調査

人工知能 (AI) の分野は、2023 年に大幅な成長を遂げています。画像、音声、ビデオ、テキストなどのリアルなコンテンツの作成に焦点を当てた生成 AI が、これらの進歩の最前線に立っています。 DALL-E 3、Stable Diffusion、ChatGPT などのモデルは、新しい創造的な機能を実証しましたが、倫理、偏見、誤用に関する懸念も引き起こしました。

生成型 AI が急速なペースで進化を続ける中、専門家の混合 (MoE)、マルチモーダル学習、汎用人工知能 (AGI) への願望が、研究と応用の次のフロンティアを形成していくように見えます。この記事では、生成 AI の現状と将来の軌道に関する包括的な調査を提供し、Google の Gemini などのイノベーションや OpenAI の Q* などの予想されるプロジェクトがどのように状況を変えているかを分析します。研究の質やAIと人間の価値観との整合性に関する新たな課題を明らかにしながら、ヘルスケア、金融、教育、その他の領域にわたる現実世界への影響を検証します。

2022 年後半の ChatGPT のリリースは、特に、その素晴らしい自然言語能力から誤った情報を広める可能性まで、AI をめぐる新たな興奮と懸念を引き起こしました。一方、Google の新しい Gemini モデルは、スパイク アンド スラブの注意力などの進歩により、LaMDA などの以前のモデルに比べて会話能力が大幅に向上していることを示しています。 OpenAI の Q* のような噂のプロジェクトは、会話型 AI と強化学習の組み合わせを示唆しています。

これらのイノベーションは、マルチモーダルで汎用性の高い生成モデルへの優先順位の変化を示しています。 Google、Meta、Anthropic、Cohere などの企業間の競争も激化し続けており、責任ある AI 開発の限界を押し広げようと競い合っています。

AI研究の進化

能力が成長するにつれて、研究の傾向と優先順位も変化し、多くの場合、技術的なマイルストーンに対応します。深層学習の台頭によりニューラル ネットワークへの関心が再燃する一方、自然言語処理は ChatGPT レベルのモデルで急増しました。一方、急速な進歩の中でも、倫理への配慮は引き続き優先事項となっています。

arXiv のようなプレプリント リポジトリでも、AI の提出が急激に増加しており、より迅速な普及が可能になっていますが、査読が減少し、チェックされていないエラーやバイアスのリスクが増大しています。研究と現実世界への影響との間の相互作用は依然として複雑であり、進歩を導くためにはより調整された取り組みが必要です。

MoE とマルチモーダル システム – 生成 AI の次の波

多様なアプリケーションにわたって、より多用途で洗練された AI を実現するために、専門家の混合 (MoE) とマルチモーダル学習という 2 つのアプローチが注目を集めています。

MoE アーキテクチャは、さまざまなタスクやデータ タイプに最適化された複数の特殊なニューラル ネットワークの「エキスパート」を組み合わせます。 Google の Gemini は、MoE を使用して、長い会話のやりとりと簡潔な質問応答の両方を習得しています。 MoE を使用すると、モデル サイズを増大させることなく、より広範囲の入力を処理できます。

Google の Gemini のようなマルチモーダル システムは、テキストだけでなくさまざまなモダリティを処理することで新たなベンチマークを設定しています。ただし、マルチモーダル AI の可能性を実現するには、主要な技術的ハードルと倫理的課題を克服する必要があります。

双子座: マルチモダリティにおけるベンチマークの再定義

Gemini はマルチモーダルな会話型 AI で、テキスト、画像、音声、ビデオ間のつながりを理解するように設計されています。デュアル エンコーダ構造、クロスモーダル アテンション、マルチモーダル デコーディングにより、高度なコンテキストの理解が可能になります。 Gemini は、テキストの概念を視覚領域に関連付けることにおいて、単一のエンコーダー システムを超えていると考えられています。構造化された知識と専門的なトレーニングを統合することにより、Gemini は以下の点で GPT-3 や GPT-4 などの前任者を上回ります。

• オーディオやビデオを含む幅広いモダリティを処理
• 大規模なマルチタスク言語理解などのベンチマークでのパフォーマンス
• プログラミング言語間でのコード生成
• Gemini Ultra や Nano などのカスタマイズされたバージョンによる拡張性
• 出力の正当化による透明性

マルチモーダルシステムにおける技術的ハードル

堅牢なマルチモーダル AI を実現するには、データの多様性、スケーラビリティ、評価、解釈可能性の問題を解決する必要があります。不均衡なデータセットとアノテーションの不一致はバイアスにつながります。複数のデータ ストリームを処理すると、コンピューティング リソースに負担がかかり、最適化されたモデル アーキテクチャが必要になります。矛盾するマルチモーダル入力を統合するには、注意メカニズムとアルゴリズムの進歩が必要です。膨大な計算オーバーヘッドにより、スケーラビリティの問題が残ります。包括的なベンチマークを通じて評価指標を洗練することが重要です。説明可能な AI によってユーザーの信頼を高めることも引き続き重要です。これらの技術的障害に対処することが、マルチモーダル AI の機能を解放する鍵となります。

汎用人工知能の構成要素を組み立てる

AGI は、あらゆる領域において AI が人間の知能に匹敵する、または人間の知能を超えるという仮説上の可能性を表します。現代の AI は狭いタスクには優れていますが、AGI は依然として遠く離れており、潜在的なリスクを考えると物議を醸しています。

しかし、転移学習、マルチタスク トレーニング、会話能力、抽象化などの分野は徐々に進歩しており、AGI の崇高なビジョンに少しずつ近づいています。 OpenAI の投機的 Q* プロジェクトは、さらなる前進として強化学習を LLM に統合することを目的としています。

倫理的境界と AI モデル操作のリスク

ジェイルブレイクにより、攻撃者は AI の微調整プロセス中に設定された倫理的境界を回避できます。その結果、誤った情報、ヘイトスピーチ、フィッシングメール、悪意のあるコードなどの有害なコンテンツが生成され、個人、組織、社会全体にリスクをもたらします。たとえば、ジェイルブレイクされたモデルは、不和を助長するコンテンツやサイバー犯罪活動を支援するコンテンツを生成する可能性があります。 （もっと詳しく知る）

ジェイルブレイクを利用したサイバー攻撃はまだ報告されていませんが、複数の概念実証ジェイルブレイクがオンラインで簡単に入手でき、ダークウェブで販売されています。これらのツールは、ChatGPT などの AI モデルを操作するように設計されたプロンプトを提供し、ハッカーが企業のチャットボットを通じて機密情報を漏洩する可能性があります。サイバー犯罪フォーラムなどのプラットフォームでこれらのツールが急増していることは、この脅威への対処の緊急性を浮き彫りにしています。 (続きを読む)

脱獄のリスクを軽減する

これらの脅威に対抗するには、多面的なアプローチが必要です。

1. 堅牢な微調整: 微調整プロセスに多様なデータを含めることで、敵対的な操作に対するモデルの耐性が向上します。
2. 敵対的訓練: 敵対的な例を使用したトレーニングにより、操作された入力を認識して抵抗するモデルの能力が強化されます。
3. 定期評価: 出力を継続的に監視することは、倫理ガイドラインからの逸脱を検出するのに役立ちます。
4. 人間の監視: 人間のレビュー担当者が関与することで、安全性がさらに高まります。

AI による脅威: 幻覚の悪用

モデルがトレーニング データに基づいていない出力を生成する AI 幻覚は、兵器化される可能性があります。たとえば、攻撃者は ChatGPT を操作して存在しないパッケージを推奨し、悪意のあるソフトウェアの拡散につながりました。これは、そのような悪用に対する継続的な警戒と強力な対策の必要性を浮き彫りにしています。 (さらに探索する)

AGI を追求する倫理には依然として困難が伴いますが、その野心的な追求は、現在のモデルが人間レベルの AI への道の踏み台に似ているか、それとも回り道に似ているかにかかわらず、生成 AI 研究の方向性に影響を与え続けています。