Meta AIのMILS: ゼロショットマルチモーダルAIのゲームチェンジャー

数年間、人工知能（AI）は印象的な発展を遂げてきたが、基本的な限界があり、それは人間がデータを処理する方法と同じようにさまざまなタイプのデータを処理できないことだった。ほとんどのAIモデルはユニモーダルで、テキスト、画像、ビデオ、またはオーディオなどの1つの形式にしか対応できない。特定のタスクには十分だが、このアプローチにより、AIは硬直的になり、さまざまなデータタイプを接続して真正にコンテキストを理解することができない。

この問題を解決するために、マルチモーダルAIが導入された。これにより、モデルは複数の入力形式で動作できるようになった。ただし、これらのシステムを構築することは容易ではない。大量のラベル付きデータセットが必要で、これらは見つけるのが難しいだけでなく、作成するのも時間がかかり、高額になる。さらに、これらのモデルは通常、タスク固有のファインチューニングが必要で、リソースを大量に消費し、新しいドメインにスケールするのが難しい。

Meta AIのマルチモーダルイテレーティブLLMソルバー（MILS）は、この問題を解決するための開発である。従来のモデルが新しいタスクごとに再トレーニングを必要とするのとは異なり、MILSはゼロショット学習を使用して、事前に公開されていないデータ形式を解釈して処理する。事前に存在するラベルに依存するのではなく、MILSはイテレーティブなスコアリングシステムを使用して、追加のトレーニングを必要とせずに、リアルタイムで出力を改良する。

従来のマルチモーダルAIの問題

マルチモーダルAIは、さまざまなソースからのデータを統合して統一されたモデルを作成することで、AIが世界とどのようにやり取りするかを変革するための巨大な可能性を持っている。従来のAIとは異なり、単一のデータ入力タイプに依存するのではなく、マルチモーダルAIは複数のデータタイプを理解して処理できる。たとえば、画像をテキストに変換したり、ビデオにキャプションを生成したり、テキストから音声を合成したりすることができる。

ただし、従来のマルチモーダルAIシステムは、複雑さ、高いデータ要件、データの整列の困難さなどの重大な課題に直面している。これらのモデルは通常、ユニモーダルモデルよりも複雑で、膨大な計算リソースと長いトレーニング時間を必要とする。さまざまなデータタイプの多様性は、データの品質、ストレージ、冗長性の観点から重大な課題を提起し、これらのデータボリュームをストレージおよび処理することは高額になる。

マルチモーダルAIを効果的に動作させるには、複数のモダリティからの大量の高品質データが必要で、モダリティ間のデータ品質の不一致はこれらのシステムのパフォーマンスに影響を及ぼす。さらに、同じ時間と空間を表すさまざまなデータタイプからの有意義なデータを適切に整列することは複雑である。さまざまなモダリティからのデータの統合は複雑で、各モダリティには独自の構造、形式、処理要件があるため、有効な組み合わせは困難である。さらに、高品質のラベル付きデータセットが不足しており、マルチモーダルデータの収集と注釈付けは時間がかかり、高額になる。

これらの限界を認識して、Meta AIのMILSはゼロショット学習を利用して、AIが明示的にトレーニングされていないタスクを実行し、さまざまなコンテキストで知識を一般化できるようにする。ゼロショット学習により、MILSは追加のラベル付きデータを必要とせずに、正確な出力を生成し、この概念をさらに進めて、複数のAI生成出力をイテレートし、インテリジェントなスコアリングシステムを通じて精度を向上させる。

ゼロショット学習がゲームチェンジャーである理由

AIの最も重要な進歩の1つは、ゼロショット学習で、AIモデルが事前に特定のトレーニングを受けていないタスクを実行したり、オブジェクトを認識したりできる。これは、従来の機械学習が新しいタスクごとに大量のラベル付きデータセットに依存するのとは異なり、モデルは各カテゴリを認識するために明示的にトレーニングされる必要がある。このアプローチは、トレーニングデータが豊富に利用できる場合にはうまく機能するが、ラベル付きデータが不足している、または取得が困難な状況では課題となる。

ゼロショット学習は、この問題を解決することで、AIが既存の知識を新しい状況に適用できるようにする。ラベル付き例にのみ依存するのではなく、ゼロショットモデルはタスクを一般化するために、意味的属性やコンテキスト関係などの補助情報を使用する。これにより、スケーラビリティが向上し、データ依存性が減り、適応性が向上し、AIは実世界のアプリケーションでより汎用性が高くなる。

たとえば、テキストのみでトレーニングされた従来のAIモデルが突然画像を説明するように求められた場合、追加のラベル付き画像データなしでは苦労するだろう。一方、MILSのようなゼロショットモデルは、画像を処理して解釈できるだけでなく、さらにAI生成出力をイテレートし、インテリジェントなスコアリングシステムを使用して応答を改良する。

このアプローチは、医療画像、レア言語翻訳、または新しい科学研究などの分野で、注釈付きデータが限られているか、または取得が高額な場合に特に有益である。ゼロショットモデルは、新しいタスクに迅速に適応できるため、画像認識から自然言語処理まで、幅広いアプリケーションで強力なツールとなる。

Meta AIのMILSがマルチモーダル理解をどのように向上させるか

Meta AIのMILSは、AIがマルチモーダルデータを解釈して改良するためのスマートな方法を導入する。これは、2つの重要なコンポーネントを備えたイテレーティブな2ステッププロセスを通じて実現される。

• ジェネレーター: 大規模言語モデル（LLM）、たとえばLLaMA-3.1-8Bで、入力の複数の可能な解釈を生成する。
• スコアラー: 事前にトレーニングされたマルチモーダルモデル、たとえばCLIPで、解釈を評価し、精度と関連性に基づいてランク付けする。

このプロセスは、フィードバックループで繰り返され、最も正確でコンテキストに適した応答が得られるまで、出力を継続的に改良する。すべてが、モデルのコアパラメータを変更することなく行われる。

MILSが独自のものであるのは、リアルタイムの最適化である。従来のAIモデルは、固定された事前にトレーニングされた重みに依存し、新しいタスクには大量の再トレーニングを必要とする。一方、MILSはテスト時に動的に適応し、スコアラーからの即時フィードバックに基づいて応答を改良する。これにより、MILSはより効率的、柔軟性が高く、膨大なラベル付きデータセットへの依存が少なくなる。

MILSは、以下のようなさまざまなマルチモーダルタスクを処理できる。

• 画像キャプション: LLaMA-3.1-8BとCLIPを使用してキャプションをイテレーティブに改良する。
• ビデオ分析: ViCLIPを使用して視覚的なコンテンツの整合的な説明を生成する。
• オーディオ処理: ImageBindを使用して音を自然言語で説明する。
• テキストから画像生成: 拡散モデルにフィードする前にプロンプトを改良することで画像の品質を向上させる。
• スタイル転送: 視覚的に一貫した変換を保証するために、最適化された編集プロンプトを生成する。

MILSは、専用のマルチモーダルトレーニングではなく、事前にトレーニングされたモデルをスコアリングメカニズムとして使用することで、さまざまなタスクで強力なゼロショットパフォーマンスを提供する。これにより、開発者や研究者にとって、MILSは、マルチモーダル推論をアプリケーションに統合するためのトレーニングの負担なく、変革的なアプローチとなる。

MILSが従来のAIを上回る理由

MILSは、特にトレーニング効率とコスト削減の観点で、従来のAIモデルを大幅に上回る。従来のAIシステムは、各データタイプごとに個別のトレーニングを必要とするため、膨大なラベル付きデータセットと高額な計算コストが必要となる。これらの分離は、多くの企業にとって、トレーニングに必要なリソースの障壁を作り出す。

一方、MILSは事前にトレーニングされたモデルを使用し、出力を動的に改良することで、これらの計算コストを大幅に削減する。 このアプローチにより、企業は、従来のモデルトレーニングに伴う通常の財務的負担なく、先進的なAI機能を実装できる。

さらに、MILSは、さまざまなビデオキャプションベンチマークで、既存のAIモデルと比較して、高い精度とパフォーマンスを示す。イテレーティブな改良プロセスにより、MILSは、新しいデータタイプから正確でコンテキストに適した説明を生成できる。一方、従来のAIモデルは、新しいデータタイプから正確な説明を生成するのに苦労することが多い。ジェネレーターとスコアラーのコンポーネント間のフィードバックループを通じて、MILSは最終的な結果が高品質で、各タスクのニュアンスに適応できることを保証する。

スケーラビリティと適応性も、MILSが従来のAIシステムと異なる点である。これは、新しいタスクまたはデータタイプのために再トレーニングを必要としないため、さまざまなAI駆動システムに統合できる。MILSのこの組み込みの柔軟性により、スケーラブルで将来に対応できるため、企業はニーズの変化に応じてMILSの機能を活用できる。

まとめ

Meta AIのMILSは、AIがさまざまなデータタイプを処理する方法を変えている。膨大なラベル付きデータセットや継続的な再トレーニングに依存するのではなく、MILSは実行しながら学習し、改良する。これにより、AIはさまざまな分野でより柔軟性が高く、有用性が高くなる。画像を分析する場合、オーディオを処理する場合、またはテキストを生成する場合に。

MILSは、フィードバックに基づいてリアルタイムで出力を改良することで、AIを人間の情報処理に近づける。ただし、これはAIをより賢くすることだけではなく、実際の課題に対して実用的で適応可能にすることである。このアプローチは、AIをより人間に近いものにすることを目指している。