マルチモーダル学習がAI開発で注目される

Venture Beat (VB)は、人工知能の開発におけるマルチモーダル学習の利点についての週刊レポートを発表しました。そのきっかけとなったのは、ABI Researchによるマルチモーダル学習に関するレポートでした。

この概念の重要性は、「データセットはAIシステムの基本的な構成要素であり、データセットがなければ、モデルは予測に必要な関係を学習できない」という事実にあります。ABIレポートでは、「2019年にはAIデバイスの総設置台数が24億6900万台から2024年には44億4700万台に増加するが、比較的少数のデバイスのみが短期的に相互運用可能になる」と予測しています。

これは、時間、エネルギー、リソースの大量の浪費につながる可能性があります。 ABIによると、「デバイス間でペタバイト単位のデータを単一のAIモデルまたはフレームワークに統合するのではなく、各デバイスは独立して異質的に動作し、入力されたデータを解釈することになる」と述べています。

これを克服するために、ABIはマルチモーダル学習を提案しています。これは、さまざまなセンサーと入力から得られたデータを単一のシステムに統合する手法です。マルチモーダル学習により、補足的な情報や傾向が得られることがありますが、これらは学習プロセスですべてのデータを含めることでのみ明らかになることがあります。

VBは、画像とテキストキャプションを組み合わせた例を示しています。 「異なる単語が似た画像とペアになっている場合、これらの単語はおそらく同じ物体やオブジェクトを表していることになります。一方、単語が異なる画像とペアになっている場合、これらの画像は同じオブジェクトを表していることを意味します。したがって、AIモデルはテキストの説明から画像のオブジェクトを予測できるはずであり、実際、学術的な文献ではこれが実証されています。」

これらの利点にもかかわらず、ABIは、IBM、Microsoft (MSFT ) 、Amazon (AMZN ) 、Googleなどの大手テクノロジー企業が依然として単一モーダルシステムに重点を置いていることを指摘しています。理由のひとつは、このような転換がもたらす課題です。

しかし、ABIの研究者は、「2017年には394万台だったデバイスの出荷台数が2023年には5億1412万台に増加する」と予測しています。これは、ロボティクス、消費者、ヘルスケア、メディア、エンターテインメント分野での採用によって促進されるものです。マルチモーダル学習を既に実施している企業の例として、Waymoが挙げられます。Waymoは、このアプローチを使用して「超高感度の自動運転車」を開発しています。また、Intel Labs (INTC ) では、エンジニアリングチームが「リアルワールド環境でのセンサーデータの収集技術」を調査しています。

Intel LabsのプリンシパルエンジニアであるOmesh Tickooは、VBに「時間帯などのコンテキストを判断する技術を使用して、センサーのデータが最高品質でない場合にシステムが通知するようにしました。信頼性の値を与えることで、センサーを異なる間隔で比較し、必要な答えを得るために最適な組み合わせを選択することができます」と説明しています。

VBは、「単一モーダル学習は、画像認識や自然言語処理などの分野で高い効果を発揮するため、依然として主流であると考えられます。一方、電子機器のコストが低下し、コンピューティングのスケーラビリティが向上するにつれて、マルチモーダル学習の重要性はさらに高まると予測しています」と述べています。