見る、考える、説明する: ビジョン言語モデルがAIで台頭する

約10年前、アートフィシャルインテリジェンスは、画像認識と言語理解の2つに分かれていました。ビジョンモデルはオブジェクトを認識できましたが、それを説明できませんでした。一方、言語モデルはテキストを生成できましたが、「見る」ことができませんでした。今日、その分離は急速に消えつつあります。ビジョン言語モデル（VLMs）は、視覚と言語のスキルを組み合わせ、画像を解釈し、人間のように説明することができます。何がそれらを真正に注目に値するかというと、そのステップバイステップの推論プロセス、つまりChain-of-Thoughtです。これにより、これらのモデルは、ヘルスケアや教育などの業界で強力で実用的なツールになります。この記事では、VLMsの働き方、推論の重要性、医療から自律走行車までの分野でそれらがどのように変化をもたらしているかを探ります。

ビジョン言語モデルの理解

ビジョン言語モデル、またはVLMsは、画像とテキストの両方を同時に理解できる一种の人工知能です。古いAIシステムと異なり、VLMsはこれらの2つのスキルを組み合わせます。これにより、非常に汎用性が高くなります。画像を見て何が起こっているかを説明したり、ビデオに関する質問に答えたり、またはテキストの説明に基づいて画像を作成したりすることができます。
例えば、VLMに犬が公園で走っている写真を説明するように求めると、VLMはただ「犬がいます」と言うのではなく、「犬は大きなオークの木の近くでボールを追っています」と言います。画像を見て、それを言葉に結び付けることができます。これにより、オンラインで写真を検索するのを助けたり、医療画像などのより複雑なタスクを支援したりすることができます。
VLMsの核心は、画像を分析するビジョンシステムとテキストを処理する言語システムの2つの重要な部分を組み合わせることです。ビジョンの部分は形や色などの詳細を把握し、言語の部分はそれらの詳細を文章に変換します。VLMsは、画像とテキストのペアが数十億個含まれる巨大なデータセットでトレーニングされており、広範な経験と高い精度を開発することができます。

ビジョン言語モデルのChain-of-Thought推論

Chain-of-Thought推論、またはCoTは、AIがステップバイステップで考えさせる方法です。VLMsでは、AIが画像について何かを尋ねられたときに、ただ答えを出すのではなく、そこに至る各論理的なステップを説明します。
例えば、VLMに誕生日ケーキの写真を見せ、「誕生日のお子は何歳？」と尋ねると、CoTなしでは単に数字を推測するかもしれません。CoTがあると、次のように考えます。「ケーキにローソクが見える。ローソクは通常、誕生日の年齢を表します。ローソクを数えてみましょう、10本あります。つまり、お子はおそらく10歳です。」推論プロセスを追うことができ、答えがより信頼性の高いものになります。
同様に、VLMに交通シーンの写真を見せ、「渡ることが安全ですか？」と尋ねると、VLMは次のように推論します。「歩行者信号は赤です。つまり、渡るべきではありません。近くを走っている車もありますが、停止していません。つまり、現在は安全ではありません。」これらのステップを説明することで、AIは画像の中で何に注目しているか、そしてなぜそう判断したかを明確に示します。

ビジョン言語モデルのChain-of-Thoughtの重要性

VLMsにCoT推論を統合することで、いくつかの重要な利点がもたらされます。
第一に、AIがより信頼性の高いものになります。AIがそのステップを説明することで、答えに至るまでのプロセスが明確になります。これはヘルスケアなどの分野で重要です。例えば、MRIスキャンを見たVLMは、「脳の左側に影がある。言語を制御する部分であり、患者の話すのが困難です。つまり、腫瘍かもしれません」と言います。医師はその論理を追うことができ、AIの入力を信頼することができます。
第二に、AIが複雑な問題に取り組むことができます。ステップバイステップで考えることで、単純な答えだけでは済まない質問にも対応できます。ローソクの数を数えるのは簡単ですが、道路の安全性を判断するには信号、車の速度など複数の要素を考慮する必要があります。CoTにより、AIは複雑な問題を複数のステップに分解して対応できます。
第三に、AIがより適応性の高いものになります。ステップバイステップで考えると、新しい状況にも応用することができます。以前見たことのないタイプのケーキでも、ローソクと年齢の関係を推論することができます。

Chain-of-Thoughtとビジョン言語モデルが業界を再定義する

CoTとVLMsの組み合わせは、さまざまな分野で大きな影響を与えています：

• ヘルスケア: 医療では、GoogleのMed-PaLM 2のようなVLMsがCoTを使用して、複雑な医療の質問を小さな診断ステップに分解します。例えば、胸部X線と症状（咳、頭痛など）が与えられた場合、AIは次のように考えます。「これらの症状は風邪、花粉症、またはもっと深刻なものかもしれません。腺肉の腫れは見られません。したがって、深刻な感染症の可能性は低いです。肺は明らかです。したがって、おそらく肺炎ではありません。風邪が最も適切です。」選択肢を検討し、明確な説明を提供します。
• 自律走行車: 自律走行車では、CoTを強化したVLMsが安全性と意思決定を向上させます。例えば、自律走行車は交通シーンをステップバイステップで分析します。歩行者信号を確認し、移動中の車両を特定し、進むことが安全かどうかを判断します。WayveのLINGO-1システムは、自転車に減速するなどのアクションについて自然言語のコメントを生成し、エンジニアや乗客が車両の推論プロセスを理解できるようにします。段階的な論理により、視覚入力と文脈情報を組み合わせて、不慣れな道路状況にも対処できます。
• 地理空間分析: GoogleのGeminiモデルは、地理空間データ（地図、衛星画像など）にCoT推論を適用します。例えば、ハリケーンの被害を評価するために、衛星画像、天気予報、人口統計データを統合し、複雑な質問に明確な回答と視覚化を生成します。これにより、技術的専門知識がなくても、意思決定者がタイムリーで有用な洞察を得ることができます。
• ロボティクス: ロボティクスでは、CoTとVLMsの統合により、ロボットがマルチステップのタスクを計画して実行する能力が向上します。例えば、ロボットにオブジェクトを拾うように指示すると、CoT有効のVLMにより、コップを識別し、最適な把持点を決定し、衝突を避けるパスを計画し、動きを実行することができます。すべてのステップで「説明」することができます。DeepMindのRT-2プロジェクトは、CoTがロボットに新しいタスクに適応し、複雑なコマンドに明確な推論で対応できるようにする方法を示しています。
• 教育: 学習では、AIチューターであるKhanmigoがCoTを使用して、より良い指導を行います。数学の問題の場合、次のように説明します。「まず、方程式を書きます。次に、両辺から5を引き算して変数を単独で取得します。次に、2で割ります。」答えを提供するのではなく、プロセスをステップバイステップで説明し、生徒が概念を理解するのを支援します。

まとめ

ビジョン言語モデル（VLMs）は、Chain-of-Thought（CoT）プロセスを通じて、人間のようなステップバイステップの推論で視覚データを解釈し、説明することができます。これにより、ヘルスケア、自律走行車、地理空間分析、ロボティクス、教育などの業界で信頼性、適応性、問題解決能力が向上します。複雑なタスクに取り組み、意思決定を支援する方法を変革することで、VLMsは信頼性の高いインテリジェントテクノロジーの新しい基準を設定しています。