思考連鎖（CoT）推論で画像を活用するAI

私たちはよく頭の中でイメージを思い描きます。少なくとも、ほとんどの人はそうです。人間の場合、視覚的な想像力の低下は、研究で示されているように、学業成績の低下と関連しています。記憶の面では（物事を覚えておく必要性のことであり、AIにとっての厄介な問題とは別です）、鮮明なイメージが持つ大きな意味的な力が、学習の助けとして何千年にもわたって使われてきました。

エマ・ウィラードの「時間の神殿」（1846年）は、年代を物理的な空間に置き換え、歴史上の時代や人物を奥へと続く建築的な遠近法の中に配置した教育用の視覚表現です。ウィラードは、こうした図像を視覚的な記憶法として制作しました。図による表現によって、生徒が歴史の一貫した全体像を心に描けるようになると考えていたのです。 出典

しかし、記憶術が扱うのはデータの取り込みであり、その処理や解釈ではありません。処理や解釈の場面では、人によって活用する思考の「スタイル」が大きく異なります。

私は個人的に、形で考えます。考えるようになって以来ずっとそうで、数十年、年、アイデア、人を、相対的な幾何学的形状や、動きのある立体的な塊として表現してきました。主に数字で考える人もいれば、においや味で考える人もいます。

AIが利用できる共感覚的な手法の幅は、より限られています。当然ながら、大規模言語モデル（LLM）は、そのネイティブな符号化形式であるテキストで考えることができます。これは、埋め込み表現より上位の形式です。また、LLMは数字を単なる変数の値としてではなく、概念として符号化することが示されており、「数字で考える」傾向があることが分かっています。

では、LLMは人間がそうするように、「形で考える」、あるいは「画像で考える」と言えるのでしょうか。言えるとすれば、どの程度でしょうか。

同じ質問を異なる言語で提示すると、LLMから異なる回答が返ってくるという事実は、そうした関係性が非常に限定的で脆弱であり、より上位にある、言語を超越しながらも言語を内包する領域に対応するのではなく、特定の言語領域（たとえば「スペイン語」）の特定のテキストにハードコードされていることを意味します*。

したがって、画像を生成できるマルチモーダルLLM（つまり視覚言語モデル（VLM））は、自身の内部の思考連鎖プロセスだけを目的として画像を生成し、思考連鎖（CoT）処理を行うことで、論理的には優位性（あるいは少なくとも文字どおり別の視点）を持つ可能性がある。

新たな視点

こうした背景のもと、ドイツの研究者による最近の共同研究では、画像に焦点を当てたVLM「ReImaGin」が提案されました。このモデルは、画像生成を柔軟な推論メカニズムとして活用します。

これまでの研究では画像ベースの構成要素が「後付け」されていたものの、こうした機能は中核的なワークフローに本質的に組み込まれていたわけでも、不可欠なものでもなかった。これに対し、著者らの新システムは、VLMのごく最近の能力を活用し、専門ツールや手法（深度知覚など）の機能を置き換えて引き継ぐよう設計されている。

以下は、新しい論文「画像生成による推論」に掲載された例です。AIは2つの視点（左端の画像）を解釈しなければなりませんが、どちらの画像にもタスクの解決に必要な情報がすべて含まれているわけではありません。そこでモデルは、手元にある情報を使って、場面をより広く、より完全に捉えられます。以下の左から3番目にある「生成された視覚化」という副見出し付きの地図が、その例です。

新しい論文より。ReImaGinが不完全な2つの視点から俯瞰地図を生成し、推論の基盤となる統一された視覚表現をモデルに与える例。 出典

ReImaGinは特定の種類の視覚変換に限定されず、欠けているパズルの領域を補完する、遮蔽物を取り除いて数を数える、衝突予測のために軌跡を描く、複数の視点を空間地図に統合する、追跡しやすいように破線の経路を実線に変換する、深度に関する推論のために深度マップを生成する、といった処理を実行できます。

さらに重要なのは、このシステムが、深度推定などの適切なツールを使って特定の課題に自動的に対処するという、近年VLMに見られる創発的能力に沿って、こうした内部ツール群の使用を自ら調整できることです。説明されているReImaGinの機能の大半は、次の呼び出しによって実行されます。 generate_image このツールは、必要に応じて視覚的に介入できる機能であり、人間による監督や起動を必要としません。

著者らは次のように述べています。

「なぜなら、generate_image 自然言語による任意の指示を受け付けるため、エージェントは幅広い変換を実行できる。問題は、特定のタスクに実際に役立つ変換がどれなのかという点だ。

‘[Standard] 一般的な方法では、望ましい戦略を示す手作りの文脈内例（たとえば、深度推論のために深度マップを生成する例）を使って、変換を指定する。これにはタスクごとに手作業が必要で、新しいタスクへの汎化も制限される。

‘[We] こうした戦略を自動的に発見できるかどうかを問う。戦略はプロンプトを通じてエージェントに伝えられるため、戦略の発見はプロンプトの最適化に帰着する。そこで、提案モデルが候補となるプロンプトを生成し、小規模な開発用データセットで評価したうえで、成功例と失敗例を踏まえて改良する反復ループを構築した。’

3つのVLMと6つの視覚推論タスクで評価したところ、ReImaGinは単一のツールを使うだけで、補助なしの推論と専門的な視覚ツールの両方を総じて上回った。

アプローチ

ReImaGinはループとして動作する。各ステップでVLMは、質問、元の画像、そしてそれまでに生成したものを検討し、次に何をするかを決める。これには、画像の切り抜きや重ね合わせといった通常の画像操作のほか、 generate_image問題を推論しやすくするための新しい画像を生成するツールを呼び出すことも含まれる。

ReImaGinが空間問題や視覚パズルを推論する過程を、段階ごとに示した図。どちらの例でも、モデルは推論中に新しい画像を生成し、その画像を後続のステップで追加の入力として用いて答えにたどり着く。

生成された画像はVLMに戻され、次の推論ステップで利用できる情報の一部となり、このプロセスは繰り返される。上の画像では、空間タスクにおけるこうした特徴を確認できる。モデルはまず2枚の写真を1つの視点に統合し、次にその結果を俯瞰マップに変換してから質問に答える。

パズルのタスクでは、欠けた領域を切り分けるようにパズルを加工した画像を生成し、その後、従来型の画像差分処理を使って答えを特定する。

このように、画像生成はユーザーに提示する最終成果物ではなく、推論プロセスそのものの一部となる。実際、こうした中間画像はAIのCoT処理だけを目的としており、エンドユーザーが直接利用するものではない。

各ターンでVLMは、それまでに蓄積した文脈をもとに次の行動を自ら選ぶ。その行動は、推論の継続、通常の画像操作、あるいは自然言語による指示の送信などだ。 generate_image。選択したツールが返す内容は文脈に追加されるため、モデルは結果を確認し、さらに変換するか、別のツールを使うか、最終的な回答に進むかを判断できる。

自律性を高める

中心的な課題は、特定のタスクを実際に簡単にするには、どのような種類の画像が必要かを判断することだ。ReImaGinは、エージェントへの指示を変えて試し、正解が分かっている例で候補プロンプトをテストし、成功例と失敗例を活用してより良いプロンプトを得ることで、この課題に対処する。このループをさらに反復することで、最終的に最も高い性能を発揮する戦略が得られる。

このプロセスでは、推論モデルも画像生成モデルも再学習されない。最適化されるのは、エージェントがツールをどのように使うかを定める指示だけだ。そのため研究者らは、タスク固有の戦略や推論例を自ら提示することなく、視覚推論戦略を「自動発見」するプロセスと説明している。

構成とテスト

ReImaGinは、6つの視覚推論タスクで評価された。深度推論（Blink—2つの点のうち、どちらがカメラに近いかを特定する）；パズルの完成（Mira—欠けた画像領域に当てはまる正しいピースを選ぶ）；遮蔽された物体の数え上げ（CAPTURe—隠れた物体も含めて数える）；衝突の予測（Spatial457—移動する標的がどの物体に衝突するかを予測する）；空間推論（MMSI—異なる視点間で物体同士の関係を判断する）；そして経路の追跡—数字と文字をつなぐ破線をモデルがたどる必要がある、新しいベンチマーク。

論文「MIRA, a Benchmark for Visual Chain-of-Thought」より。思考の連鎖における視覚イメージの印象的な例。 出典

検証したVLMのバックボーンはGemini-3.1-Pro、GPT-5、およびオープンウェイトのQwen-3.5-27Bだった。画像生成には主にNano-Banana-Proを使用し、オープンウェイトのFLUX.2 [dev]とQwen-Image-Edit-2511も検証した。画像生成のテスト時スケーリングでは、Gemini-3.1-Proを選択器として使用した。

比較に用いた2つのベースラインのうち、論文の著者が「No Tools」と名付けた「バニラ」VLMは、ツールもコード実行も使わず、クエリと画像だけをもとに直接回答した。一方、2024年に発表されたVisual Sketchpadは、この実験では、専門的な画像認識・画像操作ツールを固定のセットで提供したが、自由度の高い画像生成には対応していなかった。

MMSIの空間課題では、各ベースラインから回答を20件ずつ生成し、最も頻繁に現れた回答を採用することで、両ベースラインにReImaGinと同程度の計算資源を与えた。

遮蔽数のカウントを除くすべてのタスクでは、選択式問題の正答率を用いて性能を測定した。遮蔽数のカウントは、予測した物体数と実際の物体数を比較する対称平均絶対パーセント誤差で評価した。結果は3回の実行の平均であり、標準誤差も報告された。

3つのVLMと6つの視覚推論タスクにおいて、ReImaGin、No Tools、Visual Sketchpadのテスト結果を比較した。遮蔽数のカウントでは誤差が小さいほど優れており、それ以外はスコアが高いほど優れている。ReImaGinは、モデルとタスクの組み合わせの大半で最高の結果を達成した。

人間が定義した同じ戦略例を、3つすべてのモデルで使用した。ReImaGinは、ほとんどのタスクで両方のベースラインを上回り、特にパズルの完成、遮蔽数のカウント、経路の追跡で明確な性能向上を示した。

たとえばGPT-5では、パズルの正答率がNo Toolsの29.5%、Visual Sketchpadの16.7%に対し、ReImaGinでは44.9%に上昇した。アブレーションテストにより、生成画像の構成要素がシステムの性能に不可欠であることが確認された。

Nano-Banana-Proに代えて、オープンウェイトの画像生成モデルも検証した。FLUX.2 [dev] とQwen-Image-Edit-2511は、特にインペインティングなどの比較的単純なタスクでは同等の結果を示したが、深度推定や経路追跡のような、より難度の高い変換では結果に一貫性が欠けた。VLMにQwen-3.5-27Bを使用した場合も、同様の結果が得られた。

VLMにQwen-3.5-27Bを使用した場合の画像生成モデルのテスト結果。Nano-Banana-Proは6つのタスクのうち5つで最高の結果を達成し、FLUX.2 [dev]とQwen-Image-Edit-2511は、複数のタスクでNo Toolsを上回った。

著者らは、4つのタスクで定性的なテストも実施した。

4つのタスクにおける定性的な例は、ReImaGinがGemini-3.1-Proの推論をどのように補強したかを示している。いずれの場合も、タスクの解決に役立てるため、生成された視覚表現が推論過程に取り入れられた。

ReImaGinが常に信頼できる結果を出したわけではない。画像生成モデルが、物体の位置が誤った間取り図のように、不正確な変換を生成する場合もあれば、正確に生成された画像をVLMがその後誤って読み取る場合もあった。

生成画像120枚を手作業で監査したところ、75%で依頼された変換が忠実に実行されていた。これが達成された場合、最終回答の正答率は87%だったのに対し、生成画像が不正確だった場合は43%だった。

著者らは次のように結論づけている。

「私たちの結果から、より広い意味で2つの結論が導かれる。第一に、画像生成はマルチモーダル推論における汎用的な視覚的想像の仕組みとして機能し、新たな変換ごとに個別のツールを開発する必要性を減らせる。

第二に、このアプローチの有効性は、基盤となるモデルだけでなく、何を可視化し、その結果をどのように活用するかを決める推論戦略にも左右される。

自動的な戦略発見によって性能が向上したことは、人間が作成したタスク固有の戦略や推論に頼らずとも、モデルが視覚変換に関する理解を活用し、適切な戦略を見つけられることを示している。」

結論

本研究で検討されているような、ツールを自ら選択する判断は、非常に興味深い展開だ。とりわけ、いずれにせよVLMの開発は自然とこのアプローチへ向かっているように見える。こうした汎用VLMが最終的に、Segmentのエコシステムのような専用ツールやフレームワークと同等の性能を発揮するようになるのか、そして、こうした「サイドタスク」だけを専門に扱う人たちが、結局は針小棒大な手段に頼ることになるのか、注目したい。

VLMが、ローカルでのファインチューニングのような専用ソリューションを追い越し、その優位を維持できるだけの規律を身につけるとは、なかなか信じがたい。そうした手法では、モデル全体をひとつのタスクに割り当てるため、その過程で、ほかの用途には使いものにならなくなることも多い。時がたてば分かるだろう。

* 画像領域についての、議論の余地がある定義。私たちは、言語能力を身につけるずっと前にこれを学ぶ。

初公開：2026年9月28日（月）