利用图像进行思维链（CoT）推理的 AI

我们常常以图像的方式思考——好吧，至少我们大多数人如此：研究表明，在人类中，视觉想象能力减弱与学业表现较差有关。就记忆而言（这里指我们记住事物的需求，而不是人工智能这个令人头疼的问题），鲜明或生动意象所蕴含的强大语义力量，数千年来一直被用作学习辅助工具：

Emma Willard 的《时间之殿》（1846）是一幅教育示意图，将年代顺序转化为实体空间，并在逐渐远去的建筑透视结构中排列历史时期和人物。Willard 将这类图像设计成视觉记忆辅助工具，相信图形表示能够帮助学生在脑海中形成连贯的历史图景。 来源

不过，记忆术关注的是数据摄取，而非处理或解读；在这些环节中，人们所采用的思维“风格”差异很大。

就我个人而言，我以形状思考，自有思维以来便一直如此——几十年、数年、想法和人物，都会以某种方式呈现为相对几何形态和动态的体积块。另一些人主要用数字思考；还有一些人则通过气味或味道思考。

对于 AI 来说，可采用的联觉方式范围更有限；自然，大语言模型（LLM）能够用文本思考，因为文本是它原生的编码类型，位于嵌入之上；研究还表明，LLM 会将数字编码为概念，而非纯粹的变量值，这表明它们倾向于“用数字思考”。

但在多大程度上，我们可以说 LLM 像人类通常那样“以形状思考”或“以图像思考”？

同一个问题用不同语言提出时，LLM 会给出不同的回答；这表明，语言之间的关系可能非常具体且脆弱，并且可能在某个语言领域（即“西班牙语”）中被硬编码为特定文本，而不是面向一个更高层次、能够超越语言却又包含语言的领域*。

因此，能够生成图像、纯粹供自身内部思维链使用（CoT）的多模态 LLM（即视觉语言模型，或 VLM），按理说可能具有优势（或者至少能够提供一种字面意义上的不同视角）。

全新视角

基于这一思路，德国近期的一项研究合作提出了一种以图像为核心的 VLM，名为ReImaGin。它利用图像生成作为一种灵活可塑的推理机制。

尽管此前的研究曾“外挂”基于图像的组件，但这些功能既不是核心工作流程的内在组成部分，也非其必不可少的环节；相比之下，作者设计的新系统旨在利用 VLM 最近展现出的能力，取代并接管专用工具和方法的功能，例如深度感知。

下面的示例出自这篇新论文，论文题为借助图像生成进行推理。AI 必须解读两个视图（最左侧的图像），但这两个视图都不包含解决任务所需的全部信息。因此，模型可以利用已有信息，对场景形成更广泛、更完整的理解（下方从左数第三幅、子标题为“生成的可视化图像”的地图）。

这篇新论文中的一个示例：ReImaGin 根据两个不完整视图生成俯视地图，为模型提供统一的视觉表示，以供其推理。 来源

ReImaGin 并不局限于某一种视觉转换，而是能够补全缺失的拼图区域；消除遮挡以便计数；绘制轨迹以预测碰撞；将多个视图合成为空间地图；将虚线路径转换为实线以便追踪；以及生成深度图以进行深度推理。

更重要的是，该系统能够自行调节对这套内部工具的使用，这与 VLM 最近显现出的新能力相符：它们可以自动调用恰当的工具来应对特定挑战，例如深度估计。如上所述，ReImaGin 的大部分功能都是通过调用 generate_image 工具来实现的；该工具可在必要时进行视觉干预，而且无需人工监督或调用。

作者表示：

‘因为generate_image 它接受任意自然语言指令，因此能够执行种类繁多的转换；关键在于，针对特定任务，哪种转换真正有帮助。

‘[Standard]一种做法是通过手工编写的上下文示例来指定转换方式，以展示所需策略（例如，为深度推理生成深度图）。这需要针对每项任务投入人工，也限制了向新任务的泛化能力。

‘[We]探讨能否自动发现这类策略。由于策略是通过提示传达给智能体的，发现策略便可归结为优化提示：我们构建了一个迭代循环，由提议模型生成候选提示，在小型开发集上评估这些提示，并根据观察到的成功和失败情况进行改进。’

在三种视觉语言模型（VLM）和六项视觉推理任务中进行测试后，ReImaGin 总体上优于不借助工具的推理和专用视觉工具，而且只使用了一个工具。

方法

ReImaGin 以循环方式运行：每一步中，VLM 都会考虑问题、原始图像以及此前生成的内容，并决定下一步要做什么。这可以是裁剪或叠加等常规图像操作，也可以是调用 generate_image，它会生成一张专门用于降低问题推理难度的新图像：

ReImaGin 对空间问题和视觉谜题进行推理的逐步示意图。在两个示例中，模型都会在推理过程中生成一张新图像，然后将其作为额外输入，用于后续步骤并最终得出答案。

生成的图像随后会反馈给 VLM，成为下一步推理可用材料的一部分，整个过程还可以重复进行。上图展示了该方法在空间任务中的运用：模型先将两张照片合成为一个视图，再将结果转换为俯视地图，然后回答问题。

对于谜题任务，模型会生成一幅经过修改的谜题图像，将缺失区域单独分离出来，然后利用常规图像减法来确定答案。

这样一来，图像生成便成为推理过程本身的一部分，而不是提供给用户的最终成果；事实上，这些过程中的图像仅供 AI 的思维链（CoT）推理使用，并非供最终用户直接查看。

每一轮中，VLM 都会根据迄今积累的上下文，自行选择下一步操作。该操作可以是另一个推理步骤、常规图像操作，或是向 generate_image。无论所选工具返回什么，结果都会加入上下文，使模型能够检查结果，并决定是否再次对其进行转换、使用另一种工具，或直接给出最终答案。

提升自主性

一个核心问题是，确定哪种图像确实能让特定任务更容易完成。ReImaGin 通过尝试向智能体发出不同指令来作出判断：在答案已知的示例上测试候选提示，并利用成功和失败的尝试来获得更好的提示。持续迭代这一循环，最终便能得出表现最佳的策略。

在这一过程中，推理模型和图像生成器本身都不会重新训练；优化的只有指导智能体如何使用工具的指令。因此，研究人员将这一过程称为视觉推理策略的“自动化发现”，而不提供任务专用策略或推理示例。

配置与测试

ReImaGin 在六项视觉推理任务中接受了评估：深度推理（Blink——判断两个点中哪一个离摄像机更近）；谜题补全（Mira——为缺失的图像区域选出正确的拼图片段）；遮挡计数（CAPTURe——统计物体数量，包括被遮挡的物体）；碰撞预测（Spatial457——预测移动目标会撞上哪个物体）；空间推理（MMSI——确定不同视图中物体之间的关系）；以及路径追踪——一项新基准测试，要求模型沿虚线追踪连接数字与字母的路径。

摘自论文《MIRA：视觉思维链基准》，展示思维链过程中的视觉意象实例，令人印象深刻。 来源

测试的 VLM 主干模型包括 Gemini-3.1-Pro、GPT-5和开放权重模型Qwen-3.5-27B。图像主要由Nano-Banana-Pro生成，同时也测试了开放权重模型FLUX.2 [dev]和Qwen-Image-Edit-2511。图像生成测试时扩展所用的选择器是 Gemini-3.1-Pro。

用于比较的两个基线中，论文作者将“原版”VLM称为“No Tools”。它直接根据查询和图像作答，不使用工具或执行代码；而 2024 年推出的Visual Sketchpad在本案例中提供了一套固定的专业视觉和图像处理工具，但不支持开放式图像生成。

对于 MMSI 空间任务，研究人员为两个基线提供了与 ReImaGin 相近的计算资源：分别让每个基线生成 20 个答案，再选取出现次数最多的答案。

除遮挡计数任务外，所有任务的表现均以多项选择题准确率衡量。遮挡计数则使用对称平均绝对百分比误差评估，即比较预测的物体数量与实际数量。结果取三次运行的平均值，并同时报告标准误。

在三种 VLM 和六项视觉推理任务中，ReImaGin 与 No Tools 及 Visual Sketchpad 的测试结果对比。除遮挡计数外，分数越高越好；遮挡计数则是误差越低越好。在大多数模型与任务组合中，ReImaGin 都取得了最佳结果。

三个模型使用了相同的、由人工定义的策略示例。在大多数任务中，ReImaGin 的表现都优于两个基线，尤其是在谜题完成、遮挡计数和路径追踪方面，提升十分明显。

以 GPT-5 为例，谜题准确率从 No Tools 的 29.5% 和 Visual Sketchpad 的 16.7% 提高到 ReImaGin 的 44.9%。消融测试证实，生成式图像组件对系统性能至关重要。

研究人员还测试了开放权重图像生成器，以替代 Nano-Banana-Pro：FLUX.2 [dev] 以及 Qwen-Image-Edit-2511 在一些较简单的任务中（尤其是图像修复）取得了相近的结果，但在深度估计和路径追踪等要求更高的变换任务中，表现不够稳定。将 Qwen-3.5-27B 用作 VLM 时，研究人员也得到了类似结果：

以 Qwen-3.5-27B 为 VLM 时，各图像生成器的测试结果对比。Nano-Banana-Pro 在六项任务中的五项取得了最佳结果，而 FLUX.2 [dev] 和 Qwen-Image-Edit-2511 在若干任务中的表现优于 No Tools。

作者还针对四项任务开展了定性测试：

四项任务的定性示例展示了 ReImaGin 如何增强 Gemini-3.1-Pro 的推理能力。每个案例中，生成的视觉表征都被纳入推理过程，以帮助完成任务。

ReImaGin 并非在所有情况下都可靠：有时，图像生成器会生成不准确的变换结果，例如物体位置错误的平面图；另一些情况下，生成的图像本身准确，却被 VLM 错误解读。

研究人员对 120 张生成图像进行了人工审核，发现其中 75% 忠实地完成了所要求的变换。在成功完成变换的情况下，最终答案的正确率为 87%；而生成图像不准确时，正确率为 43%。

作者总结道：

“我们的结果表明，这一发现还有两项更广泛的启示。首先，图像生成可以在多模态推理中充当通用的视觉想象机制，从而减少为每种新变换单独设计工具的需要。

“其次，这种方法的有效性不仅取决于底层模型，也取决于所采用的推理策略，即如何决定要将什么内容可视化，以及如何利用可视化结果。

“自动发现策略所带来的提升表明，模型能够利用自身对视觉变换的理解，在没有人工编写的、针对具体任务的策略或推理过程的情况下，发现相关策略。”

结论

本研究探讨的这类自主工具化决策是一项令人着迷的发展，尤其值得注意的是，视觉语言模型（VLM）的发展似乎无论如何都会自然而然地朝这一方向演进。我很想知道，这类通用型视觉语言模型最终能否与专用工具和框架（例如 Segment 生态体系）表现得同样出色；如果能，那么那些专门处理这些“次要任务”的人，最终是否会落得杀鸡用牛刀的境地。

很难相信，视觉语言模型（VLM）能够发展出必要的严谨性，从而超越并持续领先于 本地微调 这类专用解决方案；在这类方案中，整个模型都专用于一项任务，而在此过程中，往往会因此无法用于其他任何任务。时间会给出答案。

* 关于图像领域范围的一种尚有争议的定义：我们在掌握任何语言技能之前，就已经很早学会了图像。

首次发表于2026年9月28日，星期一