见、思、解释：视觉语言模型在人工智能中的崛起

大约十年前，人工智能分为图像识别和语言理解两大领域。视觉模型可以识别物体，但不能描述它们；语言模型可以生成文本，但不能“看到”事物。今天，这种分界线正在迅速消失。视觉语言模型（VLMs）现在将视觉和语言技能结合起来，允许它们解释图像并以几乎像人类一样的方式进行描述。使它们真正令人惊讶的是它们的步骤式推理过程，称为链式思维（Chain-of-Thought），这有助于将这些模型转变为强大、实用的工具，适用于医疗保健、教育等行业。在本文中，我们将探讨VLMs的工作原理、它们的推理为什么重要，以及它们如何改变从医学到自动驾驶汽车等领域。

理解视觉语言模型

视觉语言模型（VLMs）是一种人工智能，可以同时理解图像和文本。与只能处理文本或图像的旧式人工智能系统不同，VLMs将这两种技能结合起来。这使得它们非常多才多艺。它们可以查看图像并描述发生了什么，回答有关视频的问题，甚至根据书面描述创建图像。

例如，如果你要求VLM描述一张狗在公园跑的照片。VLM不仅仅说“那里有一只狗”，它可以告诉你“狗正在追逐一个球，附近有一棵大橡树”。它正在查看图像并将其与文字联系起来，形成一个有意义的描述。这种视觉和语言理解的结合创造了各种可能性，从帮助你在线搜索照片到协助更复杂的任务，如医学成像。

在其核心，VLMs通过结合两个关键部分来工作：一个分析图像的视觉系统和一个处理文本的语言系统。视觉部分捕捉细节，如形状和颜色，而语言部分将这些细节转换为句子。VLMs在包含数十亿图像-文本对的巨大数据集上进行训练，从而使它们能够发展出强大的理解和高精度。

链式思维推理在VLMs中的含义

链式思维推理（Chain-of-Thought）是一种让人工智能像我们一样一步一步地思考的方法。在VLMs中，这意味着当你问它有关图像的问题时，人工智能不仅提供答案，还解释了它如何得出答案，逐步说明其逻辑推理过程。

假设你向VLM展示一张带有蜡烛的生日蛋糕的图片，并问“这个人多大了？”没有链式思维推理，VLM可能只是猜一个数字。有了链式思维推理，它会这样思考：“好吧，我看到一张蛋糕上有蜡烛。蜡烛通常表示某人的年龄。让我们数一下蜡烛，一共有10根。所以，这个人可能10岁。”你可以按照推理过程一步一步地跟踪，这使得答案更加可靠。

同样，当向VLM展示一个交通场景并问“是否安全过马路？”时，VLM可能会这样推理：“行人信号是红色的，所以不应该过马路。附近有一辆车正在转弯，并且正在移动，而不是停下来。这意味着现在不安全。”通过一步一步地分析，人工智能展示了它在图像中关注什么以及为什么做出这样的决定。

为什么链式思维推理在VLMs中重要

将链式思维推理集成到VLMs中带来了几个关键优势。

首先，它使人工智能更容易被信任。当它解释其推理步骤时，你可以清楚地理解它如何得出答案。这在医疗保健等领域尤为重要。例如，当查看MRI扫描时，VLM可能会说：“我看到大脑左侧有一个阴影。那个区域控制着语言，这个病人正在经历语言困难，所以可能是一个肿瘤。”医生可以按照这种逻辑并对人工智能的输入感到自信。

第二，它帮助人工智能解决复杂问题。通过将问题分解为步骤，它可以处理那些需要不仅仅是一瞥的问题。例如，计算蜡烛的数量很简单，但判断繁忙街道上的安全性需要多个步骤，包括检查信号灯、发现汽车、判断速度。链式思维推理使人工智能能够通过将其分解为多个步骤来处理这种复杂性。

最后，它使人工智能更加适应性。当它一步一步地推理时，它可以将其知识应用于新的情况。如果它以前从未见过特定的蛋糕类型，它仍然可以弄清楚蜡烛与年龄的关系，因为它正在思考这个问题，而不是仅仅依赖于记忆的模式。

链式思维推理和VLMs如何重塑行业

链式思维推理和VLMs的结合正在对各个领域产生重大影响：

• 医疗保健：在医学领域，VLMs如Google的Med-PaLM 2使用链式思维推理将复杂的医疗问题分解为较小的诊断步骤。例如，当给出一张胸部X光片和症状如咳嗽和头痛时，人工智能可能会这样思考：“这些症状可能是感冒、过敏或更严重的疾病。没有肿大的淋巴结，所以不太可能是严重的感染。肺部看起来很清晰，所以可能不是肺炎。普通感冒最合适。”它一步一步地分析选项并得出答案，为医生提供了清晰的解释。
• 自动驾驶汽车：对于自动驾驶汽车，增强了链式思维推理的VLMs提高了安全性和决策能力。例如，自动驾驶汽车可以逐步分析交通场景：检查行人信号，识别移动的车辆，并决定是否安全通过。像Wayve的LINGO-1这样的系统可以生成自然语言评论来解释其行为，如减速以避让骑行者。这有助于工程师和乘客了解车辆的推理过程。逐步逻辑还可以通过结合视觉输入和上下文知识来更好地处理异常道路条件。
• 地理空间分析：Google的Gemini模型将链式思维推理应用于地图和卫星图像等空间数据。例如，它可以通过整合卫星图像、天气预报和人口数据来评估飓风损害，然后生成清晰的可视化和复杂问题的答案。这种能力通过为决策者提供及时、有用的见解而加快了灾难响应速度，无需技术专长。
• 机器人技术：在机器人技术中，链式思维推理和VLMs的集成使机器人能够更好地规划和执行多步骤任务。例如，当机器人被要求捡起一个物体时，具有链式思维推理的VLM使其能够识别杯子，确定最佳抓握点，规划一个无碰撞的路径，并执行移动，同时“解释”其过程的每一步。像RT-2这样的项目展示了链式思维推理如何使机器人更好地适应新任务并对复杂命令做出清晰的反应。
• 教育：在教育中，人工智能导师如Khanmigo使用链式思维推理来更好地教学。对于一个数学问题，它可能会指导学生：“首先写下方程。接下来，从两边减去5以分离变量。现在，除以2。”它不是简单地提供答案，而是一步一步地引导学生理解概念。

结论

视觉语言模型（VLMs）使人工智能能够通过链式思维（Chain-of-Thought）过程以类似人类的、逐步推理的方式解释和说明视觉数据。这一方法提高了信任度、适应性和解决问题的能力，适用于医疗保健、自动驾驶汽车、地理空间分析、机器人技术和教育等行业。通过改变人工智能处理复杂任务和支持决策的方式，VLMs为可靠和实用的智能技术设定了新的标准。