LLM汽车：人机对话在自动驾驶领域的突破

随着自动驾驶汽车（AVs）逐步走向广泛应用，一个重大的挑战仍然存在：弥合人机之间的沟通鸿沟。虽然自动驾驶汽车在复杂道路环境中的导航方面取得了显著进步，但它们往往难以解释人类驾驶员轻松下达的细致入微的自然语言命令。

普渡大学莱尔斯civil和建设工程学院的一项创新研究填补了这一空白。由助理教授Ziran Wang领导的工程师团队开创了一种利用人工智能增强自动驾驶人机交互的创新方法。他们的解决方案是将大型语言模型（LLMs）如ChatGPT集成到自动驾驶系统中。

自动驾驶中的自然语言力量

LLMs代表了人工智能理解和生成类似人类文本的能力的一大飞跃。这些复杂的AI系统经过大量文本数据的训练，能够以传统编程响应无法做到的方式理解背景、细微差别和隐含意义。

在自动驾驶的背景下，LLMs提供了变革性的能力。与传统的自动驾驶接口依赖特定的语音命令或按钮输入不同，LLMs可以解释广泛的自然语言指令。这意味着乘客可以像与人类驾驶员交谈一样与他们的车辆进行交流。

自动驾驶通信能力的增强是显著的。想象一下，你告诉你的车“我迟到了”，它自动计算最有效的路线，调整驾驶风格以安全地最小化旅行时间。或者考虑一下，你说“我感觉有点晕车”，车辆调整运动配置文件以获得更平稳的行驶体验。这些细致入微的交互，人类驾驶员直觉地理解，通过LLMs的集成成为自动驾驶的可能。

普渡大学助理教授Ziran Wang站在一辆测试自动驾驶汽车旁，该车由他和他的学生使用ChatGPT或其他大型语言模型来解释乘客的命令。（普渡大学照片/John Underwood）

普渡研究：方法和发现

为了测试LLMs在自动驾驶中的潜力，普渡团队使用了一辆四级自动驾驶汽车——距离完全自动驾驶仅一步，如SAE International所定义的那样。

研究人员首先训练ChatGPT来响应一系列命令，从直接指令如“请开得更快”到更间接的请求如“我现在感觉有点晕动病”。然后，他们将这个训练模型与车辆现有的系统集成，允许它在解释命令时考虑交通规则、道路条件、天气和传感器数据等因素。

实验设置非常严格。大多数测试是在印第安纳州哥伦布的一个试验场进行的——一个允许安全高速测试的前机场跑道。另外，在普渡大学的Ross-Ade体育场停车场进行了停车测试。在整个实验过程中，LLM辅助的AV响应了乘客的预先学习和新命令。

结果很有前景。参与者报告称，与没有LLM辅助的四级AV相比，感到不适的比率显著降低。车辆在安全性和舒适度指标方面始终优于基线，即使响应它没有明确学习过的命令时也是如此。

也许最令人印象深刻的是，该系统展示了在整个行程中学习和适应个别乘客偏好的能力，展现了真正个性化自动驾驶交通的潜力。

普渡大学博士生Can Cui坐在测试自动驾驶汽车中。控制台中的麦克风拾取他的命令，大型语言模型在云端解释这些命令。车辆根据大型语言模型生成的指令进行驾驶。（普渡大学照片/John Underwood）

对未来交通的影响

对于用户来说，好处是多方面的。与AV进行自然交流的能力降低了与新技术相关的学习曲线，使自动驾驶汽车更容易被更广泛的人群接受，包括那些可能被复杂接口吓倒的人。另外，普渡研究中展示的个性化能力表明，未来AV可以适应个别偏好，提供每位乘客量身定制的体验。

这种改进的交互也可能提高安全性。通过更好地理解乘客的意图和状态——例如，认识到有人赶时间或感到不适——AV可以相应地调整其驾驶行为，可能减少由误解或乘客不适引起的事故。

从行业角度来看，这项技术可能是自动驾驶市场中的一个关键区别。能够提供更直观和响应式用户体验的制造商可能会获得显著优势。

挑战和未来方向

尽管结果很有前景，但在LLM集成的AV成为现实之前，仍然存在几个挑战。一个关键问题是处理时间。当前系统平均需要1.6秒来解释和响应命令——对于非关键场景是可以接受的，但在需要快速响应的情况下可能会有问题。

另一个重要问题是LLM可能“幻觉”或误解命令的风险。虽然研究中包含了安全机制来减轻这一风险，但全面解决这个问题对于现实世界的实施至关重要。

展望未来，Wang的团队正在探索几个研究方向。他们正在评估其他LLM，包括Google的Gemini和Meta的Llama AI助手，以比较性能。初步结果表明，ChatGPT目前在安全性和效率指标方面优于其他模型，尽管发表的发现尚待公布。

一个有趣的未来方向是使用LLM进行车辆间通信的潜力。这可能会实现更复杂的交通管理，例如AV在交叉路口协商优先权。

此外，该团队正在开展一个研究项目，研究大型视觉模型——训练在图像而非文本上的AI系统——以帮助AV在中西部常见的极端冬季天气条件下导航。这项由连接和自动驾驶交通中心支持的研究可能进一步提高自动驾驶汽车的适应性和安全性。

结论

普渡大学关于将大型语言模型集成到自动驾驶汽车中的开创性研究标志着交通技术的一个关键时刻。通过使人机交互更加直观和响应式，这项创新解决了自动驾驶采用中的一个关键挑战。虽然处理速度和潜在的误解等障碍仍然存在，但研究的有前景的结果为未来铺平了道路，在那里与车辆的交流可能像与人类驾驶员交谈一样自然。随着这项技术的发展，它有可能不仅改变我们旅行的方式，还改变我们在日常生活中对人工智能的认知和交互方式。