LLM汽车：人类与自动驾驶汽车通信的突破

随着自动驾驶汽车（AVs）逐步走向广泛采用，一个重大的挑战仍然存在：弥合人类乘客与他们的机器人司机之间的通信鸿沟。虽然自动驾驶汽车在复杂的道路环境中导航方面取得了显著进步，但它们经常难以解释人类驾驶员轻松给出的细致、自然语言命令。

普渡大学的莱尔斯土木和建筑工程学院进行了一项创新研究。在助理教授Ziran Wang的领导下，工程师团队开创了一种使用人工智能增强自动驾驶汽车与人类交互的创新方法。他们的解决方案是将大型语言模型（LLMs）如ChatGPT集成到自动驾驶系统中。

自动驾驶汽车中自然语言的力量

LLMs代表了人工智能理解和生成类似人类文本的能力的一大飞跃。这些复杂的AI系统经过大量文本数据的训练，能够以传统编程响应无法做到的方式掌握上下文、细微差别和隐含意义。

在自动驾驶汽车的背景下，LLMs提供了变革性的能力。与依赖特定语音命令或按钮输入的传统自动驾驶汽车接口不同，LLMs可以解释广泛的自然语言指令。这意味着乘客可以像与人类司机交谈一样与他们的汽车交谈。

自动驾驶汽车通信能力的增强是显著的。想象一下，你告诉你的汽车“我迟到了”，它就会自动计算最有效的路线，调整其驾驶风格以安全地最小化旅行时间。或者考虑一下，你说“我有点晕车”，汽车就会调整其运动特征以获得更平稳的行驶体验。这些细致的交互，人类司机直觉上理解，它们通过LLMs的集成成为自动驾驶汽车可能的功能。

普渡大学助理教授Ziran Wang站在一辆测试自动驾驶汽车旁，他和他的学生们将其装备以使用ChatGPT或其他大型语言模型解释乘客的命令。 (普渡大学照片/John Underwood)

普渡大学研究：方法和发现

为了测试LLMs在自动驾驶汽车中的潜力，普渡大学团队使用了一辆四级自动驾驶汽车——仅一步之遥于完全自治，如SAE国际所定义的那样。

研究人员首先训练ChatGPT以响应一系列命令，从直接指令如“请开得更快”到更间接的请求如“我现在感到有点晕动病”。然后，他们将这个训练模型与汽车现有的系统集成，允许它在解释命令时考虑交通规则、道路状况、天气和传感器数据等因素。

实验设置非常严格。大多数测试是在印第安纳州哥伦布的一个试验场地进行的——一个以前的机场跑道，允许进行安全的高速测试。在普渡大学的Ross-Ade体育场停车场进行了额外的停车测试。在整个实验过程中，LLM辅助的AV响应了乘客的预先学习和新命令。

结果很有希望。参与者报告称，与没有LLM辅助的四级AV相比，感到不适的比例显著降低。该车辆始终优于基线安全性和舒适度指标，即使响应未明确训练过的命令。

也许最令人印象深刻的是，该系统展示了在整个行程中学习和适应个别乘客偏好的能力，展示了真正个性化自动驾驶交通的潜力。

普渡大学博士生Can Cui坐在测试自动驾驶汽车中。控制台中的麦克风拾取他的命令，大型语言模型在云端解释。该车辆根据大型语言模型生成的指令驾驶。 (普渡大学照片/John Underwood)

对交通运输未来的影响

对于用户来说，好处是多方面的。能够与自动驾驶汽车自然交互的能力降低了与新技术相关的学习曲线，使自动驾驶汽车更加容易被更广泛的人群接受，包括那些可能被复杂接口吓倒的人。另外，普渡大学研究中展示的个性化能力表明，未来自动驾驶汽车可以适应个别乘客的偏好，提供每位乘客定制的体验。

这种改进的交互也可以提高安全性。通过更好地理解乘客的意图和状态——例如，识别某人是否赶时间或感到不适——自动驾驶汽车可以相应地调整其驾驶行为，可能减少由误解或乘客不适引起的事故。

从行业的角度来看，这项技术可能是竞争激烈的自动驾驶汽车市场中的一个关键区别。能够提供更直观和响应式用户体验的制造商可能会获得显著的优势。

挑战和未来方向

尽管结果很有希望，但在LLM集成的自动驾驶汽车成为现实之前，仍然存在几个挑战。一个关键问题是处理时间。当前系统平均需要1.6秒来解释和响应命令——在非关键场景中是可以接受的，但在需要快速响应的情况下可能会有问题。

另一个重要问题是LLMs“幻觉”或误解命令的潜力。虽然该研究纳入了安全机制来减轻这种风险，但全面解决这个问题对于现实世界的实施至关重要。

展望未来，Wang的团队正在探索几个研究方向。他们正在评估其他LLMs，包括Google的Gemini和Meta的Llama AI助手，以比较性能。初步结果表明，ChatGPT目前在安全性和效率指标方面优于其他模型，尽管发表的结果尚待公布。

一个有趣的未来方向是使用LLMs进行车辆间通信的潜力。这可以实现更复杂的交通管理，例如自动驾驶汽车在交叉路口协商优先权。

另外，团队正在开展一个项目，研究大型视觉模型——训练在图像而非文本上的AI系统——以帮助自动驾驶汽车在中西部常见的极端冬季天气条件中导航。这项由连接和自动驾驶交通中心支持的研究可以进一步增强自动驾驶汽车的适应性和安全性。

结论

普渡大学关于将大型语言模型与自动驾驶汽车集成的开创性研究标志着交通技术的一个重要时刻。通过使人类与自动驾驶汽车的交互更加直观和响应式，这项创新解决了自动驾驶汽车采用中的一个关键挑战。虽然处理速度和潜在的误解等障碍仍然存在，但该研究的有希望的结果为未来铺平了道路，在未来，人们与汽车的交流可能会像与人类司机交谈一样自然。随着这项技术的发展，它有可能不仅改变我们旅行的方式，还改变我们在日常生活中与人工智能的交互和认知方式。