Ubisoft 培训 AI 代理驾驶赛车游戏中的汽车

“AI” 这个术语在视频游戏讨论中被频繁使用，但它通常指的是控制视频游戏中非玩家角色逻辑，而不是指任何由计算机科学家认可的 AI 驱动的系统。利用人工神经网络的实际 AI 应用在视频游戏行业中相对较少，但 VentureBeat 报道 游戏公司 Ubisoft最近发表了 一篇论文，探讨了使用强化学习训练的 AI 代理的可能用途。

虽然像 DeepMind 和 OpenAI 这样的实体已经研究了 AI 在各种视频游戏（如 StarCraft 2、Dota 2 和 Minecraft）中的表现，但很少有研究关注游戏开发者面临的特定约束下的 AI 使用。Ubisoft La Forge，即 Ubisoft 的原型部门，最近发表了一篇论文，详细介绍了一种能够在商业视频游戏中执行可预测操作的算法。根据报告，该 AI 算法能够达到当前的基准，并可靠地执行复杂任务。

论文的作者指出，虽然强化学习在某些视频游戏中已被证明非常有效，经常达到与人类玩家相同的水平，但 OpenAI 和 DeepMind 创建的系统很少对游戏开发者有用。作者指出，缺乏可访问性是一个大问题，大多数令人印象深刻的结果都是由拥有大量计算资源的研究团队产生的，而这些资源通常超出了普通游戏开发者的范围。研究人员写道：

“这些系统在视频游戏行业中相对较少使用，我们认为缺乏可访问性是一个主要原因。的确，真正令人印象深刻的结果… 是由拥有大量计算资源的研究团队产生的，而这些资源通常超出了视频游戏工作室的范围。”

Ubisoft 的研究团队旨在通过创建一种强化学习方法来解决一些问题，该方法针对数据样本收集和运行时预算约束等问题进行了优化。Ubisoft 的解决方案源自加利福尼亚大学伯克利分校的研究。伯克利研究人员开发的 Soft Actor-Critic 模型能够创建一个可以有效地推广到新条件的模型，并且比大多数模型更具样本效率。Ubisoft 团队采用了这种方法，并将其适用于离散和连续操作。

Ubisoft 研究团队在三个不同的游戏中评估了他们的算法的性能。他们使用了两个足球游戏来测试算法，以及一个简单的平台游戏。虽然这些游戏的结果略逊于行业的最先进结果，但还进行了另一个测试，算法的性能更好。研究人员使用了一款驾驶视频游戏作为他们的测试用例，让 AI 代理跟随给定的路径并在训练期间未见过的环境中处理障碍。有两个连续的操作，转向和加速，以及一个二进制操作（制动）。

研究人员在论文中总结了他们的结果，宣称混合 Soft Actor-Critic 方法在训练 AI 代理以高速度驾驶商业视频游戏中成功。根据研究人员的说法，他们的训练方法可以潜在地适用于各种可能的交互方法，包括 AI 代理具有与玩家相同的输入选项的实例，展示了“此类算法对视频游戏行业的实用性”。