Ubisoft обучает ИИ-агента водить машину в гоночной игре

Термин “ИИ” часто используется в обсуждениях видеоигр, но обычно он используется для обозначения логики, которая контролирует неигровых персонажей в видеоиграх, а не для обозначения любой системы, управляемой тем, что компьютерные ученые признают ИИ. Фактические применения ИИ, использующие искусственные нейронные сети, довольно редки в игровой индустрии, но, как сообщает VentureBeat, компания Ubisoft недавно опубликовала статью об исследовании возможных применений ИИ-агента, обученного с помощью усиления.

Хотя такие сущности, как DeepMind и OpenAI, исследовали, как ИИ работает в различных видеоиграх, таких как StarCraft 2, Dota 2 и Minecraft, очень мало исследований было проведено на использование ИИ под конкретными ограничениями, с которыми часто сталкиваются разработчики игр. Ubisoft La Forge, экспериментальное подразделение Ubisoft, недавно опубликовало статью, в которой описан алгоритм, способный выполнять предсказуемые действия в коммерческой видеоигре. Согласно отчету, алгоритмы ИИ были способны достигать текущих показателей и выполнять сложные задачи надежно.

Авторы статьи отмечают, что, хотя усиление обучения было использовано с большим успехом в контексте определенных видеоигр, часто достигая паритета с лучшими человеческими игроками этих игр, системы, созданные OpenAI и DeepMind, редко полезны для разработчиков игр. Авторы отмечают, что отсутствие доступности является большой проблемой и что наиболее впечатляющие результаты получаются исследовательскими группами с доступом к большим вычислительным ресурсам, которые обычно намного превышают те, которые доступны в игровых студиях. Исследователи написали:

«Эти системы сравнительно редко используются в игровой индустрии, и мы считаем, что отсутствие доступности является основной причиной этого. Действительно, очень впечатляющие результаты … получаются большими исследовательскими группами с вычислительными ресурсами, которые намного превышают те, которые обычно доступны в игровых студиях».

Исследовательская команда Ubisoft стремилась решить некоторые из этих проблем, создав подход к обучению с помощью усиления, который оптимизирует проблемы, такие как сбор выборки данных и ограничения бюджета времени. Решение Ubisoft было адаптировано из исследований, проведенных в Университете Калифорнии в Беркли. Модель Soft Actor-Critic, разработанная исследователями UC Беркли, может создать модель, которая может эффективно обобщать новые условия и намного более эффективна по выборке, чем большинство моделей. Команда Ubisoft взяла этот подход и адаптировала его для дискретных и непрерывных действий.

Исследовательская команда Ubisoft оценила производительность своего алгоритма на трех разных играх. Были использованы две футбольные игры для тестирования алгоритма, а также простая платформерная игра. Хотя результаты для этих игр были немного хуже, чем результаты отрасли, был проведен еще один тест, в котором алгоритмы показали намного лучшие результаты. Исследователи использовали гоночную видеоигру в качестве тестового случая, имея ИИ-агента, следующего по заданному пути и преодолевая препятствия в среде, которую агент не видел во время обучения. Были два непрерывных действия, управление и ускорение, а также одно бинарное действие (торможение).

Исследователи суммировали свои результаты в статье, заявив, что гибридный подход Soft Actor-Critic был успешным при обучении ИИ-агента ездить на высокой скорости в коммерчески доступной видеоигре. Согласно исследователям, их подход к обучению может потенциально работать для широкого разнообразия возможных подходов к взаимодействию. Это включает в себя случаи, когда ИИ-агент имеет точно такие же варианты ввода, как и игрок, демонстрируя «практическую полезность такого алгоритма для игровой индустрии».