Ubisoft Навчає Штучний Інтелект керувати автомобілем у гоночній грі

Термін “Штучний інтелект” часто використовується у дискусіях про відеоігри, але зазвичай він використовується для позначення логіки, яка контролює неігрових персонажів у відеоіграх, а не будь-якої системи, керованої тим, що комп’ютерні вчені визнають штучним інтелектом. Фактичні застосування штучного інтелекту, що використовують штучні нейронні мережі, досить рідкісні у відеоігровій індустрії, але, як повідомляє VentureBeat, компанія Ubisoft недавно опублікувала статтю про можливі застосування штучного інтелекту, навченого з підкріпленням.

Хоча організації, такі як DeepMind і OpenAI, досліджували, як штучний інтелект працює у різних відеоіграх, таких як StarCraft 2, Dota 2 і Minecraft, дуже мало досліджень було проведено щодо використання штучного інтелекту під конкретними обмеженнями, з якими часто стикаються розробники ігор. Ubisoft La Forge, прототипна частина Ubisoft, недавно опублікувала статтю про алгоритм, здатний виконувати передбачувані дії у комерційній відеогрі. За повідомленням, алгоритми штучного інтелекту були здатні досягти поточних показників і виконувати складні завдання надійно.

Автори статті зазначають, що хоча навчання з підкріпленням було використано з великим успіхом у контексті певних відеоігор, часто досягаючи рівності з найкращими гравцями цих ігор, системи, створені OpenAI і DeepMind, рідко корисні для розробників ігор. Автори зазначають, що відсутність доступності є великою проблемою, і що найбільш вражаючі результати одержуються дослідницькими групами з великомасштабними обчислювальними ресурсами, ресурсами, які зазвичай перевищують те, що доступно у відеоігрових студіях. Дослідники написали:

“Ці системи порівняно рідко використовуються у відеоігровій індустрії, і ми вважаємо, що відсутність доступності є однією з основних причин цього. Дійсно, дуже вражаючі результати … одержуються великими дослідницькими групами з обчислювальними ресурсами, які значно перевищують те, що зазвичай доступно у відеоігрових студіях.”

Дослідницька команда з Ubisoft намагалася вирішити деякі з цих проблем, створивши підхід до навчання з підкріпленням, оптимізований для питань, таких як збор даних і обмеження бюджету виконання. Рішення Ubisoft було адаптовано з досліджень, проведених університетом Каліфорнії, Берклі. Модель Soft Actor-Critic, розроблена дослідниками UC Берклі, здатна створити модель, яка може ефективно узагальнювати до нових умов і значно більш ефективна з точки зору зразків, ніж більшість моделей. Команда Ubisoft взяла цей підхід і адаптувала його для дискретних і безперервних дій.

Дослідницька команда з Ubisoft оцінила ефективність свого алгоритму у трьох різних іграх. Було використано дві футбольні ігри для тестування алгоритму, а також просту платформерну гру. Хоча результати для цих ігор були трохи гіршими за результати галузі, був проведений ще один тест, у якому алгоритми працювали значно краще. Дослідники використали гоночну відеогру як тестовий випадок, маючи штучний інтелект, який слідував заданому шляху і перемагав перешкоди в середовищі, яке агент не бачив під час навчання. Було два безперервні дії, керування і прискорення, а також одна двійкова дія (гальмування).

Дослідники підсумували свої результати у статті, заявивши, що гібридний підхід Soft Actor-Critic був успішним при навчанні штучного інтелекту керувати автомобілем на високих швидкостях у комерційно доступній відеогрі. За словами дослідників, їхній підхід до навчання може потенційно працювати для широкого різноманіття можливих підходів до взаємодії. До них належать випадки, коли штучний інтелект має точно такі ж варіанти вводу, як і гравець, демонструючи “практичну корисність такого алгоритму для відеоігрової індустрії”.