Борьба ИИ с освоением Minecraft через имитационное обучение

В течение последних нескольких месяцев Microsoft (MSFT ) и другие компании, занимающиеся исследованием машинного обучения, бросили вызов командам разработчиков ИИ создать систему ИИ, способную играть в Minecraft и найти алмаз внутри игры. Как сообщает BBC, хотя платформы ИИ смогли доминировать в шахматах и го, они испытывают трудности в освоении задачи в Minecraft.

Вызов Microsoft, основанный на Minecraft, назывался MineRL, и результаты конкурса были официально объявлены на недавней конференции NeurIPS. Целью конкурса было обучение ИИ с помощью подхода “имитационного обучения”. Имитационное обучение – это метод, при котором ИИ обучается с помощью наблюдения. Имитационное обучение позволяет ИИ-системам учиться действиям, наблюдая за действиями человека, обучаясь через акт наблюдения. Имитационное обучение, по сравнению с обучением с подкреплением, является намного менее вычислительно дорогим и значительно более эффективным способом обучения ИИ.

Обучение с подкреплением часто требует многих мощных компьютеров, подключенных к сети, и сотен или тысяч часов обучения, чтобы стать эффективным в выполнении задачи. Напротив, ИИ, обученный с помощью имитационного метода, может быть обучен намного быстрее, поскольку ИИ уже имеет базовый уровень знаний, полученный от человеческих операторов, которые предшествовали ему.

Имитационное обучение имеет практические применения при обучении ИИ, когда ИИ не может безопасно исследовать, пока не выяснит правильные действия. Такие сценарии включают обучение автономного транспортного средства, поскольку автомобиль не может быть допущен к свободному движению по улице, пока не научится желаемым поведениям. Использование данных человеческого демонстратора для обучения транспортного средства может потенциально сделать процесс быстрее и безопаснее.

Само действие поиска алмаза в Minecraft требует выполнения многих шагов в последовательности, таких как рубка деревьев для изготовления инструментов, исследование пещер, содержащих алмазы, и фактическое нахождение алмаза внутри пещеры. Несмотря на сложность задачи, человек, знакомый с игрой, должен быть в состоянии найти алмаз примерно за 20 минут.

Более 660 различных агентов ИИ были представлены на конкурс, но ни один из них не смог найти алмаз. Данные, предоставленные для обучения ИИ, включали набор данных, содержащий более 60 миллионов кадров игрового процесса, собранных из многих человеческих игроков. Местоположения алмазов рандомизируются при запуске экземпляра игры, поэтому это означает, что ИИ не могут просто смотреть, где человеческие игроки нашли алмазы. Другими словами, ИИ необходимо сформировать понимание того, как связаны между собой такие понятия, как изготовление инструментов, использование инструментов, исследование и нахождение ресурсов.

Несмотря на то, что ни один из агентов ИИ не смог успешно найти алмаз, организационная команда была все равно довольна результатами конкурса и тем, что было многое узнано из этого эксперимента. Исследования, проведенные командами ИИ, могут помочь продвинуть область ИИ, найдя альтернативы стратегиям обучения с подкреплением.

Обучение с подкреплением часто обеспечивает лучшую производительность по сравнению с имитационным обучением, одним из заметных успехов обучения с подкреплением является AlphaGo от DeepMind. Однако, как упоминалось ранее, обучение с подкреплением требует огромных вычислительных ресурсов, что ограничивает его использование организациями, которые не могут позволить себе компьютерные процессоры в большом масштабе.

Уильям Гасс, аспирант Университета Карнеги-Меллона и главный организатор конкурса, объяснил BBC, что конкурс MineRL был предназначен для изучения альтернатив вычислительно дорогому ИИ. Гасс сказал:

“…Бросание огромных вычислительных ресурсов на проблемы не обязательно является правильным способом продвижения нашего поля… Это работает直接 против демократизации доступа к этим системам обучения с подкреплением и оставляет возможность обучения агентов в сложных средах корпорациям с большими вычислительными ресурсами.”