Искусственный интеллект испытывает трудности в освоении Minecraft через обучение подражанием

За последние несколько месяцев Microsoft и другие компании, занимающиеся исследованием машинного обучения, бросили вызов командам разработчиков ИИ создать систему ИИ, которая могла бы играть в Minecraft и найти алмаз внутри игры. Как сообщает BBC, хотя платформы ИИ смогли доминировать в шахматах и го, но они испытывают трудности в освоении задачи в Minecraft.

Вызов Microsoft, основанный на Minecraft, назывался MineRL, и результаты конкурса были официально объявлены на недавней конференции NeurIPS. Целью конкурса было обучение ИИ с помощью подхода “обучения подражанием”. Обучение подражанием – это метод, при котором ИИ обучается с помощью наблюдения. Обучение подражанием предназначено для того, чтобы системы ИИ могли учиться действиям, наблюдая за действиями человека, обучаясь через акт наблюдения. Обучение подражанием, по сравнению с обучением с подкреплением, является намного менее вычислительно дорогим и существенно более эффективным способом обучения ИИ.

Обучение с подкреплением часто требует многих мощных компьютеров, соединенных вместе, и сотен или тысяч часов обучения, чтобы стать эффективным в выполнении задачи. Напротив, ИИ, обученный с помощью метода обучения подражанием, может быть обучен намного быстрее, поскольку ИИ уже имеет базовый уровень знаний, с которым он может работать, благодаря человеческим операторам, которые предшествовали ему.

Обучение подражанием имеет практические применения при обучении ИИ, когда ИИ не может безопасно исследовать, пока не поймет правильные действия. Такие сценарии включают обучение автономного транспортного средства, поскольку машина не может просто ездить по улице, пока не научится желаемым поведениям. Использование данных человеческого демонстратора для обучения транспортного средства может потенциально сделать процесс быстрее и безопаснее.

Действие поиска алмаза в Minecraft требует выполнения многих шагов в последовательности, таких как рубка деревьев для создания инструментов, исследование пещер, содержащих алмазы, и фактическое нахождение алмаза в пещере. Несмотря на сложность задачи, человеческий игрок, знакомый с игрой, должен быть в состоянии получить алмаз примерно за 20 минут.

Более 660 разных агентов ИИ были представлены на конкурс, но ни один из ИИ не смог найти алмаз. Данные, предоставленные для обучения ИИ, были набором данных, содержащим более 60 миллионов кадров игрового процесса, собранных из многих человеческих игроков. Местоположения алмазов рандомизируются, когда запускается экземпляр игры, поэтому это означает, что ИИ не могут просто смотреть, где человеческие игроки нашли алмазы. Другими словами, ИИ необходимо сформировать понимание того, как понятия, такие как создание инструментов, использование инструментов, исследование и нахождение ресурсов, связаны между собой.

Несмотря на то, что ни один из агентов ИИ не смог успешно найти алмаз, организационная команда была все еще довольна результатами конкурса и тем, что было многое узнано из этого эксперимента. Исследования, проведенные командами ИИ, могут помочь продвинуть область ИИ, найдя альтернативы стратегиям обучения с подкреплением.

Обучение с подкреплением часто обеспечивает лучшую производительность по сравнению с обучением подражанием, с одним заметным успехом обучения с подкреплением – AlphaGo от DeepMind. Однако, как было отмечено ранее, обучение с подкреплением требует огромных вычислительных ресурсов, что ограничивает его использование организациями, которые не могут позволить себе компьютерные процессоры в большом масштабе.

Уильям Гасс, аспирант в Университете Карнеги-Меллон и руководитель конкурса, объяснил BBC, что конкурс MineRL был предназначен для изучения альтернатив вычислительно дорогим ИИ. Гасс сказал:

“…Бросание огромных вычислительных ресурсов на проблемы не обязательно является правильным способом для нас продвинуть состояние искусства в этой области… Это работает напрямую против демократизации доступа к этим системам обучения с подкреплением и оставляет возможность обучения агентов в сложных средах корпорациям с большими вычислительными ресурсами.”