ИИ будут соревноваться в конкурсе машинного обучения Minecraft

Как сообщает Nature, скоро состоится новый конкурс ИИ, конкурс MineRL, который поощряет инженеров и программистов ИИ создавать программы, способные учиться через наблюдение и пример. Тестовым случаем для этих систем ИИ будет очень популярная видеоигра Minecraft.

Системы искусственного интеллекта достигли некоторых впечатляющих успехов в последнее время, когда речь идет о видеоиграх. Только недавно ИИ победил лучших игроков в мире в стратегической игре StarCraft II. Однако StarCraft II имеет определенные цели, которые легче разбить на связные шаги, которые ИИ может использовать для обучения. Гораздо более сложная задача – научить ИИ ориентироваться в большой, открытой игре, такой как Minecraft. Исследователи стремятся помочь программам ИИ учиться через наблюдение и пример, и если они добьются успеха, они могут существенно сократить количество вычислительной мощности, необходимой для обучения программы искусственного интеллекта.

Участники конкурса будут иметь четыре дня, чтобы создать ИИ, который будет протестирован в Minecraft, и для обучения своего ИИ им понадобится до восьми миллионов шагов. Цель ИИ – найти алмаз в игре, копая. Восемь миллионов шагов обучения – это гораздо более короткий период времени, чем время, необходимое для обучения мощных моделей ИИ в настоящее время, поэтому участникам конкурса необходимо разработать методы, которые существенно улучшают текущие методы обучения.

Подходы, используемые участниками, основаны на типе обучения, называемом имитационным обучением. Имитационное обучение отличается от обучения с подкреплением, который является популярным методом обучения сложных систем, таких как роботизированные руки на фабриках или ИИ, способные победить человеческих игроков в StarCraft II. Основным недостатком алгоритмов обучения с подкреплением является тот факт, что они требуют огромной вычислительной мощности для обучения, полагаясь на сотни или даже тысячи компьютеров, связанных вместе для обучения. Напротив, имитационное обучение – это гораздо более эффективный и менее вычислительно дорогой метод обучения. Алгоритмы имитационного обучения стремятся имитировать, как люди учатся через наблюдение.

Уильям Гасс, аспирант по теории глубокого обучения в Университете Карнеги-Меллон, объяснил Nature, что заставить ИИ исследовать и учиться закономерностям в окружающей среде – это чрезвычайно сложная задача, но имитационное обучение дает ИИ базовый уровень знаний или хорошие предварительные предположения об окружающей среде. Это может сделать обучение ИИ намного быстрее по сравнению с обучением с подкреплением.

Minecraft служит особенно полезной тренировочной средой по нескольким причинам. Одна из причин заключается в том, что Minecraft позволяет игрокам использовать простые строительные блоки для создания сложных структур и предметов, и многие шаги, необходимые для создания этих структур, служат осязаемыми маркерами прогресса, которые исследователи могут использовать в качестве метрик. Minecraft также чрезвычайно популярен, и из-за этого гораздо легче собирать тренировочные данные. Организаторы конкурса MineRL привлекли многих игроков в Minecraft, чтобы продемонстрировать различные задачи, такие как создание инструментов и разрушение блоков. Благодаря краудсорсингу генерации данных исследователи смогли захватить 60 миллионов примеров действий, которые можно выполнить в игре. Исследователи предоставили командам конкурса примерно 1000 часов видео.

Используйте знания, которые люди накопили, говорит Рохин Шах, аспирант по компьютерным наукам в Университете Калифорнии, Беркли, объяснил Nature, что этот конкурс, вероятно, первый, который фокусируется на использовании знаний, которые люди уже сгенерировали, для ускорения обучения ИИ.

Гасс и другие исследователи надеются, что конкурс может иметь результаты с последствиями, выходящими за рамки Minecraft, что приведет к более совершенным алгоритмам имитационного обучения и вдохновит больше людей рассматривать имитационное обучение как жизнеспособную форму обучения ИИ. Исследование может потенциально помочь создать ИИ, которые лучше способны взаимодействовать с людьми в сложных, меняющихся средах.