ИИ будут соревноваться в конкурсе машинного обучения Minecraft

Как сообщает Nature, скоро состоится новый конкурс ИИ, конкурс MineRL, который поощряет инженеров и программистов ИИ создавать программы, способные учиться через наблюдение и пример. Тестовым случаем для этих систем ИИ станет очень популярная игра в жанре крафта и выживания Minecraft.

Системы искусственного интеллекта достигли некоторых впечатляющих успехов в последнее время, когда речь идет о видеоиграх. Только недавно ИИ превзошел лучших игроков мира в стратегической игре StarCraft II. Однако StarCraft II имеет определенные цели, которые легче разбить на понятные шаги, которые ИИ может использовать для обучения. Гораздо более сложной задачей является обучение ИИ навигации в большой, открытой игре-сандбоксе, такой как Minecraft. Исследователи стремятся помочь программам ИИ учиться через наблюдение и пример, и если они добьются успеха, они могут существенно сократить количество вычислительной мощности, необходимой для обучения программы искусственного интеллекта.

Участники конкурса будут иметь четыре дня, чтобы создать ИИ, который будет протестирован в Minecraft, используя до восьми миллионов шагов для обучения своего ИИ. Цель ИИ – найти алмаз в игре, копая. Восемь миллионов шагов обучения – это гораздо более короткий период времени, чем время, необходимое для обучения мощных моделей ИИ сегодня, поэтому участники конкурса должны разработать методы, которые существенно улучшают текущие методы обучения.

Подходы, используемые участниками, основаны на типе обучения, называемом имитационным обучением. Имитационное обучение отличается от обучения с подкреплением, который является популярным методом обучения сложных систем, таких как роботизированные руки на заводах или ИИ, способные победить человеческих игроков в StarCraft II. Основным недостатком алгоритмов обучения с подкреплением является тот факт, что они требуют огромной вычислительной мощности для обучения, полагаясь на сотни или даже тысячи компьютеров, связанных вместе, чтобы учиться. Напротив, имитационное обучение – это гораздо более эффективный и менее вычислительно дорогой метод обучения. Алгоритмы имитационного обучения стремятся имитировать, как люди учатся через наблюдение.

Уильям Гасс, аспирант по теории глубокого обучения в Университете Карнеги-Меллон, объяснил Nature, что получение ИИ для исследования и обучения закономерностям в окружающей среде – это невероятно сложная задача, но имитационное обучение предоставляет ИИ базовый уровень знаний или хороших предварительных предположений об окружающей среде. Это может сделать обучение ИИ намного быстрее по сравнению с обучением с подкреплением.

Minecraft служит особенно полезной тренировочной средой по нескольким причинам. Одна из причин заключается в том, что Minecraft позволяет игрокам использовать простые строительные блоки для создания сложных структур и предметов, и многие шаги, необходимые для создания этих структур, служат осязаемыми маркерами прогресса, которые исследователи могут использовать в качестве метрик. Minecraft также чрезвычайно популярен, и из-за этого гораздо легче собирать тренировочные данные. Организаторы конкурса MineRL привлекли многих игроков Minecraft, чтобы продемонстрировать различные задачи, такие как создание инструментов и разрушение блоков. Благодаря краудсорсингу генерации данных исследователи смогли захватить 60 миллионов примеров действий, которые можно выполнить в игре. Исследователи предоставили командам конкурса примерно 1000 часов видео.

Используйте знания, которые люди выработали, говорит Рохин Шах, аспирант по компьютерным наукам в Университете Калифорнии, Беркли, объяснил Nature, что этот конкурс, вероятно, является первым, который фокусируется на использовании знаний, которые люди уже сгенерировали, для ускорения обучения ИИ.

Гасс и другие исследователи надеются, что конкурс может иметь результаты с последствиями, выходящими за рамки Minecraft, что приведет к лучшим алгоритмам имитационного обучения и вдохновит больше людей рассматривать имитационное обучение как жизнеспособную форму обучения ИИ. Исследование может потенциально помочь создать ИИ, которые лучше способны взаимодействовать с людьми в сложных, меняющихся средах.