ИИ примут участие в соревновании по машинному обучению Minecraft

Как сообщает природа, вскоре состоится новый конкурс ИИ, конкурс MineRL, который будет поощрять инженеров и программистов ИИ создавать программы, способные учиться на основе наблюдения и примера. Тестовым случаем для этих систем ИИ станет очень популярная видеоигра Minecraft, посвященная крафту и выживанию.

Системы искусственного интеллекта в последнее время добились впечатляющих достижений, когда дело доходит до видеоигр. Совсем недавно ИИ обыграл лучших игроков мира в стратегической игре StarCraft II. Однако в StarCraft II есть определенные цели, которые легче разбить на последовательные шаги, которые ИИ может использовать для обучения. Гораздо более сложная задача для ИИ — научиться ориентироваться в большой игре-песочнице с открытым миром, такой как Minecraft. Исследователи стремятся помочь программам ИИ учиться посредством наблюдения и примера, и в случае успеха они могут существенно снизить вычислительную мощность, необходимую для обучения программы искусственного интеллекта.

У участников конкурса будет четыре дня, чтобы создать ИИ, который будет протестирован с помощью Minecraft, выполнив до восьми миллионов шагов для обучения своего ИИ. Цель ИИ — найти алмаз в игре, копая его. Восемь миллионов шагов обучения — это гораздо более короткий промежуток времени, чем количество времени, необходимое для обучения мощных моделей ИИ в наши дни, поэтому участникам соревнования необходимо разработать методы, которые значительно улучшат существующие методы обучения.

Подходы, используемые участниками, основаны на типе обучения, называемом имитационным обучением. Имитационное обучение контрастирует с обучением с подкреплением, которое является популярным методом обучения сложных систем, таких как роботы-манипуляторы на фабриках или ИИ, способные побеждать игроков-людей в StarCraft II. Основным недостатком алгоритмов обучения с подкреплением является тот факт, что они требуют огромной вычислительной мощности для обучения, полагаясь на сотни или даже тысячи компьютеров, связанных вместе для обучения. Напротив, имитационное обучение является гораздо более эффективным и менее затратным в вычислительном отношении методом обучения. Алгоритмы имитационного обучения пытаются имитировать то, как люди учатся путем наблюдения.

Уильям Гасс, доктор философии в области теории глубокого обучения в Университете Карнеги-Меллона, объяснил Nature, что заставить ИИ исследовать и изучать закономерности в окружающей среде — чрезвычайно сложная задача, но имитационное обучение дает ИИ базовый уровень знаний или хорошие знания. предварительные предположения об окружающей среде. Это может значительно ускорить обучение ИИ по сравнению с обучением с подкреплением.

Minecraft служит особенно полезной тренировочной средой по нескольким причинам. Одна из причин заключается в том, что Minecraft позволяет игрокам использовать простые строительные блоки для создания сложных структур и предметов, а множество шагов, необходимых для создания этих структур, служат осязаемыми маркерами прогресса, которые исследователи могут использовать в качестве показателей. Minecraft также чрезвычайно популярен, и благодаря этому сравнительно легко собирать данные для обучения. Организаторы конкурса MineRL наняли множество игроков Minecraft для демонстрации различных задач, таких как создание инструментов и разбивание блоков. Путем краудсорсинга генерации данных исследователи смогли зафиксировать 60 миллионов примеров действий, которые можно было бы предпринять в игре. Исследователи предоставили соревновательным командам примерно 1000 часов видео.

Используйте знания, накопленные людьми, — говорит Рохин Шах, доктор философии. Кандидат компьютерных наук в Калифорнийском университете Беркли объяснил Nature, что это соревнование, вероятно, первое, в котором основное внимание уделяется использованию знаний, уже накопленных людьми, для ускорения обучения ИИ.

Гасс и другие исследователи надеются, что конкурс может иметь последствия, выходящие за рамки Minecraft, что приведет к созданию лучших алгоритмов имитационного обучения и вдохновит больше людей рассматривать имитационное обучение как жизнеспособную форму обучения ИИ. Исследование потенциально может помочь в создании ИИ, способных лучше взаимодействовать с людьми в сложных изменяющихся условиях.