ІІ для змагання з машинного навчання Minecraft

Як повідомляє Nature, скоро відбудеться нове змагання з штучного інтелекту, змагання MineRL, яке заохочуватиме інженерів та програмістів штучного інтелекту створювати програми, здатні навчатися шляхом спостереження та прикладу. Тестовим випадком для цих систем штучного інтелекту стане дуже популярна відеогра Minecraft.

Системи штучного інтелекту досягли деяких вражаючих успіхів у сфері відеоігор. Нещодавно штучний інтелект переміг найкращих гравців світу у стратегічній грі StarCraft II. Однак StarCraft II має визначені цілі, які легше розбити на послідовні кроки, які штучний інтелект може використовувати для навчання. Багато складніше завдання – це навчити штучний інтелект навігації у великих, відкритих sandbox-іграх, таких як Minecraft. Дослідники намагаються допомогти програмам штучного інтелекту навчатися шляхом спостереження та прикладу, і якщо їм це вдасться, вони можуть суттєво зменшити кількість обчислювальної потужності, необхідної для навчання програми штучного інтелекту.

Учасники змагання матимуть чотири дні, щоб створити штучний інтелект, який буде протестований у грі Minecraft, і їм доведеться пройти до восьми мільйонів кроків, щоб навчити свій штучний інтелект. Метою штучного інтелекту є знайти діамант у грі, викопавши його. Вісім мільйонів кроків навчання – це значно коротший часовий проміжок, ніж той, який потрібен для навчання потужних моделей штучного інтелекту сьогодні, тому учасникам змагання потрібно розробити методи, які суттєво покращать існуючі методи навчання.

Підходи, які використовуються учасниками, засновані на типі навчання, який називається імітативним навчанням. Імітативне навчання відрізняється від навчання з підкріпленням, який є популярним методом навчання складних систем, таких як роботизовані руки на заводах або штучні інтелекти, які можуть перемогти людей у грі StarCraft II. Основним недоліком алгоритмів навчання з підкріпленням є те, що вони потребують величезної обчислювальної потужності для навчання, спираючись на сотні або навіть тисячі комп’ютерів, з’єднаних разом для навчання. Натомість імітативне навчання – це значно більш ефективний і менш обчислювально дорогий метод навчання. Алгоритми імітативного навчання намагаються наслідувати, як люди вчаться шляхом спостереження.

Вільям Гасс, кандидат філософських наук з теорії глибокого навчання в Університеті Карнегі-Меллона, сказав Nature, що завдання навчити штучний інтелект досліджувати та вивчати закономірності в середовищі – це надзвичайно складне завдання, але імітативне навчання надає штучному інтелекту базовий рівень знань або хороших припущень про середовище. Це може зробити навчання штучного інтелекту значно швидшим у порівнянні з навчанням з підкріпленням.

Minecraft служить особливо корисним навчальним середовищем з кількох причин. Одна з причин полягає в тому, що Minecraft дозволяє гравцям використовувати прості будівельні блоки для створення складних структур і предметів, а багато кроків, необхідних для створення цих структур, служать осяжними маркерами прогресу, які дослідники можуть використовувати як метрики. Minecraft також дуже популярна, і через це порівняно легко зібрати навчальні дані. Організатори змагання MineRL залучили багатьох гравців Minecraft, щоб продемонструвати різні завдання, такі як створення інструментів і розбиття блоків. За допомогою краудсорсингу генерування даних дослідники змогли захопити 60 мільйонів прикладів дій, які можна виконати в грі. Дослідники надали командам змагання близько 1000 годин відео.

Використовуйте знання, яке люди накопили, каже Рогін Шах, кандидат філософських наук з комп’ютерних наук у Каліфорнійському університеті в Берклі, сказав Nature, що це змагання, ймовірно, перше, яке зосереджується на використанні знань, які люди вже створили, для прискорення навчання штучного інтелекту.

Гасс і інші дослідники сподіваються, що змагання може мати результати з наслідками за межами Minecraft, що призведе до створення кращих алгоритмів імітативного навчання і надихне більше людей розглянути імітативне навчання як життєздатну форму навчання штучного інтелекту. Дослідження можуть потенційно допомогти створити штучні інтелекти, які краще здатні взаємодіяти з людьми в складних, змінних середовищах.