ІІ до змагання у Minecraft з машинного навчання

Як повідомляє Nature, незабаром відбудеться нове змагання з штучного інтелекту, змагання MineRL, яке спонукає інженерів та програмістів штучного інтелекту створювати програми, здатні навчатися шляхом спостереження та прикладу. Тестовим випадком для цих систем штучного інтелекту стане дуже популярна відеогра Minecraft з ремеслом та виживанням.

Системи штучного інтелекту досягли деяких вражаючих успіхів у сфері відеоігор. Нещодавно штучний інтелект переміг найкращих гравців світу у стратегічній грі StarCraft II. Однак StarCraft II має визначені цілі, які легше розбити на чіткі кроки, які штучний інтелект може використовувати для навчання. Багато складніше завдання – навчити штучний інтелект навігації у великому, відкритому світі пісочниці, як Minecraft. Дослідники спрямовані на допомогу програмам штучного інтелекту навчатися шляхом спостереження та прикладу, і якщо їм це вдасться, вони можуть суттєво зменшити кількість обчислювальної потужності, необхідної для навчання програми штучного інтелекту.

Учасники змагання матимуть чотири дні, щоб створити штучний інтелект, який буде протестований у Minecraft, витративши до восьми мільйонів кроків для навчання свого штучного інтелекту. Метою штучного інтелекту є знайти алмаз у грі, викопавши його. Вісім мільйонів кроків навчання – це значно коротший часовий проміжок, ніж час, необхідний для навчання потужних моделей штучного інтелекту сьогодні, тому учасникам змагання потрібно розробити методи, які суттєво покращать існуючі методи навчання.

Підходи, які використовують учасники, засновані на типі навчання, званому імітативним навчанням. Імітативне навчання контрастує з підкріплювальним навчанням, яке є популярним методом навчання складних систем, таких як роботизовані руки на заводах або штучні інтелекти, здатні перемогти людських гравців у StarCraft II. Основним недоліком алгоритмів підкріплювального навчання є те, що вони вимагають величезної обчислювальної потужності для навчання, спираючись на сотні або навіть тисячі комп’ютерів, пов’язаних разом для навчання. Натомість імітативне навчання – це значно більш ефективний і менш обчислювально дорогий метод навчання. Алгоритми імітативного навчання намагаються імітувати, як люди вчаться шляхом спостереження.

Вільям Гасс, кандидат філософських наук з теорії глибокого навчання в Університеті Карнегі-Меллон, пояснив Nature, що завдання отримання штучного інтелекту для дослідження та вивчення закономірностей у середовищі – це надзвичайно складне завдання, але імітативне навчання забезпечує штучний інтелект базовим рівнем знань або добрих припущень про середовище. Це може зробити навчання штучного інтелекту значно швидшим порівняно з підкріплювальним навчанням.

Minecraft служить особливо корисним навчальним середовищем з кількох причин. Однією з причин є те, що Minecraft дозволяє гравцям використовувати прості будівельні блоки для створення складних структур та предметів, а багато кроків, необхідних для створення цих структур, служать осязними маркерами прогресу, які дослідники можуть використовувати як метрики. Minecraft також надзвичайно популярний, і через це порівняно легко зібрати навчальні дані. Організатори змагання MineRL залучили багатьох гравців Minecraft, щоб продемонструвати різні завдання, такі як створення інструментів та розбиття блоків. За допомогою краудсорсингу генерації даних дослідники змогли захопити 60 мільйонів прикладів дій, які можна було здійснити у грі. Дослідники надали приблизно 1000 годин відео командам змагання.

Використовуйте знання, яке люди побудували, каже Рогін Шах, кандидат філософських наук з комп’ютерних наук у Каліфорнійському університеті в Берклі, пояснив Nature, що це змагання, ймовірно, перше, яке зосереджується на використанні знань, які люди вже створили, для прискорення навчання штучного інтелекту.

Гасс та інші дослідники сподіваються, що змагання може мати результати з наслідками, що виходять за межі Minecraft, що призведе до кращих алгоритмів імітативного навчання та надихне більше людей розглянути імітативне навчання як життєздатну форму навчання штучного інтелекту. Дослідження можуть потенційно допомогти створити штучні інтелекти, які краще здатні взаємодіяти з людьми в складних, зміняних середовищах.