Навчання штучних інтелектів у чистих середовищах робить їх видатними в хаосі

Більшість навчань штучного інтелекту слідує простому принципу: збігайте свої умови навчання з реальним світом. Але нове дослідження з MIT викликає цей фундаментальний припущення у розвитку штучного інтелекту.

Їхнє відкриття? Системи штучного інтелекту часто виконують кращу роботу в непередбачуваних ситуаціях, коли вони навчаються в чистих, простих середовищах – а не в складних умовах, з якими вони зустрічаються під час розгортання. Це відкриття не тільки дивує – воно може суттєво змінити наше розуміння будівництва більш здатних систем штучного інтелекту.

Команда дослідників виявила цю закономірність, працюючи з класичними іграми, такими як Pac-Man і Pong. Коли вони навчили штучний інтелект у передбачуваній версії гри та потім протестували його в непередбачуваній версії, він постійно перевершував штучні інтелекти, навченні безпосередньо в непередбачуваних умовах.

Поза цими ігровими сценаріями це відкриття має наслідки для майбутнього розвитку штучного інтелекту для реальних застосувань, від робототехніки до складних систем прийняття рішень.

Традиційний підхід

До цього часу стандартний підхід до навчання штучного інтелекту слідував чіткій логіці: якщо ви хочете, щоб штучний інтелект працював у складних умовах, навчіть його в тих самих умовах.

Це призвело до:

• навчальних середовищ, розроблених для збігу з реальною складністю
• тестування в декількох складних сценаріях
• великих вкладень у створення реалістичних умов навчання

Але є фундаментальна проблема з цим підходом: коли ви навчаєте системи штучного інтелекту в шумових, непередбачуваних умовах з самого початку, вони борються за вивчення основних закономірностей. Складність середовища заважає їхній здатності зрозуміти фундаментальні принципи.

Це створює кілька ключових проблем:

• навчання стає значно менш ефективним
• системи мають труднощі з ідентифікацією основних закономірностей
• результат часто не відповідає очікуванням
• вимоги до ресурсів збільшуються суттєво

Відкриття команди дослідників пропонує кращий підхід, який полягає у тому, щоб починати з спрощених середовищ, які дозволяють системам штучного інтелекту освоїти основні концепції, перш ніж вводити складність. Це віддзеркалює ефективні методи навчання, де фундаментальні навички створюють основу для обробки більш складних ситуацій.

Ефект внутрішнього навчання: контрінтуїтивне відкриття

Давайте розберемо, що фактично виявили дослідники з MIT.

Команда розробила два типи агентів штучного інтелекту для своїх експериментів:

1. Агенти вивчення: ці були навченні та протестовані в тому самому шумовому середовищі
2. Агенти узагальнення: ці були навченні в чистих середовищах, а потім протестовані в шумових

Для розуміння того, як ці агенти вивчали, команда використала рамкову структуру під назвою Марківські процеси прийняття рішень (MDP). Подумайте про MDP як про карту всіх можливих ситуацій та дій, які може виконати штучний інтелект, разом з ймовірними результатами цих дій.

Потім вони розробили техніку під назвою “Введення шуму”, щоб ретельно контролювати, наскільки непередбачуваними ставали ці середовища. Це дозволило їм створювати різні версії одного й того самого середовища з різними рівнями випадковості.

Що вважається “шумом” у цих експериментах? Це будь-який елемент, який робить результати менш передбачуваними:

• дії не завжди мають однакові результати
• випадкові варіації того, як рухаються речі
• непередбачувані зміни стану

Коли вони провели свої тести, щось несподіване трапилося. Агенти узагальнення – ті, які були навченні в чистих, передбачуваних середовищах – часто краще справлялися з шумовими ситуаціями, ніж агенти, спеціально навченні для цих умов.

Цей ефект був настільки несподіваним, що дослідники назвали його “ефектом внутрішнього навчання”, викликавши роки традиційної мудрості про те, як повинні бути навченні системи штучного інтелекту.

Граючи свій шлях до кращого розуміння

Команда дослідників звернулася до класичних ігор, щоб довести свою точку зору. Чому ігри? Тому що вони пропонують контрольовані середовища, де можна точно виміряти, наскільки добре працює штучний інтелект.

У Pac-Man вони протестували два різних підходи:

1. Традиційний метод: Навчити штучний інтелект у версії, де рухи привидів були непередбачуваними
2. Новий метод: Навчити в простій версії спочатку, а потім протестувати в непередбачуваній

Вони провели подібні тести з Pong, змінивши, як відбивач реагував на управління. Що вважається “шумом” у цих іграх? Приклади включали:

• привиди, які іноді телепортувалися в Pac-Man
• odbivachi, які не завжди реагували послідовно в Pong
• випадкові варіації того, як рухалися елементи гри

Результати були чіткими: Штучні інтелекти, навченні в чистих середовищах, вивчили більш надійні стратегії. Коли вони зустрілися з непередбачуваними ситуаціями, вони краще пристосувалися, ніж їхні аналоги, навченні в шумових умовах.

Цифри підтвердили це. Для обидвох ігор дослідники виявили:

• вищі середні бали
• більш послідовна робота
• краща адаптація до нових ситуацій

Команда виміряла щось на звіть “моделі дослідження” – як штучний інтелект пробував різні стратегії під час навчання. Штучні інтелекти, навченні в чистих середовищах, розробили більш систематичні підходи до вирішення проблем, які виявилися вирішальними для обробки непередбачуваних ситуацій пізніше.

Розуміння науки за успіхом

Механіка за ефектом внутрішнього навчання цікава. Ключем не є лише чисте чи шумове середовище – це те, як системи штучного інтелекту будують своє розуміння.

Коли агенти досліджують чисті середовища, вони розвивають щось важливе: чіткі моделі дослідження. Подумайте про це, як про будівництво ментальної карти. Без шуму, який затуляє картину, ці агенти створюють кращі карти того, що працює, а що ні.

Дослідження виявило три основних принципи:

• Визнання закономірностей: агенти в чистих середовищах ідентифікують справжні закономірності швидше, не відволікаючись на випадкові варіації
• Розробка стратегії: вони будують більш надійні стратегії, які переносяться до складних ситуацій
• Ефективність дослідження: вони відкривають більш корисні пари стан-дія під час навчання

Дані показують щось видатне про моделі дослідження. Коли дослідники виміряли, як агенти досліджували свої середовища, вони виявили чітку кореляцію: агенти з подібними моделями дослідження працювали краще, незалежно від того, де вони були навченні.

Вплив на реальний світ

Наслідки цієї стратегії виходять далеко за межі ігрових середовищ.

Розгляньте навчання роботів для виробництва: замість того, щоб відразу кидати їх у складні симуляції виробництва, ми можемо починати з спрощених версій завдань. Дослідження пропонує, що вони справляться з реальною складністю краще саме так.

Поточні застосування можуть включати:

• розробку робототехніки
• навчання самохідних транспортних засобів
• системи штучного інтелекту для прийняття рішень
• розробку ігор штучного інтелекту

Цей принцип також може покращити наш підхід до навчання штучного інтелекту у всіх галузях. Компанії потенційно можуть:

• знизити витрати на навчання
• будувати більш адаптивні системи
• створювати більш надійні рішення штучного інтелекту

Наступні кроки в цій галузі, ймовірно, будуть досліджувати:

• оптимальний перехід від простих до складних середовищ
• нові методи вимірювання та контролю складності середовища
• застосування в нових галузях штучного інтелекту

Основне

Що почалося як несподіване відкриття в Pac-Man і Pong, розвинулося у принцип, який може змінити розвиток штучного інтелекту. Ефект внутрішнього навчання показує нам, що шлях до будівництва кращих систем штучного інтелекту може бути простішим, ніж ми думали – починати з основ, освоювати фундаментальні принципи, а потім справлятися зі складністю. Якщо компанії приймуть цей підхід, ми можемо побачити швидші цикли розробки та більш здатні системи штучного інтелекту у всіх галузях.

Для тих, хто будує та працює з системами штучного інтелекту, повідомлення чітке: іноді найкращим шляхом вперед є не відтворення кожної складності реального світу під час навчання. Замість цього слід зосередитися на будівництві сильних основ у контрольованих середовищах спочатку. Дані показують, що надійні основні навички часто призводять до кращої адаптації в складних ситуаціях. Продовжуйте спостерігати за цим простором – ми тільки починаємо розуміти, як цей принцип може покращити розвиток штучного інтелекту.