Кінець табули раці: Як попередньо натреновані світові моделі переозначають навчання з підкріпленням

Тривалий час основною ідеєю навчання з підкріпленням (RL) було те, що штучні інтелектуальні агенти повинні вивчати кожне нове завдання з нуля, як чистий аркуш. Цей підхід “табула раці” привів до неймовірних досягнень, наприклад, штучні інтелекти освоїли складні ігри. Однак це неймовірно неефективно, оскільки для вивчення навіть простих поведінок потрібно величезна кількість даних і обчислень.

Відбується фундаментальна зміна. Замість початку з нуля агенти можуть використовувати попередньо натреновані “світові моделі“. Ці моделі мають вбудоване знання про те, як працюють середовища, що суттєво скорочує кількість даних і часу, необхідних для вивчення нових завдань. Ця зміна відображає більший тренд у штучному інтелекті, де моделі基础 вже змінили спосіб обробки мовних і візуальних завдань.

Прихована вартість навчання з нуля

Традиційні агенти навчання з підкріпленням стикаються з складною проблемою. їм потрібно вивчити, як виглядає середовище, як воно реагує на їхні дії і які поведінки призводять до нагород. Це велике навантаження на навчання пояснює, чому навіть прості завдання часто вимагають мільйонів взаємодій, перш ніж агент виконує завдання добре. Великомасштабні системи, такі як OpenAI Five, які досягли рівня людини у грі Dota 2, пройшли місяці тренувань і багаторазові зміни дизайну. Кожного разу, коли змінюється архітектура або алгоритм, модель повинна бути перенастроєна з нуля, що робить процес розробки дуже дорогим і тривалим. Ця неефективність ускладнила роботу дослідників, які не мають великомасштабних ресурсів, над обчислювально важкими проблемами. Підхід “табула раці” також марнує багато обчислень, викидаючи все, що агент вже вивчив, щоразу, коли змінюється його дизайн.

Вимоги до даних для навчання “табула раці” особливо складні в робототехніці. Фізичні роботи не можуть зібрати дані так швидко, як симульовані, що робить неможливим виконання мільйонів взаємодій, необхідних для навчання. Проблеми безпеки додають ще один рівень складності, оскільки роботи повинні уникати дій, які можуть завдати шкоди або пошкодити щось.

Світові моделі як симулятори середовищ

Світові моделі беруть приклад з того, як люди вчаться. Діти не починають з чистого аркуша, вони розвивають базове розуміння фізики, людей і простору ще до того, як зможуть формально мислити. Так само штучні інтелектуальні агенти можуть спочатку вивчити про світ, пасивно спостерігаючи за великою кількістю даних, таких як зображення, відео чи симуляції, перш ніж вони зможуть вивчити через нагороди.

Світові моделі є суттєво штучними системами, які вчаться симулювати поведінку середовищ. Замість простого відображення спостережень на дії вони передбачають, як середовище зміниться в відповідь на ці дії. Ця передбачувальна здатність дозволяє агентам уявляти різні сценарії і тестувати можливі дії без дорогих реальних випробувань. По суті, модель діє як внутрішній симулятор, який агент може використовувати для планування своїх дій.

Найбільші прориви були досягнуті шляхом поєднання самонавчання і генеративного моделювання з навчанням з підкріпленням. Методи, такі як Dreamer, World Models і PlaNet, дозволяють агентам уявляти і планувати всередині своїх внутрішніх симуляцій. Замість постійної взаємодії з реальним середовищем вони тренуються всередині цих “уявлених” світів, що робить навчання значно більш ефективним.

Від донастройки до попереднього навчання: зміна підходу в RL

З появою світових моделей область навчання з підкріпленням зараз проходить через ту саму зміну, яка змінила обробку мовних і візуальних завдань. Великі мовні моделі (LLM) здобули вражаючі можливості завдяки попередньому навчанню на величезних кількостях даних і подальшій донастройці для конкретних завдань. Така сама ідея зараз застосовується до навчання з підкріпленням: починається з загального попереднього навчання і потім адаптується до конкретних завдань.

Попередньо натреновані світові моделі змінюють те, що агенти навчання з підкріпленням повинні вивчити. Замість того, щоб визначати, як працює середовище з нуля, агенти тепер фокусуються на адаптації того, що вони вже знають, до конкретної задачі. Інакше кажучи, мета зміщується від вивчення світу до вивчення того, як діяти всередині нього. Ця зміна робить навчання значно швидшим і більш ефективним щодо даних. Наприклад, попередньо натреновані моделі бачення-мови-дії, такі як OpenAI’s Sora і DeepMind’s Genie, дозволяють агентам зрозуміти складні сцени і передбачити наслідки своїх дій. Цій новий підхід перетворює навчання з підкріпленням з однозадачного учня на агента-основу, який може швидко адаптуватися до багатьох різних областей з мінімальною донастройкою або підказкою. Цей підхід також дозволяє агентам розв’язувати завдання з значно меншою кількістю даних, ніж традиційні методи, зберігаючи або покращуючи остаточну продуктивність. Це великий крок до створення штучних інтелектуальних систем, які можуть вивчити швидко, адаптуватися гладко і працювати ефективно в широкому діапазоні реальних завдань.

Як світові моделі забезпечують інтелект

У своїй основі світові моделі перетворюють досвід у компактні, передбачувальні представлення. Вони можуть відповісти на питання типу: “Що станеться далі, якщо я зроблю Х?” або “Яка послідовність дій досягає Й?”. Ця передбачувальна здатність вводить три ключові переваги для агентів навчання з підкріпленням:

1. Симуляція без взаємодії: Агенти можуть вивчити, уявляючи тисячі можливих майбутніх станів всередині своєї світової моделі, ліквідуючи дорогі реальні дослідження.
2. Планування і міркування: З внутрішньою моделлю агент може оцінити довгострокові результати і приймати рішення за межами реактивної поведінки.
3. Перенос навчання: Оскільки світові моделі захоплюють загальну структуру, вони можуть бути повторно використані в різних завданнях, суттєво скорочуючи витрати на перенастройку.

Поява екосистеми попередньо натренованих агентів

Однією з найбільш вражаючих можливостей добре натренованих світових моделей є нуль-шотове розв’язування завдань. У нуль-шотовому навчанні з підкріпленням агент може обробляти нові завдання без додаткового навчання або планування. Це фундаментальна зміна від нагородо-орієнтованого навчання з підкріпленням до керованих агентів, які слідують довільним інструкціям. Такі агенти можуть адаптуватися до різних цілей, уявляючи сценарії, як великі мовні моделі використовують підказки для виконання різних завдань.

Ціла екосистема формується навколо цієї концепції. Ведучі дослідницькі лабораторії будують загальні агенти-основи, які можуть працювати в тексті, зору, робототехніці і симуляції. Проекти, такі як OpenAI’s Sora і Google (GOOGL ) DeepMind’s World Model RL, є ранніми прикладами таких агентів. Ці системи інтегрують багатомодальну сприйняття, пам’ять і контроль у єдиний.framework, який може міркувати про фізичні і цифрові середовища.

Водночас зростання Навчання з підкріпленням як послуга (RLaaS) робить ці інструменти широко доступними. Замість будівництва агентів з нуля розробники можуть донаструвати попередньо натреновані моделі рішень для робототехніки, ігор або промислової автоматизації. Це подібно до того, як LLM як послуга змінила мовні додатки. Ці розробки зміщують фокус від “навчання агента” до “розгортання інтелекту”, знижуючи бар’єри входу і розширюючи реальну придатність.

Виклики і відкриті питання

Незважаючи на великий потенціал, попереднє натренування світових моделей все ще є новою областю з кількома відкритими викликами. Однією з основних проблем є зміщення моделі. Якщо попередньо натренована модель має неповне або спотворене розуміння світу, це може привести агентів до вивчення дефектної поведінки. Масштабованість також є перешкодою, оскільки будівництво точних світових моделей для складних, високо вимірних або непередбачуваних середовищ вимагає значних обчислювальних ресурсів. Є також проблема ґрунтування і розриву реальності, коли моделі, натреновані на симульованих або інтернет-орієнтованих даних, борються з надійною роботою в реальних фізичних умовах. Нарешті, оскільки штучні інтелектуальні агенти стають більш автономними, питання безпеки і етики стають дедалі важливішими, роблячи безпечне дослідження і правильну орієнтацію суттєво важливими. Подолання цих викликів буде вимагати прогресу в таких областях, як інтерпретація моделей, оцінка неоднозначності і навчання, орієнтоване на безпеку.

Основне

Навчання з підкріпленням проходить через фундаментальну зміну, рухаючись від навчання штучного інтелекту з нуля для кожного нового завдання. Використовуючи попередньо натреновані “світові моделі”, які діють як внутрішні симулятори того, як працюють середовища, агенти тепер можуть вивчити нові завдання з значно меншою кількістю даних і часу. Це перетворює навчання з підкріпленням з вузького, неефективного процесу на більш гнучкий і масштабований підхід, відкриваючи шлях для штучного інтелекту, який може швидко адаптуватися до реальних завдань.