Моделі та платформи ШІ

EUREKA: Проектування винагород на рівні людини за допомогою великих мовних моделей

Kunal Kejriwal
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиEUREKA використовує LLM для генерації кодів винагороди, які перевершують функції…
Показати більше
  • EUREKA використовує LLM для генерації кодів винагороди, які перевершують функції, розроблені людьми, для завдань маніпулювання роботами.
  • Фреймворк застосовує еволюційний пошук та підказки середовища як контекст для ітеративного вдосконалення функцій винагороди без ручного проектування.
  • EUREKA впроваджує безградієнтний метод навчання в контексті для RLHF, що дозволяє генерувати винагороди, узгоджені з людськими цінностями, на основі зворотного зв'язку.

Зважаючи на досягнення великих мовних моделей за останні роки, не дивно, чому ці моделі успішно використовуються як семантичні планувальники для послідовних завдань високого рівня. Однак розробники все ще стикаються з труднощами при використанні повного потенціалу цих моделей для навчання складним завданням низького рівня. Незважаючи на їхню ефективність, сучасні великі мовні моделі вимагають значної предметної та галузевої експертизи для навчання навіть простих навичок або створення текстових підказок, що створює значний розрив між їхніми можливостями та можливостями людини.

Щоб подолати цей розрив, розробники з Nvidia (NVDA ), CalTech, UPenn та інших установ представили EUREKA, алгоритм проектування винагород на основі великих мовних моделей. EUREKA спрямований на використання можливостей великих мовних моделей, включаючи написання коду, покращення в контексті та генерацію вмісту без попередніх прикладів (zero-shot), для здійснення безпрецедентної оптимізації кодів винагород. Ці коди винагород, у поєднанні з навчання з підкріпленням, дозволяють моделям навчатися складним завданням або виконувати маніпуляції.

У цій статті ми розглянемо фреймворк EUREKA з точки зору розробника, досліджуючи його структуру, принцип роботи та результати, яких він досягає при генерації функцій винагород. Ці функції, як стверджують розробники, перевершують ті, що генеруються людиною. Ми також розглянемо, як фреймворк EUREKA відкриває новий підхід до RLHF (навчання з підкріпленням за допомогою зворотного зв’язку від людини) шляхом забезпечення безградієнтного навчання в контексті. Давайте почнемо.

EUREKA: Введення

Сьогодні передові великі мовні моделі, такі як GPT-3 та GPT-4, демонструють видатні результати при виконанні завдань високого рівня, але розробники все ще шукають способи покращити їхню продуктивність при навчанні завдань низького рівня, таких як спіннінг ручки. Крім того, розробники спостерігали, що навчання з підкріпленням можна використовувати для досягнення сталих результатів у умовах, що вимагають спритності, та інших галузей, якщо винагороди спроектовані людьми та здатні забезпечити сигнали навчання для сприятливої поведінки. Коли порівнюємо завдання навчання з підкріпленням у реальному світі, які приймають розріджені винагороди, складно для моделі навчатися законам. Тому формування винагород забезпечує необхідні інкрементальні сигнали навчання. Крім того, функції винагород, незважаючи на їхню важливість, дуже складні у проектуванні, а субоптимальний дизайн цих функцій часто призводить до небажаної поведінки.

Щоб подолати ці виклики та максимізувати ефективність цих токенів винагород, фреймворк EUREKA або Еволюційний Універсальний Винагороди Кит для Агента спрямований на виконання наступних внесків.

  1. Досягнення рівня людини при проектуванні функцій винагород.
  2. Ефективне розв’язання завдань маніпуляції без використання ручного проектування винагород.
  3. Генерація більш людських та ефективних функцій винагород шляхом введення нового безградієнтного підходу навчання в контексті замість традиційного методу RLHF.

Є три ключові алгоритмічні рішення, які розробники обрали для покращення загальності EUREKA: еволюційний пошук, середовище як контекст та віддзеркалення винагород. По-перше, фреймворк EUREKA приймає вихідний код середовища як контекст для генерації виконуваних функцій винагород у режимі без попередніх прикладів (zero-shot). Після цього фреймворк здійснює еволюційний пошук для покращення якості своїх винагород суттєво, пропонує партії кандидатів на винагороди з кожною ітерацією або епохою та розвиває ті, які він вважає найбільш перспективними. На третьому та останньому етапі фреймворк використовує віддзеркалення винагород для того, щоб зробити покращення винагород у контексті більш ефективним, процес, який в кінцевому підсумку допомагає фреймворк забезпечити цілеве та автоматизоване редагування винагород за допомогою текстового підсумовування якості цих винагород на основі статистики навчання політики. Наступна фігура дає вам короткий огляд того, як працює фреймворк EUREKA, а в наступному розділі ми будемо говорити про архітектуру та принцип роботи у більшій деталі.

EUREKA: Архітектура моделі та постановка задачі

Основна мета формування винагород полягає у поверненні сформованої або відібраної функції винагород для фактичної функції винагород, яка може бути складною при прямій оптимізації, наприклад, розріджені винагороди. Крім того, дизайнери можуть використовувати лише запити для доступу до цих фактичних функцій винагород, що є причиною, по якій фреймворк EUREKA обирає генерацію винагород, програмне середовище синтезу на основі RDP або проблеми проектування винагород.

Проблема проектування винагород або RDP є кортежем, який містить модель світу з простором стану, простором функцій винагород, функцією переходу та простором дій. Алгоритм навчання оптимізує винагороди шляхом генерації політики, яка призводить до процесу Маркова, який виробляє скалярну еволюцію будь-якої політики, і може бути доступна лише за допомогою запитів політики. Основна мета RDP полягає у виведенні функції винагород таким чином, щоб політика могла досягти максимального балу придатності. У постановці задачі EUREKA розробники вказали кожну компоненту проблеми проектування винагород за допомогою коду. Крім того, для заданої строки, яка вказує деталі завдання, основна мета проблеми генерації винагород полягає у генерації коду функції винагород для максимізації балу придатності.

Далі, у своєму ядрі, є три фундаментальні алгоритмічні компоненти у фреймворк EUREKA. Еволюційний пошук (ітеративне висування та вдосконалення кандидатів), середовище як контекст (генерація виконуваних винагород у режимі без попередніх прикладів (zero-shot)) та віддзеркалення винагород (для забезпечення тонкого покращення винагород). Псевдокод алгоритму проілюстрований у наступній картинці.

Середовище як контекст

На сьогодні великі мовні моделі потребують специфікацій середовища як вхідних даних для проектування винагород, тоді як фреймворк EUREKA пропонує подавати вихідний код середовища безпосередньо як контекст, без коду винагород, що дозволяє великим мовним моделям приймати модель світу як контекст. Підхід, який слідує EUREKA, має дві основні переваги. По-перше, великі мовні моделі для кодування тренуються на рідних наборах коду, написаних існуючими мовами програмування, такими як C, C++, Python, Java тощо, що є фундаментальною причиною, по якій вони краще генерують кодові виходи, коли їм дозволено безпосередньо складати код у синтаксисі та стилі, на яких вони були треновані. По-друге, використання вихідного коду середовища зазвичай розкриває середовища, що беруть участь семантично, та змінні, які підходять для використання у спробі вивести функцію винагород згідно зі заданим завданням. На основі цих знань фреймворк EUREKA інструктує велику мовну модель повернути більш виконуваний код Python безпосередньо за допомогою лише порад з форматування та загальних проектів винагород.

Еволюційний пошук

Включення еволюційного пошуку у фреймворк EUREKA спрямоване на подання природного рішення проблем субоптимальності та помилок під час виконання, про які згадувалося раніше. З кожною ітерацією або епохою фреймворк генерує незалежні виходи великої мовної моделі, і якщо генерації є всі незалежними та однаково розподілені, то він експоненційно зменшує ймовірність винагород під час ітерацій бути помилковими, залежно від кількості зразків, які збільшуються з кожною епохою.

На наступному етапі фреймворк EUREKA використовує виконувані функції винагород з попередньої ітерації для виконання мутації винагород у контексті, а потім пропонує нову та покращену функцію винагород на основі текстової зворотного зв’язку. Фреймворк EUREKA, у поєднанні з покращенням у контексті та здатністю великих мовних моделей дотримуватися інструкцій, здатний вказати оператор мутації як текстову підказку та пропонує метод використання текстового підсумовування навчання політики для зміни існуючого коду винагород.

Віддзеркалення винагород

Щоб заснувати мутації винагород у контексті, необхідно оцінити якість згенерованих винагород та, що ще важливіше, виразити їх словами, і фреймворк EUREKA вирішує це шляхом використання простої стратегії надання числових оцінок як оцінки винагород. Коли функція придатності завдання служить цілісною метрикою для фактичної істини, вона не визначає внесок окремих компонентів та не може забезпечити жодної корисної інформації про те, чому функція винагород працює або чому вона не працює. Тому у спробі забезпечити більш цілеве та тонке діагнозування винагород фреймворк пропонує використовувати автоматичну зворотний зв’язок для підсумовування динаміки навчання політики у тексті. Крім того, у програмі винагород функції винагород у фреймворк EUREKA запитують окремо виділити свої компоненти, що дозволяє фреймворк відстежувати скалярні значення кожного унікального компонента винагород на контрольних точках політики під час всього періоду навчання.

Хоча процедура винагород, яку слідує фреймворк EUREKA, проста у конструкції, вона є важливою через алгоритмічно-залежний характер оптимізації винагород. Це означає, що ефективність функції винагород прямо залежить від вибору алгоритму навчання з підкріпленням, а з зміною гіперпараметрів винагорода може працювати по-різному навіть з тим же оптимізатором. Тому фреймворк EUREKA здатний редагувати записи більш ефективно та вибірково під час синтезу функцій винагород, які перебувають у покращеній синергії з алгоритмом навчання з підкріпленням.

Навчання та базові показники

Є два основних компоненти навчання у фреймворк EUREKA: навчання політики та оцінка метрик винагород.

Навчання політики

Остаточна функція винагород для кожного окремого завдання оптимізується за допомогою того самого алгоритму навчання з підкріпленням за допомогою того самого набору гіперпараметрів, які налаштовані для того, щоб людьми спроектовані винагороди працювали добре.

Оцінка метрик винагород

Оскільки метрика завдання змінюється за масштабом та семантичним значенням з кожним завданням, фреймворк EUREKA повідомляє про бал, нормалізований відносно людських рішень, метрику, яка забезпечує цілісну міру для порівняння того, як він працює порівняно з експертними людьми, згенерованими винагороди згідно з метриками фактичної істини.

Далі, є три основні базові показники: L2R, Людина, та Розріджена.

L2R

L2R є двостадійним рішенням великої мовної моделі для генерації шаблонних винагород. По-перше, велика мовна модель заповнює шаблон природної мови для середовища та завдання, вказаних у природній мові, а потім друга велика мовна модель перетворює цей “опис руху” у код, який пише функцію винагород шляхом виклику набору вручну написаних примітивів API винагород.

Людина

Базові показники Людина являють собою оригінальні функції винагород, написані дослідниками навчання з підкріпленням, що представляють результати людського проектування винагород на безпрецедентному рівні.

Розріджена

Базові показники Розріджена схожі на функції придатності та використовуються для оцінки якості винагород, згенерованих фреймворк.

Результати та підсумки

Щоб проаналізувати продуктивність фреймворк EUREKA, ми оцінимо його за різними параметрами, включаючи його продуктивність порівняно з людськими винагородами, покращення результатів з часом, генерацію нових винагород, забезпечення цілевого покращення, та роботу з зворотним зв’язком від людини.

EUREKA перевершує людські винагороди

Наступна фігура ілюструє агреговані результати за різними бенчмарками, і як можна чітко побачити, фреймворк EUREKA або перевершує, або працює на рівні з людськими винагородами на завданнях Dexterity та Issac. На відміну від цього, базові показники L2R демонструють подібну продуктивність на низьковимірних завданнях, але коли йдеться про високовимірні завдання, розрив у продуктивності досить суттєвий.

Постійне покращення з часом

Одним із основних переваг фреймворк EUREKA є його здатність постійно покращувати та підвищувати свою продуктивність з часом з кожною ітерацією, і результати демонструються на наступній картинці.

Як можна чітко побачити, фреймворк постійно генерує кращі винагороди з кожною ітерацією, і він також покращує та в кінцевому підсумку перевершує продуктивність людських винагород, завдяки використанню підходу еволюційного пошуку винагород у контексті.

Генерація нових винагород

Новизна винагород фреймворк EUREKA можна оцінити шляхом розрахунку кореляції між людськими та EUREKA-винагородами на всіх завданнях Issac. Ці кореляції потім наносяться на графік або карту проти балів, нормалізованих відносно людських рішень, причому кожна точка на графіку представляє окрему винагороду EUREKA для кожного окремого завдання. Як можна чітко побачити, фреймворк EUREKA переважно генерує слабо корельовані функції винагород, які перевершують людські функції винагород.

Забезпечення цілевого покращення

Щоб оцінити важливість додавання віддзеркалення винагород до зворотного зв’язку винагород, розробники оцінили абляцію, фреймворк EUREKA без віддзеркалення винагород, який зменшує підказки зворотного зв’язку до тих, які складаються лише зі сніпшот-значень. При виконанні завдань Issac розробники спостерігали, що без віддзеркалення винагород фреймворк EUREKA свідчив про зниження середнього нормалізованого балу приблизно на 29%.

Робота з зворотним зв’язком від людини

Щоб легко включити широкий спектр входів для генерації людських та більш ефективних функцій винагород, фреймворк EUREKA, окрім автоматичного проектування винагород, вводить новий безградієнтний підхід навчання у контексті до навчання з підкріпленням за допомогою зворотного зв’язку від людини, і були дві суттєві спостереження.

  1. EUREKA може виграти та покращитися з людських функцій винагород.
  2. Використання зворотного зв’язку від людини для віддзеркалення винагород індукує відповідну поведінку.

Наведена вище фігура демонструє, як фреймворк EUREKA демонструє суттєве підвищення продуктивності та ефективності за допомогою ініціалізації людських винагород, незалежно від якості людських винагород, що свідчить про те, що якість базових винагород не має суттєвого впливу на можливості покращення винагород у контексті фреймворк.

Наведена вище фігура ілюструє, як фреймворк EUREKA не тільки може індукувати стратегії, краще узгоджені з людськими вимогами, але також може змінити винагороди шляхом включення зворотного зв’язку від людини.

Остатні думки

У цій статті ми говорили про EUREKA, алгоритм проектування винагород на рівні людини, який намагається використовувати різні можливості великих мовних моделей, включаючи написання коду, покращення у контексті та генерацію вмісту без попередніх прикладів (zero-shot), для здійснення безпрецедентної оптимізації кодів винагород. Код винагороди разом з навчання з підкріпленням може бути використаний цими моделями для навчання складним завданням або виконанню маніпуляцій. Без людського втручання чи завдань-специфічного проектування підказок фреймворк демонструє рівень людини при генерації винагород на широкому спектрі завдань, і його основна сила полягає у навчанні складним завданням з підходом навчання за програмою з поступовим ускладненням завдань (curriculum learning).

Загалом, суттєва продуктивність та універсальність фреймворк EUREKA свідчать про потенціал поєднання еволюційних алгоритмів з великими мовними моделями, який може привести до масштабованого та загального підходу до проектування винагород, і цей висновок може бути застосовний до інших відкритих пошукових завдань.

Kunal Kejriwal — бекенд‑інженер, який спеціалізується на Python, PostgreSQL, Redis та хмарній інфраструктурі в GCP і AWS. Має три роки досвіду у створенні та масштабуванні програмних систем у робочому середовищі, пише про інфраструктуру ШІ, розподілені системи та архітектуру розгортання навантажень машинного навчання.