Що таке оптимізація безпосередньо за вподобаннями (DPO)? Простіша альтернатива RLHF

Оптимізація безпосередньо за вподобаннями навчає політику на парах бажаних і відхилених відповідей, використовуючи цільову функцію класифікаційного типу, прив’язану до референтної моделі.

Оптимізація безпосередньо за вподобаннями потребує точного пояснення, адже її назва позначає конкретний потік інформації, спосіб навчання, механізм під час виконання або межу управління. Якщо вважати її синонімом «передового ШІ», твердження про неї неможливо перевірити. У цьому посібнику ми простежимо шлях від вхідних даних і припущень до спостережуваного результату, а потім перевіримо спрощене пояснення, яке найімовірніше можна з нею сплутати.

Оптимізація безпосередньо за вподобаннями: визначення, межі та призначення

Оптимізація безпосередньо за вподобаннями навчає політику на парах бажаних і відхилених відповідей, використовуючи цільову функцію класифікаційного типу, прив’язану до референтної моделі. Це визначення передбачає три практичні умови: наявність чітко визначених вхідних даних, перетворення або рішення, характерного для оптимізації безпосередньо за вподобаннями, і результату, який можна оцінити відповідно до визначеної цілі. Якщо бракує хоча б одного з цих елементів, термін може описувати прагнення, а не реалізований механізм.

Сучасні стеки ШІ вибудовують рівні абстракції один над одним: репрезентації слугують основою для архітектур, попереднє навчання формує багаторазово використовувані можливості, адаптація змінює поведінку, а оптимізація розгортання визначає, що можна реалізувати на практиці. Для оптимізації безпосередньо за вподобаннями такий погляд на систему важливий, адже на її ефективність можуть впливати дані, інтерфейси, апаратне забезпечення, дозволи й люди, які її оточують, навіть якщо базова модель не змінюється. Тому корисне пояснення розмежовує засвоєну моделлю поведінку та продукт, який визначає, коли, де і з якими повноваженнями її застосовують.

Найближче оманливе спрощення — це конвеєри RLHF, у яких спочатку навчають модель винагороди, а потім оптимізують політику за допомогою навчання з підкріпленням. Такий підхід може мати помітну спільну рису з оптимізацією безпосередньо за вподобаннями, однак він змінює причинно-наслідкову картину: успіх підтверджуватимуть інші докази, на витрати найбільше впливатимуть інші ресурси, а для запобігання шкоді знадобляться інші засоби контролю. Отже, межа між ними операційна, а не термінологічна.

П’ятиетапна схема роботи оптимізації безпосередньо за вподобаннями

Діаграма — це стислий причинно-наслідковий опис оптимізації безпосередньо за вподобаннями, а не твердження, що в кожній реалізації використовують п’ять програмних компонентів. Одні системи поєднують етапи, а інші повторюють їх циклічно. Ця схема залишається корисною, бо вимагає визначити відповідального за кожну зміну інформації або повноважень, а також зазначити вхідні дані, результат і спосіб перевірки.

1. Збирання запитів із парами ранжованих відповідей: вхідні дані й припущення в оптимізації безпосередньо за вподобаннями

На цьому етапі оптимізації безпосередньо за вподобаннями система має зібрати запити з парами ранжованих відповідей. Важливо запитувати не лише, чи відбувається ця операція, а й яку інформацію вона використовує, який стан змінює та які докази підтверджують правильність цієї зміни. Рецензент має вміти відрізнити цю операцію від конвеєрів RLHF, у яких спочатку навчають модель винагороди, а потім оптимізують політику за допомогою навчання з підкріпленням, і відтворити її результат за тих самих визначених умов.

Передавання даних на цей етап оптимізації безпосередньо за вподобаннями починається з визначеної цілі й має завершитися результатом, на основі якого можна оцінити відносну перевагу політики. Зафіксуйте невизначеність, відхилені альтернативи, використані ресурси та будь-який контроль, здійснюваний людиною або програмним забезпеченням на цьому етапі. Завдяки такому запису команди можуть виявити, чи не винагороджують дані про вподобання стиль, багатослівність або упередженість анотаторів замість фактичної правильності, перш ніж ця сама вада позначиться на важливому результаті.

2. Оцінювання відносної переваги політики: репрезентація чи рішення в оптимізації безпосередньо за вподобаннями

На цьому етапі оптимізації безпосередньо за вподобаннями система має оцінити відносну перевагу політики. Важливо запитувати не лише, чи відбувається ця операція, а й яку інформацію вона використовує, який стан змінює та які докази підтверджують правильність цієї зміни. Рецензент має вміти відрізнити цю операцію від конвеєрів RLHF, у яких спочатку навчають модель винагороди, а потім оптимізують політику за допомогою навчання з підкріпленням, і відтворити її результат за тих самих визначених умов.

Передавання на цьому етапі прямої оптимізації за вподобаннями починається зі збирання запитів із ранжованими парами відповідей і має завершуватися результатом, на основі якого можна порівняти її з референтною політикою. Фіксуйте невизначеність, відхилені альтернативи, використані ресурси та будь-який людський або програмний контроль на цьому етапі. Саме за цими записами команди можуть виявити, чи не винагороджують дані про вподобання стиль, багатослівність або упередженість анотувальників замість фактичної правильності, перш ніж та сама вада призведе до серйозних наслідків у результаті роботи системи.

3. Порівняння з референтною політикою: характерне перетворення в прямій оптимізації за вподобаннями

На цьому етапі прямої оптимізації за вподобаннями система має порівняти її з референтною політикою. Важливо не лише з’ясувати, чи відбувається ця операція, а й визначити, яку інформацію вона використовує, який стан змінює та які докази підтверджують правомірність цієї зміни. Рецензент має вміти відрізнити цю операцію від конвеєрів RLHF, у яких спочатку навчають модель винагороди, а потім оптимізують політику за допомогою навчання з підкріпленням, а також відтворити її результат за тих самих заявлених умов.

Передавання на цьому етапі прямої оптимізації за вподобаннями починається з оцінювання відносної переваги політики й має завершуватися результатом, на основі якого можна безпосередньо оновити модель за цільовою функцією вподобань. Фіксуйте невизначеність, відхилені альтернативи, використані ресурси та будь-який людський або програмний контроль на цьому етапі. Саме за цими записами команди можуть виявити, чи не винагороджують дані про вподобання стиль, багатослівність або упередженість анотувальників замість фактичної правильності, перш ніж та сама вада призведе до серйозних наслідків у результаті роботи системи.

4. Безпосереднє оновлення моделі на основі цільової функції вподобань: межа обмежень і перевірки в прямій оптимізації за вподобаннями

На цьому етапі прямої оптимізації за вподобаннями система має безпосередньо оновити модель на основі цільової функції вподобань. Важливо не лише з’ясувати, чи відбувається ця операція, а й визначити, яку інформацію вона використовує, який стан змінює та які докази підтверджують правомірність цієї зміни. Рецензент має вміти відрізнити цю операцію від конвеєрів RLHF, у яких спочатку навчають модель винагороди, а потім оптимізують політику за допомогою навчання з підкріпленням, а також відтворити її результат за тих самих заявлених умов.

Передавання на цьому етапі прямої оптимізації за вподобаннями починається з порівняння з референтною політикою й має завершуватися результатом, на основі якого можна оцінити корисність і небажані зміни. Фіксуйте невизначеність, відхилені альтернативи, використані ресурси та будь-який людський або програмний контроль на цьому етапі. Саме за цими записами команди можуть виявити, чи не винагороджують дані про вподобання стиль, багатослівність або упередженість анотувальників замість фактичної правильності, перш ніж та сама вада призведе до серйозних наслідків у результаті роботи системи.

5. Оцінювання корисності й небажаних змін: результат, зворотний зв’язок і правило зупинки у прямій оптимізації за вподобаннями

На цьому етапі прямої оптимізації за вподобаннями система має оцінити корисність і небажані зміни. Важливо не лише з’ясувати, чи відбувається ця операція, а й визначити, яку інформацію вона використовує, який стан змінює та які докази підтверджують правомірність цієї зміни. Рецензент має вміти відрізнити цю операцію від конвеєрів RLHF, у яких спочатку навчають модель винагороди, а потім оптимізують політику за допомогою навчання з підкріпленням, а також відтворити її результат за тих самих заявлених умов.

Передавання на цьому етапі прямої оптимізації за вподобаннями починається з безпосереднього оновлення моделі на основі цільової функції вподобань і має завершуватися результатом, придатним для моніторингу або ухвалення остаточного рішення. Фіксуйте невизначеність, відхилені альтернативи, використані ресурси та будь-який людський або програмний контроль на цьому етапі. Саме за цими записами команди можуть виявити, чи не винагороджують дані про вподобання стиль, багатослівність або упередженість анотувальників замість фактичної правильності, перш ніж та сама вада призведе до серйозних наслідків у результаті роботи системи.

Щоб зрозуміти, як пряма оптимізація за вподобаннями працює у виробничому середовищі, простежте її етапи вперед; щоб діагностувати збій — у зворотному напрямку. Аналіз у прямому напрямку показує, як один етап забезпечує наступний. Зворотний аналіз починається з неправильного, повільного, дорогого або небезпечного результату й дає змогу простежити, яке попереднє припущення його уможливило. Саме під час такого зворотного аналізу команда часто виявляє, що вирішальна помилка сталася ще до того, як модель щось видала.

Приклад прямої оптимізації за вподобаннями

Маючи дві відповіді, DPO підвищує відносну ймовірність тієї, якій надають перевагу, не запускаючи онлайн-цикл оптимізації винагороди.

Цей приклад показовий, оскільки пряму оптимізацію за вподобаннями можна оцінити за спостережуваними вхідними даними, проміжними станами та результатом, а не за відшліфованою демонстрацією. Для ретельного тестування слід створити звичайні, складні й навмисно оманливі випадки на основі цього сценарію, зберегти базовий варіант без цієї методики та зафіксувати як середню якість роботи, так і серйозність окремих помилок.

Змініть одне припущення у прикладі прямої оптимізації за вподобаннями й повторіть аналіз. Приберіть обов’язковий вхідний параметр, додайте суперечливий сигнал, обмежте обчислювальні ресурси, змініть склад користувачів або змусьте систему утриматися від відповіді. Якщо механізм працює лише в межах однієї ретельно підготовленої демонстрації, це ще не доводить, що він узагальнює знання для робочого середовища.

Пряма оптимізація за вподобаннями та її найпоширеніше спрощене трактування

Пряму оптимізацію переваг часто зводять до конвеєрів RLHF, у яких спочатку навчають модель винагороди, а потім оптимізують політику за допомогою навчання з підкріпленням. Таке спрощення стирає саме ту межу, яка визначає це поняття. Через це покупці можуть порівнювати несумісні продукти, дослідники — перебільшувати значення результатів експерименту, а фахівці з експлуатації — відстежувати не той показник після розгортання системи.

У порівнянні також слід визначити одиницю аналізу. У дослідженні прямої оптимізації переваг може розглядатися окрема модель або алгоритм, тоді як розгорнутий сервіс додає пошук і отримання даних, маршрутизацію, кешування, політики, ідентифікацію, користувацькі інтерфейси та моніторинг. Два продукти можуть використовувати однаковий загальний термін, але реалізовувати різні компоненти цього стеку. З’ясуйте, який компонент виконує визначальну трансформацію і які інші компоненти потрібні для досягнення заявленого результату.

Чому пряма оптимізація переваг важлива для сучасних систем ШІ

Пряма оптимізація переваг важлива сьогодні, адже системам ШІ надають більший контекст, більше модальностей, більше обчислювальних ресурсів під час виконання, ширший доступ до інструментів і тісніший зв’язок із процесом ухвалення рішень в організаціях. За таких умов те, що раніше здавалося суто дослідницькою деталлю, може визначати затримку, безпеку, доступність, вплив на довкілля, якість продукту або юридичну відповідальність.

Важливо не те, чи може пряма оптимізація переваг дати один вражаючий результат, а те, чи покращує ця методика важливий результат у репрезентативних умовах і чи робить це ефективніше за простішу базову модель. Звітуйте про розподіли, категорії збоїв, затримку на верхніх перцентилях, використання ресурсів і групи користувачів, яких це стосується, замість того щоб зводити всі результати до одного середнього значення.

Оптимальний технічний вибір залежить від робочого навантаження та апаратного забезпечення. Порівняйте з простою базовою моделлю, оцініть якість на репрезентативних вибірках і відстежуйте використання пам’яті, затримку, вартість і зручність супроводу поряд із точністю на тестових наборах. Якщо застосовувати такий підхід саме до прямої оптимізації переваг, результати можна буде переносити на інші умови: інша команда зможе оцінити, чи збережеться заявлений приріст за використання іншої моделі, мови, апаратної платформи, набору даних, групи користувачів або рівня схильності до ризику.

Переваги, які може дати пряма оптимізація переваг

Найвагоміша причина застосовувати пряму оптимізацію переваг — її здатність безпосередньо усувати проблему, для розв’язання якої її призначено. Залежно від реалізації перевага може полягати в кращому обґрунтуванні відповідей, точнішому відтворенні інформації, кращому узагальненні, меншій затримці, скороченні обміну даними з пам’яттю, чіткішій підзвітності або надійнішому розмежуванні між пропозицією моделі та реальною дією.

Переваги слід описувати через рішення та вимірювання. «Більша інтелектуальність» — не критерій прийнятності для прямої оптимізації переваг. Корисна ціль може визначати частоту помилок у складних випадках, здатність відновити правильну відповідь після появи суперечливих доказів, вартість на певному перцентилі трафіку, час перевірки людиною, калібрування або частку дій, що залишаються в межах визначених повноважень.

Недолік, що визначає пряму оптимізацію переваг

Головне обмеження полягає в тому, що дані про переваги можуть винагороджувати стиль, багатослівність або упередженість анотаторів замість фактичної правильності. Цей недолік не слід вважати другорядним і згадувати лише після завершення розробки. Він має від самого початку визначати збір даних, архітектуру, дозволи, оцінювання, критерії випуску та моніторинг системи прямої оптимізації переваг.

Контрольний захід для оптимізації безпосередньо за вподобаннями корисний лише тоді, коли спрацьовує до того, як настане значний або незворотний наслідок. Визначте найранішу спостережувану ознаку наближення збою, установіть порогове значення або правило, призначте відповідального та перевірте можливість відновлення. Залежно від випадку використання, відновлення може означати відмову від відповіді, перехід до простішої системи, запит додаткових доказів, передавання питання людині, відкат моделі або повне припинення дії.

План оцінювання оптимізації безпосередньо за вподобаннями

Почніть оцінювання оптимізації безпосередньо за вподобаннями з формулювання рішення, яке мають обґрунтувати докази. Визначте цільову сукупність користувачів, наслідки помилкового результату, інформацію, фактично доступну на момент ухвалення рішення, і найпростішу переконливу альтернативу. Це не дасть перетворити тестовий набір на самоціль лише тому, що його легко запустити.

Для контрольованих порівнянь використовуйте незмінений тестовий набір, а потім перевірте оптимізацію безпосередньо за вподобаннями в поетапному робочому середовищі. Оцінювання офлайн дає змогу порівнювати варіанти; тіньовий режим, канаркові розгортання, обмеження частоти запитів або етапи погодження допомагають виявити, як реальний трафік, цикли зворотного зв’язку та люди змінюють поведінку. Для етапу розгортання слід чітко визначити умову зупинки, а не вважати, що кожне покращення заслуговує на повномасштабне впровадження.

Версіонуйте дані, потрібні для відтворення оптимізації безпосередньо за вподобаннями: вихідні дані, попередню обробку, токенізатор або енкодер, ваги моделі, конфігурацію, промпт або політику, індекс пошуку, набір для оцінювання, припущення щодо апаратного забезпечення та код обслуговування — залежно від потреби. Без відстеження походження команда не зможе з’ясувати, чи змінився результат через методику, середовище або непомітну зміну в конвеєрі.

Насамкінець з’ясуйте, який результат спростував би твердження, що оптимізація безпосередньо за вподобаннями приносить користь. Якщо жоден результат не міг би змінити рішення про впровадження, таке оцінювання є маркетингом. Заздалегідь визначені порогові значення прийнятності та збережений контрольний набір перетворюють цю роботу на доказову перевірку.

Що варто з’ясувати перед упровадженням оптимізації безпосередньо за вподобаннями

• Мета: Яке вимірюване вузьке місце має усунути оптимізація безпосередньо за вподобаннями?
• Механізм: На якому з п’яти етапів відбувається характерне для цього методу перетворення?
• Базовий рівень: Як цей метод порівнюється з конвеєрами RLHF, у яких спочатку навчають модель винагороди, а потім оптимізують політику за допомогою навчання з підкріпленням, або з іншою простішою альтернативою?
• Докази: Які типові, складні, змагальні та підгрупові випадки перевіряли?
• Експлуатація: Які витрати на затримку, пам’ять, обчислення, енергію, обслуговування та перевірку виникають у масштабі?
• Ризик: Як команда виявлятиме, що дані про вподобання можуть винагороджувати стиль, багатослівність або упередженість анотаторів, а не фактичну правильність?
• Відновлення: Чи може система утриматися від відповіді, перейти до запасного варіанта, виконати відкат або передати питання фахівцеві, перш ніж буде завдано шкоди?

Основні джерела для вивчення оптимізації безпосередньо за вподобаннями

До авторитетних джерел, із яких варто почати вивчення тієї частини стека ШІ, що охоплює оптимізацію безпосередньо за вподобаннями, належать праця Attention Is All You Need, дослідження LoRA та оптимізація безпосередньо за вподобаннями. Читайте їх разом із документацією до конкретної моделі, набору даних, апаратного забезпечення та юрисдикції. Загальне джерело може пояснити механізм, але лише докази, отримані в конкретних умовах розгортання, можуть підтвердити придатність певної реалізації.

Що слід пам’ятати про оптимізацію безпосередньо за вподобаннями

Оптимізація безпосередньо за вподобаннями — це визначений механізм у межах ширшої соціотехнічної системи. Її цінність полягає в поліпшенні конкретного результату за чітко визначених умов, а не в самій назві. Карта п’яти етапів наочно показує рух інформації, порівняння пояснює, чим цей метод не є, а схема контролю демонструє, де відповідальний оператор може втрутитися.

Практичне правило для оптимізації безпосередньо за вподобаннями: визначте мету, порівняйте метод із переконливим базовим варіантом, перевірте найважливіший сценарій збою та збережіть докази, потрібні для відстеження змін. Коли все це зроблено, концепцію можна оцінювати як інженерне й управлінське рішення. Без цього вона залишається багатообіцяльною назвою, за якою приховується невідомий операційний ризик.