Аналогове та кроку-назад підказування: занурення у недавні досягнення Google DeepMind

Вступ

Інженерія підказок зосереджується на розробці ефективних підказок для керування великими мовними моделями (LLM) таких як GPT-4 для генерації бажаних відповідей. Добре створена підказка може бути різницею між нечіткою або неточною відповіддю та точною, проникливою.

У ширшій екосистемі ІІ, інженерія підказок є одним з кількох методів, які використовуються для отримання більш точної та контекстно-релевантної інформації з мовних моделей. Інші методи включають техніки, такі як навчання з декількома прикладами, де моделі надаються декілька прикладів для допомоги у розумінні завдання, та тонке налаштування, де модель додатково тренується на меншій вибірці для спеціалізації її відповідей.

Google DeepMind нещодавно опублікував дві статті, які глибоко вивчають інженерію підказок та її потенціал для покращення відповідей у різних ситуаціях.

Ці статті є частиною тривалого дослідження в спільноті ІІ для вдосконалення та оптимізації того, як ми спілкуємося з мовними моделями, і вони надають свіжі ідеї щодо структури підказок для кращого оброблення запитів та взаємодії з базами даних.

Ця стаття детально розглядає ці дослідницькі статті, пояснюючи концепції, методи та наслідки запропонованих технік, роблячи їх доступними навіть для читачів з обмеженими знаннями в галузі ІІ та НЛП.

Стаття 1: Великі мовні моделі як аналогічні розумники

Перша стаття, озаглавлена “Великі мовні моделі як аналогічні розумники”, вводить новий підхід до підказування під назвою Аналогічне підказування. Автори, Міхіро Ясунага, Сіньюн Чен та інші, черпають натхнення з аналогічного мислення – когнітивного процесу, при якому люди використовують минулі досвіди для вирішення нових проблем.

Ключові концепції та методологія

Аналогічне підказування спонукає LLM до самогенерації відповідних прикладів або знань у контексті перед переходом до вирішення задачі. Цей підхід усуває потребу у позначених прикладах, пропонуючи загальність та зручність, і адаптує згенеровані приклади до кожної конкретної задачі, забезпечуючи адаптивність.

Ліворуч: Традиційні методи підказування LLM залежать від загальних входів (0-шот CoT) або вимагають позначених прикладів (кілька шотів CoT). Праворуч: Новый підхід підказує LLM самозгенерувати відповідні приклади перед вирішенням задачі, усуваючи потребу у позначенні та налаштуванні прикладів для кожної унікальної задачі

Самозгенеровані приклади

Перший техніка, представлений у статті, – самозгенеровані приклади. Ідея полягає у використанні обширних знань, які LLM здобули під час навчання, для допомоги їм у вирішенні нових задач. Процес включає доповнення цільової задачі інструкціями, які спонукають модель до пригадування або генерації відповідних задач та рішень.

Наприклад, для задачі модель інструктується пригадати три різні та відповідні задачі, описати їх та пояснити їхні рішення. Цей процес призначений для виконання в одному проході, дозволяючи LLM генерувати відповідні приклади та вирішувати початкову задачу безперешкодно. Використання символів ‘#’ у підказках допомагає у структуризації відповіді, роблячи її більш організованою та легшою для моделі слідування.

Ключові технічні рішення, виділені у статті, включають акцент на генерації відповідних та різноманітних прикладів, прийняття підходу в одному проході для більшої зручності та висновок, що генерація трьох-п’яти прикладів дає найкращі результати.

Самозгенеровані знання + приклади

Друга техніка, самозгенеровані знання + приклади, вводиться для вирішення завдань у більш складних завданнях, таких як генерація коду. У цих сценаріях LLM можуть надмірно покладатися на низькорівневі приклади та боротися з узагальненням при вирішенні цільових задач. Для пом’якшення цього автори пропонують розширити підказку додатковою інструкцією, яка спонукає модель до ідентифікації основних концепцій у задачі та надання навчального посібника або високорівневого висновку.

Одним з критичних факторів є порядок, у якому генеруються знання та приклади. Автори виявили, що генерація знань перед прикладами призводить до кращих результатів, оскільки це допомагає LLM зосередитися на фундаментальних підходах до вирішення задач, а не тільки на поверхневих подібностях.

Переваги та застосування

Підхід аналогічного підказування пропонує кілька переваг. Він забезпечує детальні приклади мислення без потреби у ручному позначенні, вирішуючи завдання, пов’язані з 0-шот та кількома шотами ланцюга мислення (CoT) методами. Крім того, згенеровані приклади адаптовані до окремих задач, пропонуючи більш відповідне керівництво, ніж традиційний кількома шотами CoT, який використовує фіксовані приклади.

Стаття демонструє ефективність цього підходу у різних завданнях з мисленням, включаючи математичне вирішення задач, генерацію коду та інші завдання з мисленням у BIG-Bench.

Нижче наведені таблиці представляють метрики продуктивності різних методів підказування у різних архітектурах моделей. Видно, що метод “Самозгенеровані приклади” постійно перевершує інші методи за точністю. Наприклад, у точності GSM8K цей метод досягає найвищої продуктивності на моделі PaLM2 на рівні 81,7%. Аналогічно, для точності MATH він очолює рейтинг на GPT3.5-turbo на рівні 37,3%.

Продуктивність у математичних завданнях, GSM8K і MATH

У другій таблиці для моделей GPT3.5-turbo-16k і GPT4 “Самозгенеровані знання + приклади” показують найкращу продуктивність.

Продуктивність у завданнях генерації коду Codeforces

Стаття 2: Відступіть назад: викликання мислення через абстракцію у великих мовних моделях

Огляд

Друга стаття, “Відступіть назад: викликання мислення через абстракцію у великих мовних моделях” представляє техніку під назвою кроку-назад підказування, яка спонукає LLM до абстракції високорівневих концепцій та першопочаткових принципів з детальних екземплярів. Автори, Хуайсю Стівен Чжен, Сваруп Мішра та інші, мета яких покращити здатності до мислення LLM, спрямовуючи їх на слідування правильному шляху мислення до рішення.

Відображення КРОКУ-НАЗАД ПІДКАЗУВАННЯ через дві фази абстракції та мислення, керованих ключовими концепціями та принципами.

Давайте створимо простіший приклад, використовуючи базове математичне питання для демонстрації техніки “Відступіть назад”:

Оригінальне питання: Якщо потяг рухається зі швидкістю 60 км/год та проходить відстань 120 км, скільки часу це займе?

Варіанти:

3 години
2 години
1 година
4 години
Оригінальна відповідь [Неправильна]: Правильна відповідь - 1).

Відступіть назад питання: Яка базова формула для розрахунку часу за швидкістю та відстанню?

Принципи:
Для розрахунку часу використовується формула:
Час = Відстань / Швидкість

Фінальна відповідь:
Використовуючи формулу, Час = 120 км / 60 км/год = 2 години.
Правильна відповідь - 2) 2 години.

Хоча сучасні LLM можуть легко відповісти на це питання, цей приклад служить тільки для демонстрації того, як техніка кроку-назад працює. Для більш складних сценаріїв таку ж техніку можна застосовувати для систематичного розділення та вирішення задач. Нижче наведено більш складний випадок, продемонстрований у статті:

КРОКУ-НАЗАД ПІДКАЗУВАННЯ на наборі даних MMLU-Chemistry

Ключові концепції та методологія

Суть кроку-назад підказування полягає у його здатності спонукати LLM до метафоричного відступу назад, спрямовуючи їх на перегляд великої картини, а не на заглиблення у деталі. Це досягається за допомогою серії ретельно створених підказок, які спрямовують LLM до абстракції інформації, виведення високорівневих концепцій та застосування цих концепцій для вирішення задачі.

Процес починається з того, що LLM підказується абстрагувати деталі з заданих екземплярів, спонукаючи його зосередитися на основних концепціях та принципах. Цей крок є критично важливим, оскільки він встановлює сцену для того, щоб LLM підходив до задачі з більш інформованої та заснованої на принципах перспективи.

Як тільки високорівневі концепції виведені, вони використовуються для спрямування LLM через кроки мислення до рішення. Це керівництво забезпечує те, що LLM залишається на правильному шляху, слідуючи логічному та послідовному шляху, який ґрунтується на абстракованих концепціях та принципах.

Автори проводять серію експериментів для перевірки ефективності кроку-назад підказування, використовуючи моделі PaLM-2L у різних завданнях, які вимагають інтенсивного мислення. Ці завдання включають завдання STEM, знання QA та багатоступенчате мислення, забезпечуючи повний тестовий майданчик для оцінки техніки.

Значні покращення у завданнях

Результати вражаючі, з кроку-назад підказуванням, яке призводить до суттєвих покращень продуктивності у всіх завданнях. Наприклад, ця техніка покращує продуктивність PaLM-2L у фізиці та хімії MMLU на 7% та 11% відповідно. Аналогічно, вона підвищує продуктивність у TimeQA на 27% та у MuSiQue на 7%.

Продуктивність КРОКУ-НАЗАД ПІДКАЗУВАННЯ проти CoT

Ці результати підкреслюють потенціал кроку-назад підказування для суттєвого покращення здатностей до мислення LLM.

Висновок

Обидві статті від Google DeepMind представляють інноваційні підходи до інженерії підказок, спрямовані на покращення здатностей до мислення великих мовних моделей. Аналогічне підказування використовує концепцію аналогічного мислення, спонукаючи моделі до генерації власних прикладів та знань, що призводить до більш гнучкого та ефективного вирішення задач. З іншого боку, кроку-назад підказування зосереджується на абстракції, спрямовуючи моделі до виведення високорівневих концепцій та принципів, які, в свою чергу, покращують їхні здатності до мислення.

Ці дослідницькі статті надають цінні ідеї та методи, які можна застосовувати у різних галузях, що призведе до створення більш інтелектуальних та здатних мовних моделей. Коли ми продовжимо досліджувати та розуміти тонкощі інженерії підказок, ці підходи служать важливими кроками до досягнення більш просунутих та складних систем ІІ.