Моделі та платформи ШІ
Декодер-орієнтовані великомасштабні мовні моделі: Повний посібник
Великомасштабні мовні моделі (LLM) революціонізували сферу обробки природної мови, демонструючи видатні можливості генерації тексту, подібного до людського, відповідей на питання та допомоги у широкому спектрі мовних завдань. У центрі цих потужних моделей лежить архітектура декодера-орієнтованого трансформера, варіант оригінальної архітектури трансформера, запропонованої у семінальній роботі “Увага – все, що вам потрібно” Васвані та ін.
Архітектура трансформера: Огляд
Перед тим, як зануритися у деталі декодер-орієнтованих LLM, важливо переглянути архітектуру трансформера, на якій вони базуються. Трансформер ввів новий підхід до моделювання послідовностей, спираючись виключно на механізми уваги для захоплення довгострокових залежностей у даних, без потреби у рекурентних або конволюційних шарах.
Архітектура трансформера
Оригінальна архітектура трансформера складається з двох основних компонентів: кодувача та декодера. Кодувач обробляє вхідну послідовність та генерує контекстуалізоване представлення, яке потім споживається декодером для генерації вихідної послідовності. Ця архітектура була спочатку розроблена для завдань машинного перекладу, де кодувач обробляє вхідну речення у джерельній мові, а декодер генерує відповідну речення у цільовій мові.
Самоувага: Ключ до успіху трансформера
У серці трансформера лежить механізм самоуваги, потужна техніка, яка дозволяє моделі зважувати та агрегувати інформацію з різних позицій у вхідній послідовності. На відміну від традиційних моделей послідовностей, які обробляють вхідні токени послідовно, самоувага дозволяє моделі захоплювати залежності між будь-якими парами токенів, незалежно від їх позиції у послідовності.
Мультіквері-увага
Операція самоуваги можна розбити на три основні кроки:
- Проєкції запиту, ключа та значення: Вхідна послідовність проєктується у три окремі представлення: запит (Q), ключ (K) та значення (V). Ці проєкції отримуються шляхом множення вхідної послідовності на навчені вагові матриці.
- Обчислення оцінок уваги: Для кожної позиції у вхідній послідовності обчислюються оцінки уваги, приймаючи скалярний добуток між відповідним вектором запиту та всіма векторами ключів. Ці оцінки представляють ступінь важливості кожної позиції щодо поточної позиції, яку обробляється.
- Вагова сума значень: Оцінки уваги нормалізуються за допомогою функції softmax, а отримані ваги уваги використовуються для обчислення вагової суми векторів значень, що призводить до генерації вихідного представлення для поточної позиції.
Мультіквері-увага, варіант механізму самоуваги, дозволяє моделі захоплювати різні типи відносин, обчислюючи оцінки уваги через кілька “голів” паралельно, кожна з яких має свої власні проєкції запиту, ключа та значення.
Варіанти архітектури та конфігурації
Хоча основні принципи декодер-орієнтованих LLM залишаються незмінними, дослідники досліджували різні варіанти архітектури та конфігурації для покращення продуктивності, ефективності та можливостей узагальнення. У цьому розділі ми розглянемо різні архітектурні варіанти та їхні наслідки.
Типи архітектури
Декодер-орієнтовані LLM можна розділити на три основні типи: кодувач-декодер, каузальний декодер та префікс-декодер. Кожен тип архітектури має свої особливості уваги.
Архітектура кодувача-декодера
На основі моделі ванільного трансформера, архітектура кодувача-декодера складається з двох стеків: кодувача та декодера. Кодувач використовує багаторазові шари самоуваги для кодування вхідної послідовності та генерації латентного представлення. Декодер потім виконує крос-увагу над цими представленнями для генерації цільової послідовності. Хоча ця архітектура ефективна у різних завданнях NLP, лише кілька LLM, таких як Flan-T5,采用 цю архітектуру.
Каузальна архітектура декодера
Архітектура каузального декодера включає унідірекційний маск уваги, що дозволяє кожному вхідному токену звертатися лише до попередніх токенів та самого себе. Вхідні та вихідні токени обробляються всередині одного декодера. Відомі моделі, такі як GPT-1, GPT-2 та GPT-3, побудовані на цій архітектурі, а GPT-3 демонструє видатні можливості контекстного навчання. Багато LLM, включаючи OPT, BLOOM та Gopher, широко采用 каузальні декодери.
Префікс-архітектура декодера
Також відома як некаузальна архітектура декодера, префікс-архітектура декодера модифікує механізм маскування каузальних декодерів для забезпечення двонаправленої уваги над префікс-токенами та унідірекційною увагою над згенерованими токенами. Як і архітектура кодувача-декодера, префікс-декодери можуть кодувати префікс-послідовність двонаправлено та передбачати вихідні токени автoregresивно за допомогою спільних параметрів. LLM, побудовані на основі префікс-декодерів, включають GLM130B та U-PaLM.
Всі три типи архітектури можна розширити за допомогою техніки міксу експертів (MoE), яка рідко активує підмножину ваг нейронної мережі для кожного вхідного. Цей підхід був застосований у моделях, таких як Switch Transformer та GLaM, а збільшення кількості експертів або загального розміру параметрів показало значне покращення продуктивності.
Декодер-орієнтований трансформер: Прийняття автoregresивної природи
Хоча оригінальна архітектура трансформера була розроблена для завдань послідовності-в-posлідовності, таких як машинний переклад, багато завдань NLP, таких як мовний моделювання та генерація тексту, можна сформулювати як автoregresивні завдання, де модель генерує один токен за раз, умовно на попередньо згенерованих токенах.
Вхід декодер-орієнтованого трансформера, спрощеної варіанти архітектури трансформера, який зберігає лише компонент декодера. Ця архітектура особливо підходить для автoregresивних завдань, оскільки вона генерує вихідні токени один за одним, використовуючи попередньо згенеровані токени як контекст.
Ключова різниця між декодер-орієнтованим трансформером та оригінальним декодером трансформера лежить у механізмі самоуваги. У декодер-орієнтованому режимі операція самоуваги модифікується для запобігання моделі звертатися до майбутніх токенів, властивість, відома як каузальність. Це досягається за допомогою техніки “маскованої самоуваги”, де оцінки уваги, що відповідають майбутнім позиціям, встановлюються до негативної нескінченності, ефективно маскуючи їх під час нормалізації softmax.
Архітектурні компоненти декодер-орієнтованих LLM
Хоча основні принципи самоуваги та маскованої самоуваги залишаються незмінними, сучасні декодер-орієнтовані LLM ввели кілька архітектурних інновацій для покращення продуктивності, ефективності та можливостей узагальнення. Давайте розглянемо деякі з ключових компонентів та технік, використаних у моделях стану мистецтва.
Представлення вхідних даних
Перед обробкою вхідної послідовності декодер-орієнтовані LLM використовують техніки токенізації та вкладення для перетворення сирого тексту у числове представлення, придатне для моделі.
векторне вкладення
Токенізація: Процес токенізації перетворює вхідний текст у послідовність токенів, які можуть бути словами, субсловами або навіть окремими символами, залежно від стратегії токенізації. Популярні техніки токенізації для LLM включають Byte-Pair Encoding (BPE), SentencePiece та WordPiece. Ці методи спрямовані на досягнення балансу між розміром словника та гранулярністю представлення, дозволяючи моделі ефективно обробляти рідкісні або невідомі слова.
Вкладення токенів: Після токенізації кожен токен відображається у густе векторне представлення, зване вкладенням токену. Ці вкладення вивчаються під час процесу навчання та захоплюють семантичні та синтаксичні відносини між токенами.
Позиційні вкладення: Моделі трансформера обробляють всю вхідну послідовність одночасно, не маючи внутрішнього поняття позиції токенів, присутнього у рекурентних моделях. Для включення позиційної інформації до вкладень токенів додаються позиційні вкладення, дозволяючи моделі розрізняти токени на основі їх позиції у послідовності. Ранні LLM використовували фіксовані позиційні вкладення на основі синусоїдальних функцій, тоді як більш сучасні моделі досліджували вивчені позиційні вкладення або альтернативні техніки позиційного кодування, такі як роторні позиційні вкладення.
Блоки багаторазової уваги
Основними будівельними блоками декодер-орієнтованих LLM є шари багаторазової уваги, які виконують операцію маскованої самоуваги, описану вище. Ці шари укладені кілька разів, причому кожен шар звертається до виводу попереднього шару, дозволяючи моделі захоплювати все більш складні залежності та представлення.
Голови уваги: Кожен шар багаторазової уваги складається з декількох “голів уваги“, кожна з яких має свої власні проєкції запиту, ключа та значення. Це дозволяє моделі звертатися до різних аспектів вхідної послідовності одночасно, захоплюючи різноманітні відносини та закономірності.
Резидуальні з’єднання та нормалізація шару: Для полегшення навчання глибоких мереж та мінімізації проблеми зникаючого градієнта декодер-орієнтовані LLM використовують резидуальні з’єднання та техніки нормалізації шару. Резидуальні з’єднання додають вхід шару до його виводу, дозволяючи градієнтам течти більш легко під час зворотного поширення. Нормалізація шару допомагає стабілізувати активації та градієнти, далі покращуючи стабільність навчання та продуктивність.
Шари прямого поширення
Крім шарів багаторазової уваги, декодер-орієнтовані LLM включають шари прямого поширення, які застосовують просту нейронну мережу прямого поширення до кожної позиції у послідовності. Ці шари вводять нелінійності та дозволяють моделі вивчати більш складні представлення.
Активатори: Вибір активатора у шарах прямого поширення може суттєво вплинути на продуктивність моделі. Хоча ранні LLM спиралися на широко використовуваний активатор ReLU, більш сучасні моделі采用ли більш складні активатори, такі як Гауссівський активатор лінійної одиниці (GELU) або SwiGLU-активатор, які показали покращену продуктивність.
Розріджена увага та ефективні трансформери
Хоча механізм самоуваги потужний, він має квадратичну обчислювальну складність щодо довжини послідовності, що робить його обчислювально дорогим для довгих послідовностей. Для подолання цього виклику було запропоновано кілька технік для зниження обчислювальних та пам’ятних вимог самоуваги, дозволяючи ефективно обробляти довші послідовності.
Розріджена увага: Техніки розрідженої уваги, такі як ті, що використовуються у моделі GPT-3, селективно звертаються до підмножини позицій у вхідній послідовності, а не обчислюють оцінки уваги для всіх позицій. Це може суттєво зменшити обчислювальну складність, зберігаючи при цьому прийнятну продуктивність.
Увага з ковзним вікном: Введена у моделі Mistral 7B, увага з ковзним вікном (SWA) – це проста, проте ефективна техніка, яка обмежує діапазон уваги кожного токену до фіксованого розміру вікна. Цей підхід використовує здатність шарів трансформера передавати інформацію через кілька шарів, ефективно збільшуючи діапазон уваги без квадратичної складності повної самоуваги.
Кеш буферу з ковзанням: Для подальшого зниження вимог до пам’яті, особливо для довгих послідовностей, модель Mistral 7B використовує кеш буферу з ковзанням. Ця техніка зберігає та повторно використовує обчислені вектори ключів та значень для фіксованого розміру вікна, уникając зайвих обчислень та мінімізуючи використання пам’яті.
Групова увага запиту: Введена у моделі LLaMA 2, групова увага запиту (GQA) – це варіант механізму багаторазової уваги, який діліть голови уваги на групи, кожна з яких спільно використовує матрицю ключа та значення. Цей підхід балансує ефективність багаторазової уваги та продуктивність стандартної самоуваги, забезпечуючи покращені часи висновку, зберігаючи при цьому високу якість результатів.
Групова увага запиту
Розмір моделі та масштабування
Однією з визначальних характеристик сучасних LLM є їхній величезний масштаб, з кількістю параметрів від мільярдів до сотень мільярдів. Збільшення розміру моделі було важливим фактором у досягненні продуктивності стану мистецтва, оскільки більші моделі можуть захоплювати більш складні закономірності та відносини у даних.
Кількість параметрів: Кількість параметрів у декодер-орієнтованому LLM визначається розміром вкладення (d_model), кількістю голів уваги (n_heads), кількістю шарів (n_layers) та розміром словника (vocab_size). Наприклад, модель GPT-3 має 175 мільярдів параметрів, з d_model = 12288, n_heads = 96, n_layers = 96 та vocab_size = 50257.
Паралельність моделі: Навчання та розгортання таких величезних моделей вимагають суттєвих обчислювальних ресурсів та спеціалізованого обладнання. Для подолання цього виклику були застосовані техніки паралельності моделі, коли модель розбивається на кілька GPU або TPU, кожна з яких відповідає за частину обчислень.
Мікс експертів: Іншим підходом до масштабування LLM є архітектура міксу експертів (MoE), яка поєднує кілька експерт-моделей, кожна з яких спеціалізується на певній підмножині даних або завдання. Модель Mixtral 8x7B – це приклад моделі MoE, яка використовує модель Mistral 7B як базову, досягнувши вищої продуктивності, зберігаючи при цьому обчислювальну ефективність.
Висновок та генерація тексту
Одним з основних випадків використання декодер-орієнтованих LLM є генерація тексту, де модель генерує узгоджений та природно звучний текст на основі заданого запиту або контексту.
Авторегресивний висновок: Під час висновку декодер-орієнтовані LLM генерують текст автoregresивно, передбачаючи один токен за раз на основі попередньо згенерованих токенів та вхідного запиту. Цей процес продовжується до досягнення певного критерію зупинки, такого як досягнення максимальної довжини послідовності або генерація токену кінця послідовності.
Стратегії вибірки: Для генерації різноманітного та реалістичного тексту можна використовувати різні стратегії вибірки, такі як топ-k вибірка, топ-p вибірка (також відома як ядерна вибірка) або масштабування температури. Ці техніки контролюють компроміс між різноманітністю та узгодженість генерованого тексту, регулюючи розподіл імовірностей над словником.
Інженерія запиту: Якість та специфіка вхідного запиту можуть суттєво вплинути на згенерований текст. Інженерія запиту, мистецтво створення ефективних запитів, стала важливим аспектом використання LLM для різних завдань, дозволяючи користувачам спрямовувати процес генерації моделі та досягати бажаних результатів.
Людина у циклі висновку: Для подальшого покращення якості та узгодженості згенерованого тексту були застосовані техніки, такі як навчання з підкріпленням від людської обратної зв’язку (RLHF). У цьому підході людські оцінювачі надають обратну зв’язку щодо тексту, згенерованого моделлю, який потім використовується для донастройки моделі, ефективно прив’язуючи її до людських уподобань та покращуючи її вивід.
Нововведення та майбутні напрямки
Сфера декодер-орієнтованих LLM швидко розвивається, з новими дослідженнями та проривами, які продовжують розширювати межі того, що ці моделі можуть досягти. Ось деякі видатні нововведення та потенційні майбутні напрямки:
Ефективні варіанти трансформера: Хоча розріджена увага та увага з ковзним вікном зробили суттєві кроки у покращенні ефективності декодер-орієнтованих LLM, дослідники активно досліджують альтернативні архітектури трансформера та механізми уваги для подальшого зниження обчислювальних вимог, зберігаючи при цьому продуктивність.
Мультимодальні LLM: Розширюючи можливості LLM за межі тексту, мультимодальні моделі спрямовані на інтеграцію декількох модальностей, таких як зображення, аудіо чи відео, у єдину уніфіковану структуру. Це відкриває перспективи для застосувань, таких як генерація підписів до зображень, візуальне питання-відповідь та генерація мультимедійного контенту.
Контрольована генерація: Надання можливості контролювати згенерований текст є складним, проте важливим напрямком для LLM. Техніки, такі як контрольована генерація тексту та налаштування запиту, спрямовані на надання користувачам більш детального контролю над різними атрибутами згенерованого тексту, такими як стиль, тон чи конкретні вимоги до вмісту.
Висновок
Декодер-орієнтовані LLM виникли як трансформаційна сила у сфері обробки природної мови, розширюючи межі того, що можливо у генерації та розумінні мови. Від їхніх скромних початків як спрощеного варіанту архітектури трансформера ці моделі еволюціонували у високоскладні та потужні системи, використовуючи передові техніки та архітектурні інновації.
Під час подальшого дослідження та вдосконалення декодер-орієнтованих LLM ми можемо очікувати ще більш видатних досягнень у мовних завданнях, а також інтеграції цих моделей у широкий спектр застосувань та галузей. Однак важливо звернути увагу на питання етики, інтерпретації та потенційних упереджень, які можуть виникнути під час широкого розгортання цих потужних моделей.
Залишаючись на передовому краї досліджень, сприяючи відкритій співпраці та підтримуючи сильну приверженість відповідальному розвитку ІІ, ми можемо розблокувати повний потенціал декодер-орієнтованих LLM, забезпечуючи при цьому їх розвиток та використання у безпечній, етичній та корисній для суспільства формі.
