Моделі та платформи ШІ

GLM-130B: Відкрита двомовна попередньо тренована модель

Kunal Kejriwal
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиGLM-130B використовує двонаправлену увагу GLM, щоб перевершити GPT-3 у zero-shot…
Показати більше
  • GLM-130B використовує двонаправлену увагу GLM, щоб перевершити GPT-3 у zero-shot LAMBADA з точністю 80.2.
  • Розмір моделі 130B дозволяє виконувати інференс на одному сервері A100, на відміну від більших аналогів із 175B.
  • Сплески градієнтів на рівні ембедингів передують колапсам тренування, і їх неможливо виправити заморожуванням проєкцій.

GLM-130B — двомовна попередньо навчена велика мовна модель із понад 130 мільярдами параметрів, здатна генерувати тексти англійською та китайською. Проєкт прагне відкрити модель із понад 100 мільярдами параметрів і пояснити її попереднє навчання, якому часто заважають розбіжність процесу та різкі стрибки значення функції втрат.

У статті розглядаємо спробу GLM-130B створити ефективний метод попереднього навчання моделей із сотнями мільярдів параметрів. Дослідимо роботу, архітектуру, навчальний процес і рішення, що покращують ефективність та стабільність. Початкові експерименти на широкому наборі англомовних тестів показали значну перевагу над GPT-3. З’ясуймо, що забезпечує такі послідовні, точні й стабільні результати.

Знайомство з GLM-130B

Великі мовні моделі, здатні працювати з кількома прикладами (few-shot) або без прикладів (zero-shot), особливо моделі з понад 100 мільярдами параметрів, демонструють цікаві закономірності масштабування. Стаття виділяє GPT-3 як одну з моделей, що суттєво покращили результати порівняно з попередніми моделями на кшталт BERT. Проте, попри популярність GPT-3 і численні застосування, процес навчання й окремі деталі моделі залишалися непрозорими для громадськості. Експериментально перевірити всі можливі варіанти навчання моделей такого розміру обчислювально надто дорого. Тому розробка придатного методу попереднього навчання особливо важлива.

Поширення знань про роботу та навчання якісних великих моделей має значну цінність. З урахуванням етичних питань GLM-130B прагне створити точну відкриту модель із понад 100 мільярдами параметрів. Команда зіткнулася з інженерними й технічними проблемами стабільності, ефективності та збіжності навчання.

GLM-130B — щільна двонапрямна двомовна модель із понад 130 мільярдами параметрів. Її попередньо навчали на понад 400 мільярдах токенів протягом майже двох місяців на кластері з 96 вузлів NVIDIA DGX-A100. Замість типової архітектури GPT використано алгоритм General Language Model (GLM), щоб поєднати авторегресивне заповнення пропусків із двонапрямною увагою. Таблиця порівнює модель з іншими моделями, що перевищують 100 мільярдів параметрів, зокрема GPT, BLOOM-176B і OPT-175B.

За описаними в статті результатами інженерні рішення дають перевагу над багатьма іншими великими моделями на різних тестах, зокрема над GPT-3 і PaLM 540B із понад 500 мільярдами параметрів. Рисунок також показує меншу токсичність і упередженість згенерованих текстів.

Модель спроєктовано так, щоб більше розробників могли досліджувати системи з понад 100 мільярдами параметрів. По-перше, 130 мільярдів замість понад 175 мільярдів, як у BLOOM і OPT, дають змогу виконувати інференс на одному сервері A100. По-друге, квантування до INT4 зменшує потребу в графічних процесорах і покращує ефективність роботи з незначним погіршенням якості результатів.

GLM-130B: архітектура

Архітектура визначає індуктивні припущення моделі машинного навчання. Через обчислювальні витрати та практичні обмеження розробники не можуть легко дослідити багато архітектур великих мовних моделей. Розгляньмо архітектуру GLM-130B.

PaLM, GPT та інші моделі з понад 100 мільярдами параметрів використовують традиційну архітектуру GPT лише з декодером для авторегресивного моделювання мови. GLM-130B натомість досліджує двонапрямну General Language Model на основі трансформера, навчальним завданням якої є авторегресивне заповнення пропусків. У текстовій послідовності вибирають фрагменти та замінюють кожен одним токеном маскування.

GLM відрізняється від однонапрямного GPT двонапрямною увагою до немаскованого контексту. Для генерації й розуміння тексту він поєднує дві стратегії маскування, кожна з окремим спеціальним токеном:

  • [MASK]: Короткі пропуски в реченнях, сукупна довжина яких становить певну частку вхідного тексту.
  • [gMASK]: Пропуски випадкової довжини наприкінці тексту, коли попередня частина слугує контекстом.

Такий підхід забезпечує понад 80% точності на LAMBADA без прикладів і перевершує PaLM 540B та GPT-3.

Нормалізація шарів

Нестабільність навчання — одна з основних проблем великих мовних моделей. Відповідна нормалізація шарів (LN) може допомогти. Стаття описує використання Post-LN у GLM-130B з огляду на результати подальших завдань.

Мережі прямого поширення та позиційне кодування

Нейронні мережі прямого поширення (FFN) і позиційне кодування — два елементи GLM-130B, що підтримують якісні результати на подальших завданнях і стабільне навчання.

Налаштування попереднього навчання

Цілі включають багатозадачне навчання на невеликій частці токенів і самокероване навчання GLM для авторегресивного заповнення пропусків. Очікується, що це допоможе на подальших завданнях. Налаштування описано нижче.

Самокероване заповнення пропусків

До кожної навчальної послідовності незалежно застосовують одну зі стратегій — [MASK] або [gMASK]. У 30% послідовностей [MASK] приховує суміжні фрагменти, сукупна довжина яких сягає 15% вхідного тексту, а окремі довжини відповідають розподілу Пуассона. Для решти 70% початок залишається контекстом, а [gMASK] приховує решту. Довжину прихованої частини вибирають за рівномірним розподілом.

Попереднє навчання з багатозадачними інструкціями

Багатозадачний підхід на етапі попереднього навчання може краще переносити здібності на нові завдання без прикладів, ніж подальше тонке налаштування. Тому GLM-130B використовує набори даних з інструкціями для генерації й розуміння мови та вилучення інформації під час попереднього навчання.

На відміну від багатозадачного тонкого налаштування за допомогою підказок, цей підхід охоплює лише 5% усіх токенів. Його включають у попереднє навчання, щоб не погіршувати інші можливості моделі, зокрема вільну безумовну генерацію тексту.

Тривимірна стратегія паралелізації

Тензорна паралелізація моделі й паралелізація даних — поширені способи навчання моделей із мільярдами параметрів. Щоб обмежити потребу в GPU та впоратися з великими ресурсними вимогами, GLM-130B поєднує їх із конвеєрною паралелізацією у тривимірній стратегії.

GLM-130B: стабільність навчання

Стабільність навчання важлива для якості моделі й сильно залежить від кількості оброблених токенів. Обчислювальні обмеження вимагають компромісу між стабільністю та ефективністю форматів чисел із рухомою комою. Низька точність прискорює обчислення, але може призводити до зриву навчання через переповнення або вихід значень за нижню межу подання.

Змішана точність

Для підвищення точності навчання та зменшення використання пам’яті застосовано FP16 для прямого і зворотного проходів та FP32 для основних ваг і станів оптимізатора. Як і BLOOM-176B та OPT-175B, GLM-130B зазнає частих стрибків втрат, які стають частішими з продовженням навчання. Масштабування трансформерів також створює інші важливі проблеми.

По-перше, за використання Pre-LN значення в основній гілці трансформера можуть ставати дуже великими в глибоких шарах. Стаття описує рішення на основі DeepNorm і Pre-LN, що утримує їх у межах. По-друге, зі збільшенням моделі оцінки уваги можуть перевищити діапазон FP16.

Зменшення градієнтів шару ембедингів (EGS)

Розробники виявили, що норма градієнта може попереджати про зрив навчання: він зазвичай настає після різкого зростання цієї норми. Причиною є аномальні градієнти шару ембедингів. Їхня норма на кілька порядків перевищує норми інших шарів і сильно коливається на початку навчання. Моделі комп’ютерного зору також мають цю проблему, яку там вирішують заморожуванням шару проєкції фрагментів зображення. Стаття зазначає, що цей спосіб не можна безпосередньо перенести на проєкційні шари мовних моделей.

GLM-130B: результати та продуктивність

Англомовні завдання оцінюють із такими самими налаштуваннями, як PaLM і GPT-3. Оскільки модель двомовна, її також перевіряють на китайських тестах. До оцінювання входять моделювання мови, MMLU (Massive Multitask Language Understanding), BIG-Bench (Beyond the Imitation Game Benchmark) і CLUE (Chinese Language Understanding Evaluation).

Моделювання мови

Тестування проводять на LAMBADA та Pile.

LAMBADA оцінює здатність передбачати останнє слово. GLM-130B досягає точності 80,2% без прикладів у двомовному налаштуванні, встановлюючи за описаними результатами новий рекорд цього тесту.

Pile містить низку тестів мовних моделей. Порівняно з GPT-3 і Jurassic-1 GLM-130B має найкращі середні результати на 18 спільних тестових наборах за зваженим показником BPB. Результати демонструють сильні мовні здібності та наведені в таблиці.

MMLU — масштабне багатозадачне розуміння мови

MMLU — різноманітний тест із понад 50 завданнями з вибором відповіді про людські знання й інтелект, від рівня старшої школи до експертного. Його опублікували після збирання даних Pile, тож стаття описує його як придатний для оцінювання навчання за кількома прикладами.

За п’яти прикладів результати GLM-130B наближаються до GPT-3 після обробки близько 300 мільярдів токенів. Подальше навчання покращує результати, і після 400 мільярдів токенів модель досягає точності 44,8%.

BIG-Bench — Beyond the Imitation Game Benchmark

Складні завдання BIG-Bench перевіряють знання, міркування та здоровий глузд. Як показують рисунки, без прикладів GLM-130B перевершує PaLM 540B і GPT-3 175B. Можливими причинами є багатозадачне попереднє навчання з інструкціями (MIP) та двонапрямна увага до контексту, що допомагають у раніше невідомих завданнях. Зі збільшенням кількості прикладів результати також покращуються, зберігаючи перевагу над GPT-3.

CLUE — оцінювання розуміння китайської мови

Китайськомовні результати без прикладів перевіряють на CLUE і FewCLUE та порівнюють з ERNIE Titan 3.0 із 260 мільярдами параметрів. GLM-130B перевершує цю модель на 12 завданнях і, за статтею, показує приблизно на 260% кращі результати на двох наборах даних для машинного розуміння тексту з генерацією відповідей (MRC).

Висновок

Ми розглянули GLM-130B — двомовну попередньо навчену велику мовну модель, покликану розширити доступ до досліджень таких систем. Архітектурні й інженерні рішення дають спільноті ШІ краще розуміння будови моделей, ефективності та стабільності навчання, цілей попереднього навчання й доступного за вартістю інференсу.

Kunal Kejriwal — бекенд‑інженер, який спеціалізується на Python, PostgreSQL, Redis та хмарній інфраструктурі в GCP і AWS. Має три роки досвіду у створенні та масштабуванні програмних систем у робочому середовищі, пише про інфраструктуру ШІ, розподілені системи та архітектуру розгортання навантажень машинного навчання.