Штучний інтелект
Остання модель Mistral AI Mixture of Experts (MoE) 8x7B
який є паризькою відкритою моделлю стартапу, викликав норми, випустивши свою останню велику мовну модель (LLM), MoE 8x7B, через просте торрент-посилання. Це суперечить традиційному підходу Google з їхньою версією Gemini, викликаючи розмови та збудження в спільноті штучного інтелекту.
Підхід Mistral AI до випусків завжди був незвичайним. Часто відмовляючись від звичайних супроводжувань паперів, блогів або прес-релізів, їхня стратегія була унікально ефективною в захопленні уваги спільноти штучного інтелекту.
Нещодавно компанія досягла видатного $2 млрд оцінки після раунду фінансування під керівництвом Andreessen Horowitz. Цей раунд фінансування був історичним, встановивши рекорд з $118 млн сіяного раунду, найбільшим в європейській історії. Поза успіхами фінансування, активна участь Mistral AI в дискусіях навколо Закону ЄС про штучний інтелект, відстоюючи зменшення регулювання відкритого штучного інтелекту.
Чому MoE 8x7B привертає увагу
Описаний як “масштабована GPT-4”, Mixtral 8x7B використовує рамку Мішані Експертів (MoE) з вісьмома експертами. Кожен експерт має 111 млрд параметрів, поєднаних з 55 млрд спільних параметрів уваги, щоб дати загалом 166 млрд параметрів на модель. Це проектне рішення є значущим, оскільки дозволяє лише двом експертам брати участь в інференції кожного токену, підкреслюючи зрушення до більш ефективної та зосередженої обробки штучного інтелекту.
Одним з ключових моментів Mixtral є його здатність керувати великим контекстом з 32 000 токенів, забезпечуючи великий простір для обробки складних завдань. Мультимовні можливості моделі включають потужну підтримку англійської, французької, італійської, німецької та іспанської мов, задовольняючи глобальної спільноті розробників.
Предварительна підготовка Mixtral включає дані з відкритого Вебу, з одночасним підходом до навчання експертів та маршрутизаторів. Цей метод забезпечує, що модель не тільки величезна в своєму параметричному просторі, але й тонко налаштована до нюансів великих даних, яким вона була піддана.
Mixtral 8x7B досягає вражаючого результату
Mixtral 8x7B перевершує LLaMA 2 70B і суперник GPT-3.5, особливо помітно в завданнях MBPP з успішністю 60,7%, значно вищою, ніж у його аналогів. Навіть у суворому тесті MT-Bench, призначеному для моделей, що слідують інструкціям, Mixtral 8x7B досягає вражаючого результату, майже дорівнюючи GPT-3.5
Розуміння рамки Мішані Експертів (MoE)
Модель Мішані Експертів (MoE), хоча й отримала недавнє визнання завдяки її включенню в моделі штучного інтелекту, таких як MoE 8x7B від Mistral AI, насправді корениться в фундаментальних концепціях, що датуються декількома роками. Давайте переглянемо походження цієї ідеї через основні дослідницькі статті.
Концепція MoE
Мішані Експерти (MoE) представляють зрушення парадигми в архітектурі нейронних мереж. На відміну від традиційних моделей, які використовують єдину, однорідну мережу для обробки всіх типів даних, MoE приймає більш спеціалізований та модульний підхід. Він складається з декількох “експертних” мереж, кожна з яких призначена для обробки конкретних типів даних або завдань, під контролем “маршрутизаторської” мережі, яка динамічно направляє вхідні дані до найбільш підходящого експерта.
Шар Мішані Експертів (MoE), вкладений у рекурентну мовну модель (Джерело)
Вище зображення представляє високорівневий вигляд шару Мішані Експертів, вкладеного у мовну модель. У своєму основі шар MoE складається з декількох підмереж, названих “експертами”, кожна з яких має потенціал спеціалізуватися в обробці різних аспектів даних. Маршрутизаторська мережа, виділена на схемі, визначає, яку комбінацію цих експертів слід задіяти для даного вхідного сигналу. Це умовне активація дозволяє мережі значно збільшити свою потужність без відповідного зростання обчислювального навантаження.
Функціональність шару MoE
У практиці маршрутизаторська мережа оцінює вхідний сигнал (позначений як G(x) на схемі) та вибирає розріджену множину експертів для його обробки. Цей вибір модулюється виходами маршрутизаторської мережі, ефективно визначаючи “голос” або внесок кожного експерта у кінцевий результат. Наприклад, як показано на схемі, можуть бути вибрані лише два експерти для обчислення виходу для кожного конкретного токену, роблячи процес ефективним шляхом концентрації обчислювальних ресурсів там, де вони найбільш потрібні.
Трансформер-кодувальник з шарами MoE (Джерело)
Друге зображення вище показує традиційний трансформер-кодувальник з шаром MoE. Архітектура трансформера, широко відома своєю ефективністю в мовних завданнях, традиційно складається з самої уваги та підмереж, укладених послідовно. Введення шарів MoE заміняє деякі з цих підмереж, дозволяючи моделі масштабуватися щодо потужності більш ефективно.
У доповненій моделі шари MoE розподілені по декількох пристроях, демонструючи підхід паралельного моделювання. Це критично важливо при масштабуванні до дуже великих моделей, оскільки дозволяє розподіляти обчислювальне навантаження та вимоги до пам’яті по кластеру пристроїв, таких як GPU або TPU. Це розподілення є важливим для ефективного навчання та розгортання моделей з мільярдами параметрів, як свідчить навчання моделей з сотнями мільярдів до понад трильйона параметрів на великих обчислювальних кластерах.
Розріджений підхід MoE з налаштуванням інструкцій на LLM
Стаття під назвою “Розріджені Мішані Експерти (MoE) для масштабованого мовного моделювання” обговорює інноваційний підхід до покращення великих мовних моделей (LLM) шляхом інтеграції архітектури Мішані Експертів з техніками налаштування інструкцій.
Він підкреслює загальну проблему, де моделі MoE відстають порівняно з густими моделями рівної обчислювальної потужності при тонкому налаштуванні для конкретних завдань через розбіжності між загальним попереднім навчанням та завданням-специфічним тонким налаштуванням.
Налаштування інструкцій – це методологія навчання, при якій моделі досягають кращого виконання природних мовних інструкцій, ефективно підвищуючи їхню продуктивність завдань. Стаття пропонує, що моделі MoE демонструють помітне покращення, коли поєднуються з налаштуванням інструкцій, більше, ніж їхні густі аналоги. Ця техніка вирівнює попередньо натреновані представлення моделі для виконання інструкцій більш ефективно, що призводить до значного підвищення продуктивності.
Дослідники провели дослідження в трьох експериментальних умовах, показавши, що моделі MoE спочатку відстають у прямому завдань-специфічному тонкому налаштуванні. Однак, коли застосовується налаштування інструкцій, моделі MoE виділяються, особливо коли додатково доповнюються завдань-специфічним тонким налаштуванням. Це свідчить про те, що налаштування інструкцій є важливим кроком для моделей MoE, щоб перевершити густі моделі в завданнях.
Ефект налаштування інструкцій на MoE
Він також представляє FLAN-MOE32B, модель, яка демонструє успішне застосування цих концепцій. Помітно, вона перевершує FLAN-PALM62B, густу модель, на завданнях-бенчмарках, використовуючи лише одну третину обчислювальних ресурсів. Це демонструє потенціал для розріджених моделей MoE, поєднаних з налаштуванням інструкцій, встановити нові стандарти ефективності та продуктивності LLM.
Реалізація Мішані Експертів у реальних сценаріях
Універсальність моделей MoE робить їх ідеальними для ряду застосувань:
- Обробка природної мови (NLP): Моделі MoE можуть обробляти нюанси та складності людської мови більш ефективно, роблячи їх ідеальними для просунутих завдань NLP.
- Обробка зображень та відео: У завданнях, що вимагають високої роздільної здатності обробки, MoE може керувати різними аспектами зображень або кадрів відео, підвищуючи як якість, так і швидкість обробки.
- Настроювані рішення штучного інтелекту: Бізнес та дослідники можуть налаштовувати моделі MoE для конкретних завдань, що призводить до більш націлених та ефективних рішень штучного інтелекту.
Виклики та розгляди
Хоча моделі MoE пропонують численні переваги, вони також представляють унікальні виклики:
- Складність у навчанні та налаштуванні: Розподілена природа моделей MoE може ускладнити процес навчання, вимагаючи ретельного балансування та налаштування експертів та маршрутизаторської мережі.
- Керування ресурсами: Ефективне керування обчислювальними ресурсами по декількох експертам є критично важливим для максимізації переваг моделей MoE.
Включення шарів MoE до нейронних мереж, особливо в області мовних моделей, пропонує шлях до масштабування моделей до розмірів, раніше недосяжних через обчислювальні обмеження. Умовне обчислення, яке дозволяють шари MoE, дозволяє розподіляти обчислювальні ресурси більш ефективно, роблячи можливим навчання більших, більш потужних моделей. Коли ми продовжимо вимагати більше від наших систем штучного інтелекту, архітектури, такі як MoE-оснащений трансформер, ймовірно, стануть стандартом для обробки складних, великомасштабних завдань у різних галузях.
