Snowflake Арктика: передовий LLM для корпоративного штучного інтелекту

Сучасні підприємства все частіше шукають способи використання великих мовних моделей (LLM) для підвищення продуктивності та створення інтелектуальних застосунків. Однак багато доступних варіантів LLM є загальними моделями, не призначеними для спеціалізованих корпоративних потреб, таких як аналіз даних, кодування та автоматизація завдань. Зустрічайте Snowflake Арктика – передову LLM, спеціально розроблену та оптимізовану для основних корпоративних випадків використання.

Розроблена командою дослідників штучного інтелекту Snowflake, Арктика розширює межі того, що можливо з ефективною підготовкою, ефективністю витрат та неперевершеним рівнем відкритості. Ця революційна модель excels на ключових корпоративних бенчмарках, одночасно вимагаючи значно менше обчислювальної потужності порівняно з існуючими LLM. Давайте глибше вивчимо, що робить Арктику гейм-чейнджером для корпоративного штучного інтелекту.

Корпоративний інтелект,重新 визначений У своєму ядрі Арктика лазерно зосереджена на наданні виняткової продуктивності на метриках, які真正 важливі для підприємств – кодуванні, запитах SQL, складних інструкціях та виробництві ґрунтованих, фактичних виходів. Snowflake об’єднав ці критичні можливості в новий “корпоративний інтелект” метрику.

Результати говорять самі за себе. Арктика задовольняє або перевершує моделі, такі як LLAMA 7B і LLAMA 70B, на корпоративних інтелектуальних бенчмарках, одночасно використовуючи менше половини обчислювального бюджету для підготовки. Подивно, незважаючи на використання 17 разів менше обчислювальних ресурсів, ніж LLAMA 70B, Арктика досягає паритету на спеціалізованих тестах, таких як кодування (HumanEval+, MBPP+), генерація SQL (Spider) та виконання інструкцій (IFEval).

Але можливості Арктики виходять за рамки простого проходження корпоративних бенчмарків. Вона підтримує сильну продуктивність по всім загальним мовним розумінням, розумінням та математичній здібності порівняно з моделями, підготовленими з експоненційно вищими обчислювальними бюджетами, такими як DBRX. Ця цілісна здатність робить Арктику неперевершеним вибором для вирішення різноманітних потреб штучного інтелекту підприємства.

Інновація

Гібридна трансформаторна модель Dense-MoE Як команда Snowflake створила таку надзвичайно здатну та ефективну LLM? Відповідь лежить в архітектурі Арктики – передовій гібридній трансформаторній моделі Dense Mixture-of-Experts (MoE).

Традиційні густі трансформаторні моделі стають все більш дорогими для підготовки, оскільки їх розмір зростає, а обчислювальні вимоги збільшуються лінійно. Дизайн MoE допомагає уникнути цього, використовуючи кілька паралельних фід-форвард-мереж (експертів) та активуючи лише підмножину для кожного входного токена.

Однак, просте використання архітектури MoE недостатньо – Арктика поєднує сильні сторони як густих, так і MoE-компонентів. Вона поєднує 10-мільярдний параметр густого трансформаторного кодувача з 128-експертним залишковим MoE-шаром багаторівневого перцептрона (MLP). Ця гібридна модель Dense-MoE налічує 480 мільярдів параметрів, але лише 17 мільярдів активних в будь-який момент часу за допомогою верхнього 2-гейтингу.

Вплив глибокий – Арктика досягає безпрецедентної якості моделі та здатності, залишаючись при цьому надзвичайно ефективною під час підготовки та висновку. Наприклад, Арктика має на 50% менше активних параметрів, ніж моделі, такі як DBRX, під час висновку.

Але архітектура моделі – це лише частина історії. Видатність Арктики є кульмінацією кількох передових технік та інсайтів, розроблених командою дослідників Snowflake:

1. Підготовчий навчальний план, орієнтований на підприємства Через широке експериментування команда виявила, що загальні навички, такі як повсякденне розуміння, повинні бути вивчені на початку, тоді як більш складні спеціалізації, такі як кодування та SQL, краще придбані пізніше в процесі підготовки. Навчальний план Арктики слідує триступеневому підходу, що імітує людські прогресії навчання.

Перші тератокени зосереджені на будівництві широкої загальної бази. Наступні 1,5 тератокени зосереджені на розвитку корпоративних навичок через дані, призначені для SQL, завдань кодування та інше. Останні тератокени далі уточнюють спеціалізації Арктики, використовуючи розвинені набори даних.

2. Оптимальний архітектурний вибір Хоча MoE обіцяють краще якість за обчислення, вибір правильних конфігурацій є важливим, але погано зрозумілим. Через детальне дослідження Snowflake зупинився на архітектурі, що використовує 128 експертів з верхнім 2-гейтингом кожному шару після оцінки торгівлі між якістю та ефективністю.

Збільшення кількості експертів забезпечує більше комбінацій, підвищуючи здатність моделі. Однак це також підвищує витрати на спілкування, тому Snowflake зупинився на 128 ретельно спроектованих “згорнутих” експертах, активованих через верхній 2-гейтинг, як оптимальний баланс.

3. Системний ко-дизайн Але навіть оптимальна архітектура моделі може бути підірвана системними вузькими місцями. Тому команда Snowflake інноваційно підходила до цього питання – ко-дизайн моделі архітектури в тандемі з основними системами підготовки та висновку.

Для ефективної підготовки густі та MoE-компоненти були структуровані для забезпечення перекриття спілкування та обчислень, ховаючи суттєві витрати на спілкування. На стороні висновку команда використала інновації NVIDIA для забезпечення високоефективного розгортання, незважаючи на масштаб Арктики.

Техніки, такі як квантовація FP8, дозволяють помістити повну модель на один вузол GPU для інтерактивного висновку. Більші партії залучають паралелізм Арктики на кількох вузлах, залишаючись при цьому надзвичайно ефективними з точки зору обчислень завдяки компактним 17-мільярдним активним параметрам.

З ліцензією Apache 2.0 ваги та код Арктики доступні без обмежень для будь-якого особистого, дослідницького чи комерційного використання. Але Snowflake пішла значно далі, відкрито опублікувавши повні рецепти даних, реалізації моделей, поради та глибокі інсайти, що стоять за Арктикою.

“Кулінарна книга Арктики” – це всебічна база знань, яка охоплює кожний аспект будівництва та оптимізації великомасштабної MoE-моделі, подібної до Арктики. Вона віддуває ключові знання по всім аспектам джерел даних, дизайну архітектури моделі, ко-дизайну системи, оптимізованого навчання/висновку та інше.

Від визначення оптимальних навчальних даних до архітектури MoE при ко-оптимізації компіляторів, планувальників та апаратного забезпечення – це обширна база знань демократизує навички, раніше обмежені елітними лабораторіями штучного інтелекту. Кулінарна книга Арктики прискорює криві навчання та надає підприємствам, дослідникам та розробникам по всьому світу можливість створювати свої власні ефективні, спеціалізовані LLM для практично будь-якого випадку використання.

Початок роботи з Арктикою

Для компаній, які хочуть використовувати Арктику, Snowflake пропонує кілька шляхів для швидкого початку:

Безсерверний висновок: клієнти Snowflake можуть отримати доступ до моделі Арктика безкоштовно на Snowflake Cortex, повністю керованій платформі штучного інтелекту компанії. Окрім того, Арктика доступна на всіх основних каталогах моделей, таких як AWS, Microsoft Azure, NVIDIA та ін.

Початок з нуля: відкритий код ваг Арктики та реалізації дозволяють розробникам безпосередньо інтегрувати Арктику в свої додатки та сервіси. Репозиторій Арктики пропонує приклади коду, навчальні посібники, рецепти донастройки та інше.

Будівництво спеціалізованих моделей: завдяки вичерпним керівництвам Кулінарної книги Арктики розробники можуть будувати свої власні спеціалізовані MoE-моделі з нуля, оптимізовані для будь-якого спеціального випадку використання, використовуючи знання, отримані під час розробки Арктики.

Нова ера відкритого корпоративного штучного інтелекту Арктика – це не просто ще одна потужна мовна модель – вона знаменує нову еру відкритих, ефективних та спеціалізованих можливостей штучного інтелекту, спеціально розроблених для підприємств.

Від революціонування аналізу даних та продуктивності кодування до надання задач автоматизації та розумніших застосунків, корпоративна ДНК Арктики робить її неперевершеним вибором над загальними LLM. А відкриття не тільки моделі, але й усієї дослідницької процедури, що стоять за нею, Snowflake сприяє культурі співробітництва, яка підніме весь екосистему штучного інтелекту.

Когда підприємства все частіше приймають генераційний штучний інтелект, Арктика пропонує сміливий блупринт для розробки моделей, які є об’єктивно кращими для виробничих робочих потоків та корпоративних середовищ. Її поєднання передових досліджень, неперевершеної ефективності та відкритої етики встановлює новий стандарт у демократизації трансформаційної можливості штучного інтелекту.