Snowflake Arctic: Перспективна LLM для корпоративного штучного інтелекту

Сьогодні компанії все частіше шукають способи використання великих мовних моделей (LLM), щоб підвищити продуктивність та створити інтелектуальні додатки. Однак багато доступних варіантів LLM – це загальні моделі, не призначені для спеціалізованих корпоративних потреб, таких як аналіз даних, кодування та автоматизація завдань. Зустрічайте Snowflake Arctic – перспективну LLM, спеціально розроблену та оптимізовану для основних корпоративних випадків використання.

Розроблена командою дослідників штучного інтелекту Snowflake, Arctic розширює межі того, що можливо з ефективною підготовкою, економічністю та незрівнянним рівнем відкритості. Ця революційна модель excels у ключових корпоративних бенчмарках, вимагаючи значно менше обчислювальної потужності порівняно з існуючими LLM.

Корпоративний інтелект, переозначений У своєму ядрі Arctic зосереджений на наданні виняткової продуктивності на метриках, які справді важливі для компаній – кодуванні, запитах SQL, складних інструкціях та виробництві ґрунтовних, фактичних висновків. Snowflake об’єднав ці критичні можливості у новій метриці “корпоративний інтелект“.

Результати говорять самі за себе. Arctic відповідає або перевершує моделі, такі як LLAMA 7B і LLAMA 70B, на корпоративних інтелектуальних бенчмарках, використовуючи менше половини обчислювального бюджету для підготовки. Подивовижно, що, незважаючи на використання 17 разів менше обчислювальних ресурсів, ніж LLAMA 70B, Arctic досягає паритету на спеціалізованих тестах, таких як кодування (HumanEval+, MBPP+), генерація SQL (Spider) та виконання інструкцій (IFEval).

Але можливості Arctic виходять за рамки лише корпоративних бенчмарків. Вона підтримує сильну продуктивність у загальному розумінні мови, розумінні та математичних здібностях порівняно з моделями, підготовленими з експоненційно вищими обчислювальними бюджетами, такими як DBRX. Ця цілісна можливість робить Arctic незрівнянним вибором для вирішення різноманітних потреб штучного інтелекту компанії.

Інновація

Гібридна трансформерна архітектура Dense-MoE Як команда Snowflake створила таку надзвичайно здатну та ефективну LLM? Відповідь лежить в архітектурі Arctic – перспективній гібридній трансформерній архітектурі Dense Mixture-of-Experts (MoE).

Традиційні густі трансформерні моделі стають все більш дорогими для підготовки, оскільки їх розмір зростає, з обчислювальними вимогами, що збільшуються лінійно. Дизайн MoE допомагає уникнути цього, використовуючи кілька паралельних фід-форвард-мереж (експертів) та активуючи лише підмножину для кожного входного токену.

Однак просто використання архітектури MoE недостатньо – Arctic поєднує сильні сторони як густих, так і MoE-компонентів. Вона поєднує 10-мільярдний параметр густого трансформерного кодувача з 128-експертним залишковим MoE-шаром. Ця гібридна модель нараховує 480 мільярдів параметрів, але лише 17 мільярдів активних у будь-який момент часу за допомогою топ-2 ґейтингу.

Вплив глибокий – Arctic досягає безпрецедентної якості моделі та потужності, залишаючись надзвичайно обчислювально-ефективною під час підготовки та висновку. Наприклад, у Arctic на 50% менше активних параметрів, ніж у моделей, таких як DBRX, під час висновку.

Але архітектура моделі – це лише частина історії. Відмінність Arctic є результатом кількох новаторських технік та ідей, розроблених командою дослідників Snowflake:

1. Підготовчі дані, орієнтовані на підприємство Через широке експериментування команда виявила, що загальні навички, такі як розуміння спільного почуття, повинні бути вивчені на початку, тоді як більш складні спеціалізації, такі як кодування та SQL, краще придбані пізніше в процесі підготовки. Кураторія даних Arctic слідує трьом стадіям, що імітують людський прогрес навчання.

Перші тератокени зосереджені на побудові широкої загальної бази. Наступні 1,5 тератокени зосереджені на розвитку підприємницьких навичок через дані, призначені для SQL, завдань кодування та інше. Останні тератокени далі уточнюють спеціалізації Arctic, використовуючи розвинені набори даних.

2. Оптимальний архітектурний вибір Хоча MoE обіцяють кращу якість за обчислення, вибір правильних конфігурацій є важливим, але недостатньо зрозумілим. Через детальне дослідження Snowflake зупинився на архітектурі, що використовує 128 експертів з топ-2 ґейтингом кожен шар після оцінки торгівлі між якістю та ефективністю.

Збільшення кількості експертів забезпечує більше комбінацій, підвищуючи потужність моделі. Однак це також підвищує витрати на спілкування, тому Snowflake зупинився на 128 ретельно розроблених “згусткових” експертах, активованих за допомогою топ-2 ґейтингу, як оптимальний баланс.

3. Системний ко-дизайн Але навіть оптимальна архітектура моделі може бути підірвана системними вузькими місцями. Тому команда Snowflake інновувала тут також – спроектувала архітектуру моделі в тандемі з основними системами підготовки та висновку.

Для ефективної підготовки густі та MoE-компоненти були структуровані для забезпечення перекриття спілкування та обчислень, ховаючи суттєві витрати на спілкування. На стороні висновку команда використала інновації NVIDIA (NVDA ) для забезпечення високоефективного розгортання, незважаючи на масштабність Arctic.

Техніки, такі як квантова FP8, дозволяють помістити повну модель на один вузол GPU для інтерактивного висновку. Більші партії залучають паралельні можливості Arctic через кілька вузлів, залишаючись вражаюче обчислювально-ефективними завдяки компактним 17 мільярдам активних параметрів.

З ліцензією Apache 2.0 ваги та код Arctic доступні без обмежень для будь-якого особистого, дослідницького чи комерційного використання. Але Snowflake пішла значно далі, відкрито опублікувавши повні рецепти даних, реалізації моделей, поради та глибокі дослідницькі ідеї, що підтримують Arctic.

“Кулінарна книга Arctic” – це всебічна база знань, що охоплює кожний аспект побудови та оптимізації великомасштабної моделі MoE, як Arctic. Вона відфільтровує ключові знання по джерелах даних, дизайну архітектури моделі, системному ко-дизайні, оптимізованому навчанню/висновку схем та інше.

Від визначення оптимальних навчальних даних до архітектури MoE при кооптимізації компіляторів, планувальників та апаратного забезпечення – це обширний корпус знань демократизує навички, раніше обмежені елітними лабораторіями штучного інтелекту. Кулінарна книга Arctic прискорює криві навчання та надає можливість підприємствам, дослідникам та розробникам усьому світі створювати свої власні ефективні, спеціалізовані LLM для практично будь-якого випадку використання.

Початок роботи з Arctic

Для компаній, які хочуть використовувати Arctic, Snowflake пропонує кілька шляхів для швидкого початку:

Безсерверний висновок: клієнти Snowflake можуть отримати доступ до моделі Arctic безкоштовно на Snowflake Cortex, повністю керованій платформі штучного інтелекту компанії. Окрім того, Arctic доступна на всіх основних каталогах моделей, таких як AWS, Microsoft Azure, NVIDIA та інше.

Початок з нуля: відкриті джерельні коди моделі та реалізації дозволяють розробникам безпосередньо інтегрувати Arctic у свої додатки та сервіси. Репозиторій Arctic надає зразки коду, навчальні посібники, рецепти тонкої настройки та інше.

Будування спеціалізованих моделей: завдяки вичерпним керівництвам Кулінарної книги Arctic розробники можуть створювати свої власні спеціалізовані моделі MoE з нуля, оптимізовані для будь-якого спеціального випадку використання, використовуючи знання, отримані під час розробки Arctic.

Нова ера відкритого корпоративного штучного інтелекту Arctic – це не просто ще одна потужна мовна модель – вона ознаменовує нову еру відкритих, економічних та спеціалізованих можливостей штучного інтелекту, створених спеціально для підприємств.

Від революціонування аналізу даних та продуктивності кодування до забезпечення автоматизації завдань та розумніших додатків, корпоративно-орієнтована ДНК Arctic робить її незрівнянним вибором над загальними LLM. І, відкрито опублікувавши не лише модель, а й весь процес дослідження та розробки, Snowflake сприяє культурі співробітництва, яка підніме весь екосистему штучного інтелекту.

Когда підприємства все частіше приймають генераційний штучний інтелект, Arctic пропонує сміливий план для розробки моделей, об’єктивно кращих для робочих навантажень виробництва та корпоративних середовищ. Її поєднання перспективних досліджень, неперевершеної ефективності та відкритої етики встановлює новий стандарт у демократизації трансформативного потенціалу штучного інтелекту.

Here’s a section with code examples on how to use the Snowflake Arctic model:

Практична робота з Arctic

Тепер, коли ми розглянули, що робить Arctic真正 революційною, давайте зануримося у те, як розробники та вчені-дані можуть почати використовувати цю потужну модель.
OutOfTheBox, Arctic доступна у вигляді попередньо підготовленої та готової до розгортання через основні хаби моделей, такі як Hugging Face, та партнерські платформи штучного інтелекту. Але її справжня сила проявляється при налаштуванні та тонкій настройці для ваших конкретних випадків використання.

Ліцензія Apache 2.0 забезпечує повну свободу інтеграції Arctic у ваші додатки, сервіси або спеціальні робочі потоки штучного інтелекту. Давайте пройдемо через деякі приклади коду, використовуючи бібліотеку трансформерів, щоб почати:

Базовий висновок з Arctic

Для швидких випадків генерації тексту ми можемо завантажити Arctic та запустити базовий висновок дуже легко:

<p>from transformers import AutoTokenizer, AutoModelForCausalLM</p>

<p># Завантаження токенізатора та моделі
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")</p>

<p># Створення простого входу та генерація тексту
input_text = "Ось базове питання: Що таке столиця Франції?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")</p>

<p># Генерація відповіді з Arctic
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)</p>

print(generated_text)

Це повинно вивести щось подібне до:

“Столиця Франції – Париж. Париж – найбільше місто у Франції та економічний, політичний і культурний центр країни. Він є домом для відомих пам’яток, таких як Ейфелева вежа, музей Лувр та собор Нотр-Дам.”

Як ви бачите, Arctic безшовно розуміє запит та надає детальну, ґрунтовну відповідь, використовуючи свої потужні можливості мовного розуміння.

Тонка настройка для спеціалізованих завдань

Хоча Arctic already вражаюча, вона справді сяє, коли налаштовується та тонко налаштовується на ваші власні дані для спеціалізованих завдань. Snowflake надала широкі рецепти, що охоплюють:

• Кураторство високоякісних навчальних даних, орієнтованих на ваш випадок використання
• Реалізація спеціалізованих багаторівневих навчальних програм
• Використання ефективних підходів тонкої настройки LoRA, P-Tuning або FactorizedFusion
• Оптимізації для розрізнення SQL, кодування або інших ключових підприємницьких навичок

Ось приклад того, як тонко налаштувати Arctic на ваші власні набори даних кодування, використовуючи LoRA та рецепти Snowflake:

<p>from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training</p>

<p># Завантаження базової моделі Arctic
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)</p>

<p># Ініціалізація конфігурації LoRA
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)</p>

<p># Підготовка моделі для тонкої настройки LoRA
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)</p>

<p># Ваші набори даних кодування
data = load_coding_datasets()</p>

<p># Тонка настройка з рецептами Snowflake
train(model, data, ...)</p>

Цей код демонструє, як ви можете легко завантажити Arctic, ініціалізувати конфігурацію LoRA, орієнтовану на генерацію коду, та тонко налаштувати модель на ваші власні набори даних кодування, використовуючи керівництва Snowflake.

Налаштована та тонко налаштована, Arctic стає приватною потужністю, налаштованою для надання неперевершеної продуктивності на ваших основних підприємницьких робочих потоках та потребах зацікавлених сторін.