Snowflake Arctic: Революционный LLM для корпоративного ИИ

Современные предприятия все чаще ищут способы использования больших языковых моделей (LLM) для повышения производительности и создания интеллектуальных приложений. Однако многие доступные варианты LLM являются универсальными моделями, не адаптированными для специализированных корпоративных потребностей, таких как анализ данных, кодирование и автоматизация задач. Вступает Snowflake Arctic – передовая LLM, специально разработанная и оптимизированная для основных корпоративных случаев использования.

Разработанная командой исследователей ИИ Snowflake, Arctic расширяет границы того, что возможно с помощью эффективной тренировки, экономичности и беспрецедентного уровня открытости. Эта революционная модель excels в ключевых корпоративных бенчмарках, требуя намного меньше вычислительной мощности по сравнению с существующими LLM.

Корпоративный интеллект, переопределенный В своем ядре Arctic сосредоточен на предоставлении исключительных результатов по метрикам, которые действительно важны для корпоративных клиентов – кодированию, запросам SQL, сложному выполнению инструкций и генерации обоснованных, основанных на фактах выводов. Snowflake объединила эти критические возможности в новую метрику “корпоративный интеллект“.

Результаты говорят сами за себя. Arctic соответствует или превосходит модели, такие как LLAMA 7B и LLAMA 70B, на корпоративных бенчмарках интеллекта, используя менее половины вычислительного бюджета для тренировки. Удивительно, что, несмотря на использование 17 раз меньше вычислительных ресурсов, чем LLAMA 70B, Arctic достигает паритета на специализированных тестах, таких как кодирование (HumanEval+, MBPP+), генерация SQL (Spider) и выполнение инструкций (IFEval).

Но возможности Arctic выходят за рамки простого выполнения корпоративных бенчмарков. Она поддерживает сильную производительность по общему пониманию языка, рассуждению и математическим способностям по сравнению с моделями, обученными с экспоненциально более высокими вычислительными бюджетами, такими как DBRX. Эта целостная способность делает Arctic непобедимым выбором для решения разнообразных потребностей ИИ корпоративного клиента.

Инновация

Гибридная трансформерная архитектура Dense-MoE Как команда Snowflake построила такую невероятно способную, yet эффективную LLM? Ответ лежит в архитектуре Arctic, которая представляет собой передовую гибридную трансформерную архитектуру Dense Mixture-of-Experts (MoE).

Традиционные плотные модели трансформеров становятся все более дорогими в тренировке по мере роста их размера, с вычислительными требованиями, увеличивающимися линейно. Дизайн MoE помогает обойти это, используя несколько параллельных сетей прямого распространения (экспертов) и активируя только подмножество для каждого входного токена.

Однако просто использование архитектуры MoE недостаточно – Arctic сочетает сильные стороны как плотных, так и MoE-компонентов. Она сочетает 10-миллиардный параметр плотного трансформерного кодировщика с 128-экспертным остаточным MoE многослойным персептроном (MLP). Эта гибридная модель Dense-MoE имеет общее количество параметров 480 миллиардов, но только 17 миллиардов параметров активны в любой момент времени с помощью верхних 2-шлюзов.

Последствия глубоки – Arctic достигает беспрецедентного качества модели и емкости, оставаясь замечательно вычислительно-эффективной во время тренировки и вывода. Например, Arctic имеет на 50% меньше активных параметров, чем модели, такие как DBRX, во время вывода.

Но архитектура модели является только частью истории. Исключительность Arctic является результатом нескольких пионерских техник и прозрений, разработанных командой исследователей Snowflake:

1. Куррикулум обучающих данных, ориентированный на корпоративные потребности Через обширные эксперименты команда обнаружила, что общие навыки, такие как рассуждение, основанное на здравом смысле, должны быть изучены на ранней стадии, в то время как более сложные специализации, такие как кодирование и SQL, лучше приобретаются на более поздних этапах тренировки. Куррикулум данных Arctic следует трехэтапному подходу, имитирующему прогрессию человеческого обучения.

Первые тератокены сосредоточены на построении широкой общей базы. Следующие 1,5 тератокена сосредоточены на развитии корпоративных навыков через данные, адаптированные для SQL, задач кодирования и более. Последние тератокены进一步 совершенствуют специализации Arctic, используя усовершенствованные наборы данных.

2. Оптимальные архитектурные решения Хотя MoE обещает лучшее качество за вычислительные ресурсы, выбор правильных конфигураций имеет решающее значение, но плохо понимается. Через подробные исследования Snowflake остановилась на архитектуре, использующей 128 экспертов с верхними 2-шлюзами на каждом слое после оценки торговых компромиссов между качеством и эффективностью.

Увеличение количества экспертов обеспечивает больше комбинаций, повышая емкость модели. Однако это также увеличивает затраты на связь, поэтому Snowflake остановилась на 128 тщательно разработанных “конденсированных” экспертах, активируемых через верхние 2-шлюзы, как оптимальный баланс.

3. Совместная разработка системы Но даже оптимальная архитектура модели может быть подорвана системными бутлегами. Поэтому команда Snowflake также инновировала в этом направлении – разработав архитектуру модели в тесной связи с лежащими в основе системами тренировки и вывода.

Для эффективной тренировки плотные и MoE-компоненты были структурированы для ermögления перекрывающейся связи и вычислений, скрывая значительные накладные расходы на связь. На стороне вывода команда использовала инновации NVIDIA (NVDA ) для обеспечения высокоэффективного развертывания, несмотря на масштаб Arctic.

Техники, такие как квантование FP8, позволяют разместить полную модель на одном узле GPU для интерактивного вывода. Более крупные пакеты задействуют параллельные возможности Arctic на нескольких узлах, оставаясь впечатляюще вычислительно-эффективными благодаря компактным 17 миллиардам активных параметров.

С лицензией Apache 2.0 веса и код Arctic доступны без ограничений для любого личного, исследовательского или коммерческого использования. Но Snowflake пошел намного дальше, открыто опубликовав полные рецепты данных, реализации моделей, советы и глубокие исследовательские прозрения, которые движут Arctic.

“Книга рецептов Arctic” – это всесторонняя база знаний, охватывающая каждый аспект построения и оптимизации крупномасштабной модели MoE, такой как Arctic. Она извлекает ключевые знания по всему процессу от источников данных до проектирования архитектуры модели, системной ко-дизайна, оптимизированных схем тренировки/вывода и более.

От определения оптимальных учебных планов до архитектуры MoE, а также ко-оптимизации компиляторов, планировщиков и оборудования – это обширная база знаний демократизирует навыки, ранее ограниченные элитными лабораториями ИИ. Книга рецептов Arctic ускоряет кривые обучения и наделяет бизнес, исследователей и разработчиков во всем мире возможностью создавать свои собственные экономически эффективные, адаптированные LLM для практически любого случая использования.

Начало работы с Arctic

Для компаний, желающих использовать Arctic, Snowflake предлагает несколько путей для быстрого начала:

Бессерверный вывод: клиенты Snowflake могут получить доступ к модели Arctic бесплатно на Snowflake Cortex, полностью управляемой платформе ИИ. Помимо этого, Arctic доступен во всех основных каталогах моделей, таких как AWS, Microsoft Azure, NVIDIA и более.

Начните с нуля: открытые исходные коды модели и реализации позволяют разработчикам напрямую интегрировать Arctic в свои приложения и сервисы. Репозиторий Arctic предоставляет образцы кода, учебники по развертыванию, рецепты тонкой настройки и более.

Постройте пользовательские модели: благодаря исчерпывающим руководствам Книги рецептов Arctic разработчики могут создавать свои собственные пользовательские модели MoE с нуля, оптимизированные для любого специализированного случая использования, используя знания, полученные из разработки Arctic.

Новая эра открытого корпоративного ИИ Arctic – это не просто еще одна мощная языковая модель – она знаменует новую эру открытых, экономически эффективных и специализированных возможностей ИИ, предназначенных для корпоративного клиента.

От революционизации анализа данных и кодирования производительности до обеспечения автоматизации задач и более умных приложений, корпоративная ДНК Arctic делает ее непобедимым выбором над универсальными LLM. И, открыто опубликовав не только модель, но и весь процесс исследований и разработки, стоящий за ней, Snowflake способствует культуре сотрудничества, которая повысит весь экосистему ИИ.

По мере того, как предприятия все чаще принимают генеративный ИИ, Arctic предлагает смелый план для разработки моделей, объективно превосходящих для рабочих нагрузок и корпоративных сред. Ее сочетание передовых исследований, беспрецедентной эффективности и непоколебимой открытой этики устанавливает новый эталон в демократизации трансформирующего потенциала ИИ.

Вот раздел с примерами кода о том, как использовать модель Snowflake Arctic:

Практическая работа с Arctic

Теперь, когда мы рассмотрели, что делает Arctic по-настоящему новаторской, давайте погрузимся в то, как разработчики и ученые могут начать использовать эту мощную модель.
Из коробки Arctic доступен в предварительно обученном и готовом к развертыванию виде через основные хабы моделей, такие как Hugging Face, и партнерские платформы ИИ. Но ее реальная сила проявляется, когда она настраивается и тонко настраивается для конкретных случаев использования.

Лицензия Apache 2.0 обеспечивает полную свободу интеграции Arctic в ваши приложения, сервисы или пользовательские рабочие потоки ИИ. Давайте пройдем через некоторые примеры кода, используя библиотеку transformers, чтобы начать:

Базовый вывод с Arctic

Для быстрых случаев генерации текста мы можем загрузить Arctic и выполнить базовый вывод очень легко:

<p>from transformers import AutoTokenizer, AutoModelForCausalLM</p>

<p># Загрузите токенизатор и модель
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")</p>

<p># Создайте простой вход и сгенерируйте текст
input_text = "Вот базовый вопрос: Какой столицей Франции?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")</p>

<p># Сгенерируйте ответ с помощью Arctic
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)</p>

print(generated_text)

Это должно вывести что-то вроде:

“Столицей Франции является Париж. Париж – это самый большой город во Франции и экономический, политический и культурный центр страны. Это родина знаменитых достопримечательностей, таких как Эйфелева башня, музей Лувра и собор Нотр-Дам.”

Как вы можете видеть, Arctic без проблем понимает запрос и предоставляет подробный, обоснованный ответ, используя свои сильные языковые возможности.

Тонкая настройка для специализированных задач

Хотя впечатляющая в коробке, Arctic действительно сияет, когда она настраивается и тонко настраивается на ваши проприетарные данные для специализированных задач. Snowflake предоставила обширные рецепты, охватывающие:

• Создание высококачественных обучающих данных, адаптированных для вашего случая использования
• Реализация настраиваемых многоэтапных учебных планов
• Использование эффективных подходов тонкой настройки LoRA, P-Tuning или FactorizedFusion
• Оптимизация для различения SQL, кодирования или других ключевых корпоративных навыков

Вот пример того, как тонко настроить Arctic на ваших собственных наборах данных кодирования, используя LoRA и рецепты Snowflake:

<p>from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training</p>

<p># Загрузите базовую модель Arctic
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)</p>

<p># Инициализируйте конфигурацию LoRA
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)</p>

<p># Подготовьте модель для тонкой настройки LoRA
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)</p>

<p># Ваши наборы данных кодирования
data = load_coding_datasets()</p>

<p># Тонко настройте с помощью рецептов Snowflake
train(model, data, ...)</p>

Этот код иллюстрирует, как вы можете легко загрузить Arctic, инициализировать конфигурацию LoRA, адаптированную для генерации кода, и затем тонко настроить модель на ваших проприетарных наборах данных кодирования, используя руководство Snowflake.

Настроенная и тонко настроенная, Arctic становится частной мощной моделью, настроенной на беспрецедентную производительность на ваших основных корпоративных рабочих процессах и потребностях заинтересованных сторон.