Snowflake Arctic: Авангардният LLM за Enterprise AI

Днешните предприятия все повече проучват начини за използване на големи езикови модели (LLM) за повишаване на производителността и създаване на интелигентни приложения. Много от наличните опции за LLM обаче са общи модели, които не са пригодени за нуждите на специализирани предприятия като анализ на данни, кодиране и автоматизация на задачи. Въведете Снежинка Арктика – най-съвременен LLM, целенасочено проектиран и оптимизиран за основни случаи на корпоративна употреба.

Разработен от изследователския екип на AI в Snowflake, Arctic разширява границите на възможното с ефективно обучение, рентабилност и несравнимо ниво на откритост. Този революционен модел превъзхожда ключови корпоративни показатели, като същевременно изисква много по-малко изчислителна мощност в сравнение със съществуващите LLM. Нека се потопим в това, което прави Arctic промяна на играта за корпоративния AI.

Предефиниран корпоративн интелект В основата си Arctic е лазерно фокусиран върху предоставянето на изключителна производителност по показатели, които наистина имат значение за предприятията – кодиране, SQL заявки, следване на сложни инструкции и създаване на обосновани, базирани на факти резултати. Snowflake комбинира тези критични способности в роман "корпоративна интелигентност” показател.

Резултатите говорят сами за себе си. Arctic отговаря или превъзхожда модели като LLAMA 7B и LLAMA 70B по показатели за корпоративна интелигентност, като същевременно използва по-малко от половината изчислителен бюджет за обучение. Забележително, въпреки използването 17 пъти по-малко изчислителни ресурси от LLAMA 70B, Arctic постига паритет на специализирани тестове като кодиране (HumanEval+, MBPP+), генериране на SQL (Spider) и следване на инструкции (IFEval).

Но мощта на Arctic надхвърля просто постигането на корпоративни показатели. Той поддържа силна производителност в общо разбиране на езика, разсъждения и математически способности в сравнение с модели, обучени с експоненциално по-високи изчислителни бюджети като DBRX. Тази холистична способност прави Arctic ненадминат избор за справяне с разнообразните нужди на AI на едно предприятие.

Иновацията

Dense-MoE хибриден трансформатор И така, как екипът на Snowflake изгради толкова невероятно способен, но ефективен LLM? Отговорът се крие в авангардната хибридна трансформаторна архитектура Dense Mixture-of-Experts (MoE) на Arctic.

Традиционните плътни трансформаторни модели стават все по-скъпи за обучение с нарастването на техния размер, като изчислителните изисквания нарастват линейно. Дизайнът на MoE помага да се заобиколи това чрез използване на множество паралелни мрежи за предаване напред (експерти) и само активиране на подмножество за всеки входен токен.

Обаче простото използване на MoE архитектура не е достатъчно – Arctic гениално съчетава силните страни както на плътните, така и на MoE компонентите. Той съчетава 10 милиарда параметър плътен трансформаторен енкодер със 128 експертен остатъчен MoE многослоен перцептронен (MLP) слой. Този хибриден модел с плътен MoE има общо 480 милиарда параметъра, но само 17 милиарда са активни във всеки даден момент, като се използва стробиране от топ-2.

Последствията са дълбоки – Arctic постига безпрецедентно качество и капацитет на модела, като същевременно остава забележително ефективна при изчисления по време на обучение и изводи. Например, Arctic има 50% по-малко активни параметри от модели като DBRX по време на извод.

Но моделната архитектура е само една част от историята. Превъзходството на Arctic е кулминацията на няколко пионерски техники и прозрения, разработени от изследователския екип на Snowflake:

1. Учебна програма за данни за обучение, фокусирана върху предприятието. Чрез задълбочено експериментиране екипът откри, че общите умения като разумно мислене трябва да се научат рано, докато по-сложни специализации като кодиране и SQL е най-добре да се придобият по-късно в процеса на обучение. Учебната програма за данни на Arctic следва триетапен подход, имитиращ прогресията на човешкото обучение.

Първите тератокени се фокусират върху изграждането на широка обща база. Следващите 1.5 тератокена се концентрират върху развитието на корпоративни умения чрез данни, пригодени за SQL, задачи за кодиране и др. Последните тератокени допълнително прецизират специализациите на Арктика с помощта на прецизирани набори от данни.

2. Оптимален архитектурен избор Докато MoEs обещават по-добро качество на изчисление, изборът на правилните конфигурации е от решаващо значение, но не е добре разбран. Чрез подробно проучване Snowflake се приземи на архитектура, в която работят 128 експерти с топ 2 стробиращи всеки слой след оценка на компромисите между качество и ефективност.

Увеличаването на броя на експертите осигурява повече комбинации, подобрявайки капацитета на модела. Това обаче също повишава разходите за комуникация, така че Snowflake се приземи на 128 внимателно проектирани „кондензирани“ експерти, активирани чрез стробиране от топ 2 като оптимален баланс.

3. Съвместно проектиране на системата Но дори една оптимална архитектура на модела може да бъде подкопана от тесни места в системата. Така че екипът на Snowflake направи иновации и тук – съвместно проектиране на архитектурата на модела ръка за ръка с основните системи за обучение и изводи.

За ефективно обучение компонентите dense и MoE бяха структурирани така, че да позволяват припокриване на комуникацията и изчисленията, скривайки значителни разходи за комуникация. От страна на изводите, екипът използва иновациите на NVIDIA, за да позволи високоефективно внедряване въпреки мащаба на Arctic.

Техники като FP8 квантуване позволяват монтиране на пълния модел на един GPU възел за интерактивно заключение. По-големите партиди включват възможностите на Arctic за паралелизъм в множество възли, като същевременно остават впечатляващо изчислително ефективни благодарение на своите компактни 17B активни параметри.

С лиценз Apache 2.0 теглата и кодът на Arctic са достъпни без ограничение за лична, изследователска или търговска употреба. Но Snowflake са отишли ​​много по-далеч, предоставяйки своите пълни рецепти за данни, внедрявания на модели, съвети и задълбочени изследователски прозрения, които захранват Arctic.

"Арктическа готварска книга” е цялостна база от знания, обхващаща всеки аспект от изграждането и оптимизирането на широкомащабен модел на MoE като Arctic. Той дестилира ключови знания в източниците на данни, дизайна на архитектурата на модела, съвместния дизайн на системата, оптимизираните схеми за обучение/изводи и др.

От идентифициране на оптимални учебни програми за данни до проектиране на MoEs при съвместно оптимизиране на компилатори, програмисти за планиране и хардуер – този обширен набор от знания демократизира уменията, които преди са били ограничени до елитни лаборатории за изкуствен интелект. The Arctic Cookbook ускорява кривите на обучение и дава възможност на бизнеса, изследователите и разработчиците в световен мащаб да създават свои собствени рентабилни, персонализирани LLMs за практически всеки случай на употреба.

Първи стъпки с Арктика

За компании, които искат да използват Арктика, Snowflake предлага множество пътища за бързо стартиране:

Извод без сървър: Клиентите на Snowflake могат да получат безплатен достъп до модела Arctic на Snowflake Cortex, напълно управляваната AI платформа на компанията. Освен това Arctic се предлага във всички основни каталози на модели като AWS, Microsoft Azure, NVIDIA и др.

Започнете от нулата: Теглата и реализациите на модела с отворен код позволяват на разработчиците директно да интегрират Arctic в своите приложения и услуги. Arctic repo предоставя примерни кодове, уроци за внедряване, рецепти за фина настройка и много други.

Изграждане на персонализирани модели: Благодарение на изчерпателните ръководства на Arctic Cookbook, разработчиците могат да създават свои собствени персонализирани модели на MoE от нулата, оптимизирани за всеки специализиран случай на употреба, като използват наученото от развитието на Arctic.

Нова ера на Open Enterprise AI Arctic е нещо повече от още един мощен езиков модел – той предвещава нова ера на отворени, рентабилни и специализирани възможности на AI, специално създадени за предприятието.

От революционизиране на анализа на данни и производителност на кодиране до захранване на автоматизацията на задачите и по-интелигентни приложения, ДНК на Arctic, първо за предприятието, го прави ненадминат избор пред генеричните LLM. И чрез отворен код не само на модела, но и на целия процес на научноизследователска и развойна дейност зад него, Snowflake насърчава култура на сътрудничество, която ще издигне цялата AI екосистема.

Тъй като предприятията все повече възприемат генеративния AI, Arctic предлага смел план за разработване на модели, обективно превъзходни за производствени работни натоварвания и корпоративни среди. Неговото съчетание от авангардни изследвания, несравнима ефективност и непоколебим отворен дух поставя нов еталон в демократизирането на трансформиращия потенциал на AI.

Ето раздел с примерни кодове за това как да използвате модела Snowflake Arctic:

Практически с Арктика

Сега, след като разгледахме какво прави Arctic наистина новаторски, нека се потопим в това как разработчиците и специалистите по данни могат да започнат да използват този мощен модел.
Извън кутията Arctic се предлага предварително обучен и готов за внедряване чрез основни центрове за модели като Hugging Face и партньорски AI платформи. Но истинската му сила се проявява, когато го персонализирате и фино настройвате за вашите конкретни случаи на употреба.

Лицензът Apache 2.0 на Arctic предоставя пълна свобода да го интегрирате във вашите приложения, услуги или персонализирани работни потоци с AI. Нека преминем през някои примери за кодове, като използваме библиотеката transformers, за да започнете:
Основен извод с Арктика

За случаи на използване на бързо генериране на текст можем да заредим Arctic и да изпълним основни изводи много лесно:

from transformers import AutoTokenizer, AutoModelForCausalLM
# Load the tokenizer and model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")
# Create a simple input and generate text
input_text = "Here is a basic question: What is the capital of France?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")
# Generate response with Arctic
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

Това трябва да изведе нещо като:

„Столицата на Франция е Париж. Париж е най-големият град във Франция и икономически, политически и културен център на страната. Той е дом на известни забележителности като Айфеловата кула, Лувъра и катедралата Нотр Дам.“

Както можете да видите, Arctic безпроблемно разбира заявката и предоставя подробен, обоснован отговор, използвайки стабилните си възможности за разбиране на езика.

Фина настройка за специализирани задачи

Въпреки че е впечатляващ извън кутията, Arctic наистина блести, когато е персонализиран и фино настроен на вашите собствени данни за специализирани задачи. Snowflake е предоставила обширни рецепти, обхващащи:

• Куриране на висококачествени данни за обучение, пригодени за вашия случай на употреба
• Прилагане на персонализирани многоетапни учебни програми
• Използване на ефективни подходи за фина настройка на LoRA, P-Tuning или Factorized Fusion
• Оптимизации за взискателни SQL, кодиране или други ключови корпоративни умения

Ето пример за това как да прецизирате Arctic върху вашите собствени набори от данни за кодиране, като използвате LoRA и рецептите на Snowflake:

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training
# Load base Arctic model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)
# Initialize LoRA configs
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)
# Prepare model for LoRA finetuning
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)
# Your coding datasets
data = load_coding_datasets()
# Fine-tune with Snowflake's recipes
train(model, data, ...)

Този код илюстрира как можете без усилие да заредите Arctic, да инициализирате LoRA конфигурация, пригодена за генериране на код, и след това да настроите фино модела на вашите собствени набори от данни за кодиране, като използвате насоките на Snowflake.

Персонализирана и фино настроена, Arctic се превръща в частна електроцентрала, настроена да предоставя несравнима производителност на вашите основни корпоративни работни процеси и нужди на заинтересованите страни.