Snowflake Arctic: Przewodnik po najnowocześniejszym LLM dla przedsiębiorstw AI

Przedsiębiorstwa coraz częściej poszukują sposobów na wykorzystanie dużych modeli językowych (LLM) w celu zwiększenia produktywności i tworzenia inteligentnych aplikacji. Jednak wiele dostępnych opcji LLM nie jest dostosowanych do specjalnych potrzeb przedsiębiorstw, takich jak analiza danych, kodowanie i automatyzacja zadań. Wchodzi Snowflake Arctic – model LLM zaprojektowany i zoptymalizowany dla podstawowych przypadków użycia przedsiębiorstw.

Zespół badawczy AI w Snowflake opracował Arctic, który posuwa granice tego, co jest możliwe dzięki wydajnemu szkoleniu, efektywności kosztowej i niezrównanemu poziomowi otwartości. Ten rewolucyjny model wyróżnia się w kluczowych benchmarkach przedsiębiorstw, wymagając znacznie mniej mocy obliczeniowej w porównaniu z istniejącymi LLM.

Inteligencja przedsiębiorstw zdefiniowana na nowo W swojej istocie Arctic jest skoncentrowany na dostarczaniu wyjątkowych wyników w obszarach, które naprawdę mają znaczenie dla przedsiębiorstw – kodowaniu, zapytaniach SQL, złożonym instrukcjach i generowaniu ugruntowanych, opartych na faktach danych wyjściowych. Snowflake połączył te krytyczne możliwości w nowy “wskaźnik inteligencji przedsiębiorstw“.

Wyniki mówią same za siebie. Arctic spełnia lub przewyższa modele takie jak LLAMA 7B i LLAMA 70B w benchmarkach inteligencji przedsiębiorstw, używając mniej niż połowy budżetu obliczeniowego na szkolenie. Co więcej, pomimo wykorzystania 17 razy mniej zasobów obliczeniowych niż LLAMA 70B, Arctic osiąga równość w specjalistycznych testach, takich jak kodowanie (HumanEval+, MBPP+), generowanie SQL (Spider) i postępowanie z instrukcjami (IFEval).

Ale zdolności Arctic wykraczają poza zwykłe osiąganie benchmarków przedsiębiorstw. Utrzymuje silne wyniki w ogólnej zdolności językowej, rozumowaniu i zdolnościach matematycznych w porównaniu z modelami szkolonymi z wykładniczo wyższymi budżetami obliczeniowymi, takimi jak DBRX. Ta holistyczna zdolność sprawia, że Arctic jest niepokonanym wyborem do rozwiązywania różnorodnych potrzeb AI przedsiębiorstw.

Innowacja

Gęsty hybrydowy transformator MoE Jak zespół Snowflake zbudował taki niesamowicie zdolny, a jednocześnie wydajny LLM? Odpowiedź leży w architekturze Arctic, wykorzystującej najnowocześniejszy gęsty hybrydowy transformator MoE.

Tradycyjne gęste modele transformatora stają się coraz bardziej kosztowne w szkoleniu, wraz ze wzrostem ich rozmiaru, przy czym wymagania obliczeniowe rosną liniowo. Projekt MoE pomaga ominąć ten problem, wykorzystując wiele równoległych sieci neuronowych (ekspertów) i aktywując tylko podzbiór dla każdego tokenu wejściowego.

Jednakże sama używanie architektury MoE nie wystarcza – Arctic łączy siły zarówno gęstych, jak i składników MoE w sposób genialny. Para 10-miliardowego parametru gęstego transformatora encoder z 128-residualnymi warstwami MLP (perceptron wielowarstwowy) z top-2 bramkowaniem. Ten model hybrydowy ma łącznie 480 miliardów parametrów, ale tylko 17 miliardów jest aktywnych w dowolnym momencie, używając top-2 bramkowania.

Wyniki są głębokie – Arctic osiąga bezprecedensową jakość modelu i pojemność, pozostając nadzwyczaj wydajnym podczas szkolenia i inferencji. Na przykład, Arctic ma o 50% mniej aktywnych parametrów niż modele takie jak DBRX podczas inferencji.

Ale architektura modelu jest tylko częścią historii. Doskonałość Arctic jest kulminacją kilku pionierskich technik i spostrzeżeń opracowanych przez zespół badawczy Snowflake:

1. Dane szkoleniowe dostosowane do potrzeb przedsiębiorstw poprzez obszerny eksperyment, zespół odkrył, że ogólne umiejętności, takie jak rozumowanie zdroworozsądkowe, powinny być nauką na początku, podczas gdy bardziej złożone specjalizacje, takie jak kodowanie i SQL, są najlepiej nabyte później w procesie szkolenia. Program nauczania Arctic składa się z trzech etapów, naśladując postępy ludzkiej nauki.

Pierwsze teratokeny koncentrują się na budowaniu szerokiej bazy ogólnej. Następne 1,5 teratokeny skupiają się na rozwijaniu umiejętności przedsiębiorstw poprzez dane dostosowane do SQL, zadań programistycznych i więcej. Ostatnie teratokeny dalej doskonalą specjalizacje Arctic, używając ulepszonych zbiorów danych.

2. Optymalne wybory architektoniczne Chociaż MoE obiecują lepszą jakość na komput, wybór odpowiednich konfiguracji jest kluczowy, ale słabo zrozumiany. Przez szczegółowe badania, Snowflake wybrał architekturę z 128 ekspertami z top-2 bramkowaniem w każdej warstwie, oceniając wymiany między jakością a efektywnością.

Zwiększanie liczby ekspertów zapewnia więcej kombinacji, zwiększając pojemność modelu. Jednakże zwiększa to również koszty komunikacji, więc Snowflake wybrał 128 starannie zaprojektowanych “skondensowanych” ekspertów aktywowanych za pomocą top-2 bramkowania jako optymalny balans.

3. Współprojektowanie systemu Nawet optymalna architektura modelu może być podważona przez wąskie gardła systemu. Dlatego zespół Snowflake również innowacyjnie współprojektował architekturę modelu wraz z podstawowymi systemami szkolenia i inferencji.

Do efektywnego szkolenia, gęste i składniki MoE zostały zorganizowane w taki sposób, aby umożliwić nakładanie się komunikacji i obliczeń, ukrywając znaczne koszty komunikacji. Po stronie inferencji zespół wykorzystał innowacje NVIDII, aby umożliwić wyjątkowo wydajne wdrożenie, pomimo skali Arctic.

Techniki takie jak kwantyzacja FP8 pozwalają na umieszczenie pełnego modelu na jednym węźle GPU do interaktywnej inferencji. Większe partie angażują możliwości równoległe Arctic na wielu węzłach, pozostając imponująco wydajnym dzięki jego kompaktowym 17 miliardom aktywnych parametrów.

Z licencją Apache 2.0, wagi i kod Arctic są dostępne bez ograniczeń dla każdego osobistego, badawczego lub komercyjnego użycia. Ale Snowflake poszedł o wiele dalej, udostępniając całe przepisy danych, implementacje modeli, wskazówki i głębokie spostrzeżenia badawcze napędzające Arctic.

“Książka kucharska Arctic” to kompleksowa baza wiedzy, która obejmuje każdy aspekt budowy i optymalizacji dużego modelu MoE, takiego jak Arctic. Destyluje kluczowe spostrzeżenia w zakresie źródeł danych, projektowania architektury modelu, współprojektowania systemów, optymalnych schematów szkolenia/inferencji i więcej.

Od identyfikacji optymalnych programów nauczania danych po architekturę MoE, współoptymalizację kompilatorów, planistów i sprzętu – ta obszerna wiedza demokratyzuje umiejętności wcześniej ograniczone do elitarnych laboratoriów AI. Książka kucharska Arctic przyspiesza krzywe uczenia i upoważnia firmy, badaczy i deweloperów na całym świecie do tworzenia własnych, efektywnych kosztowo, dostosowanych LLM dla praktycznie każdego przypadku użycia.

Rozpoczęcie pracy z Arctic

Dla firm zainteresowanych wykorzystaniem Arctic, Snowflake oferuje wiele ścieżek, aby szybko rozpocząć:

Bezserwerowa inferencja: Klienci Snowflake mogą uzyskać dostęp do modelu Arctic za darmo na Snowflake Cortex, w pełni zarządzanej platformie AI. Poza tym, Arctic jest dostępny we wszystkich głównych katalogach modeli, takich jak AWS, Microsoft Azure, NVIDIA (NVDA ) i więcej.

Rozpoczęcie od podstaw: Otwarte źródło wag modelu i implementacji pozwala deweloperom na bezpośrednie zintegrowanie Arctic z ich aplikacjami i usługami. Repozytorium Arctic zawiera przykładowy kod, samouczki wdrożeniowe, przepisy dostrajania i więcej.

Budowanie niestandardowych modeli: Dzięki wyczerpującym przewodnikom w Książce kucharskiej Arctic, deweloperzy mogą budować własne niestandardowe modele MoE od podstaw, zoptymalizowane dla dowolnego specjalistycznego przypadku użycia, wykorzystując spostrzeżenia z rozwoju Arctic.

Nowa era otwartej AI przedsiębiorstw Arctic to więcej niż tylko potężny model językowy – zapowiada nową erę otwartej, efektywnej kosztowo i specjalistycznej AI, zaprojektowanej specjalnie dla przedsiębiorstw.

Od rewolucjonizowania analizy danych i produktywności kodowania po napędzanie automatyzacji zadań i inteligentnych aplikacji, DNA Arctic sprawia, że jest to niepokonany wybór w porównaniu z ogólnymi LLM. A poprzez otwarcie nie tylko modelu, ale całego procesu badawczego, Snowflake promuje kulturę współpracy, która podniesie cały ekosystem AI.

Gdy przedsiębiorstwa coraz częściej przyjmują generatywną AI, Arctic oferuje śmiały plan rozwoju modeli, które są obiektywnie lepsze dla obciążeń produkcyjnych i środowisk przedsiębiorstw. Jego połączenie najnowocześniejszych badań, niezrównanej efektywności i niezachwianej otwartości ustanawia nowy standard w demokratyzowaniu transformacyjnego potencjału AI.

Oto sekcja z przykładami kodu, jak używać modelu Snowflake Arctic:

Praktyczne korzystanie z Arctic

Teraz, gdy omówiliśmy to, co sprawia, że Arctic jest prawdziwie przełomowy, wejdźmy w to, jak deweloperzy i uczeni danych mogą zacząć wykorzystywać ten potężny model.
Bezpośrednio Arctic jest dostępny wstępnie przeszkolony i gotowy do wdrożenia za pośrednictwem głównych hubów modeli, takich jak Hugging Face i platform partnerskich. Ale jego prawdziwa siła pojawia się, gdy jest dostosowywany i dostrajany do konkretnych przypadków użycia.

Licencja Apache 2.0 zapewnia pełną swobodę integracji Arctic z aplikacjami, usługami lub niestandardowymi przepływami pracy AI. Przejdźmy przez kilka przykładów kodu, używając biblioteki transformers, aby rozpocząć:

Podstawowa inferencja z Arctic

Do szybkich przypadków generowania tekstu, możemy załadować Arctic i uruchomić podstawową inferencję bardzo łatwo:

<p>from transformers import AutoTokenizer, AutoModelForCausalLM</p>

<p># Załaduj tokenizer i model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")</p>

<p># Utwórz prosty input i wygeneruj tekst
input_text = "To jest podstawowe pytanie: Jaka jest stolica Francji?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")</p>

<p># Wygeneruj odpowiedź z Arctic
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)</p>

print(generated_text)

To powinno wygenerować coś takiego:

“Stolica Francji to Paryż. Paryż jest największym miastem we Francji i centrum gospodarczym, politycznym i kulturalnym kraju. Jest domem dla słynnych zabytków, takich jak Wieża Eiffla, Luwr i katedra Notre-Dame.”

Jak widać, Arctic bezproblemowo rozumie pytanie i dostarcza szczegółową, ugruntowaną odpowiedź, wykorzystując swoje silne możliwości językowe.

Dostosowanie do specjalistycznych zadań

Chociaż imponujący bezpośrednio, Arctic naprawdę błyszczy, gdy jest dostosowywany i dostrajany na Twoich własnych danych dla specjalistycznych zadań. Snowflake dostarczył obszerne przepisy, obejmujące:

• Tworzenie wysokiej jakości danych szkoleniowych dostosowanych do Twojego przypadku użycia
• Wdrożenie niestandardowych, wieloetapowych programów nauczania
• Wykorzystanie efektywnych podejść do dostrajania, takich jak LoRA, P-Tuning lub FactorizedFusion
• Optymalizacje dla rozróżniania SQL, kodowania lub innych kluczowych umiejętności przedsiębiorstw

Oto przykład, jak dostrajać Arctic na Twoich własnych zestawach danych kodowania, używając LoRA i przepisów Snowflake:

<p>from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training</p>

<p># Załaduj podstawowy model Arctic
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)</p>

<p># Zainicjuj konfigurację LoRA
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)</p>

<p># Przygotuj model do dostrajania LoRA
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)</p>

<p># Twoje zestawy danych kodowania
data = load_coding_datasets()</p>

<p># Dostraj z przepisami Snowflake
train(model, data, ...)</p>

Ten kod ilustruje, jak możesz łatwo załadować Arctic, zainicjować konfigurację LoRA dostosowaną do generowania kodu i dostrajać model na Twoich własnych zestawach danych kodowania, wykorzystując przewodniki Snowflake.

Dostosowany i dostrajany, Arctic staje się potężną, prywatną siłą, dostosowaną do dostarczania niezrównanej wydajności na Twoich kluczowych przepływach pracy przedsiębiorstwa i potrzebach stakeholderów.