Snowflake Arctic: Převratný LLM pro firemní AI

Firemní sektory dnes stále více zkoumají způsoby, jak využít velké jazykové modely (LLM) pro zvýšení produktivity a vytvoření inteligentních aplikací. Nicméně, mnoho dostupných LLM možností jsou obecné modely, které nejsou přizpůsobeny pro specializované firemní potřeby, jako je analýza dat, kódování a automatizace úkolů. Vstoupí Snowflake Arctic – špičkový LLM, který je účelně navržen a optimalizován pro základní firemní použití.

Vyvinutý týmem AI výzkumu ve Snowflake, Arctic rozšiřuje hranice toho, co je možné s efektivními tréninkovými, nákladově efektivními a bezprecedentní úrovní otevřenosti. Tento revoluční model vyniká v klíčových firemních benchmarcích, zatímco vyžaduje mnohem méně výpočetního výkonu ve srovnání s existujícími LLM.

Firemní inteligence předefinována V jádru je Arctic zaměřen na poskytování výjimečných výkonů na metrikách, které skutečně záleží pro firemní sektor – kódování, dotazování SQL, komplexní sledování pokynů a generování založených, fakticky založených výstupů. Snowflake kombinoval tyto kritické schopnosti do novely “firemní inteligence” metriky.

Výsledky mluví samy za sebe. Arctic splňuje nebo překonává modely, jako LLAMA 7B a LLAMA 70B, na firemních inteligentních benchmarcích, zatímco využívá méně než polovinu výpočetního rozpočtu pro trénink. Pozoruhodně, navzdory využití 17krát méně výpočetních zdrojů než LLAMA 70B, Arctic dosahuje parity na specializovaných testech, jako je kódování (HumanEval+, MBPP+), generování SQL (Spider) a sledování pokynů (IFEval).

Ale Arcticova síla jde za hranice pouze firemních benchmarcích. Zachovává silný výkon napříč obecným jazykovým porozuměním, rozumováním a matematickou způsobilostí ve srovnání s modely, které byly vyškoleny s exponenciálně vyšším výpočetním rozpočtem, jako je DBRX. Tato holistická schopnost činí Arctic nezničitelnou volbou pro řešení rozmanitých AI potřeb firem.

Inovace

Dense-MoE Hybrid Transformer Jak tým Snowflake postavil takový neuvěřitelně schopný a efektivní LLM? Odpověď leží v Arcticově špičkové Dense Mixture-of-Experts (MoE) Hybrid Transformer architektuře.

Tradiční dense transformer modely se stávají stále nákladnějšími na trénink, jak jejich velikost roste, s výpočetními požadavky, které rostou lineárně. Design MoE pomáhá obejít toto, využívaje více paralelních feed-forward sítí (expertů) a aktivuje pouze podmnožinu pro každý vstupní token.

Nicméně, používání pouze architektury MoE nestačí – Arctic kombinuje sílu obou dense a MoE komponentů geniálně. Spáruje 10 miliard parametrů dense transformer encoderu s 128 expert reziduální MoE multi-layer perceptron (MLP) vrstvou. Tento dense-MoE hybridní model má celkem 480 miliard parametrů, ale pouze 17 miliard jsou aktivní v kterémkoli okamžiku pomocí top-2 brány.

Implikace jsou hluboké – Arctic dosahuje bezprecedentní modelové kvality a kapacity, zatímco zůstává pozoruhodně efektivní během tréninku a inference. Například Arctic má 50% méně aktivních parametrů než modely, jako DBRX, během inference.

Ale architektura modelu je pouze částí příběhu. Arcticova excelence je výsledkem několika průkopnických technik a poznatků, které vyvinul tým AI výzkumu Snowflake:

1. Podnikově zaměřená tréninková data Curriculum Skrze rozsáhlé experimenty, tým objevil, že obecné dovednosti, jako je rozumění běžnému smyslu, by měly být naučeny brzy, zatímco komplexnější specializace, jako je kódování a SQL, by měly být získány později v tréninkovém procesu. Arcticova data curriculum následuje tříetapový přístup, který napodobuje lidský pokrok.

První teratokeny se zaměřují na budování široké obecné základny. Další 1,5 teratokeny se soustředí na rozvoj podnikových dovedností prostřednictvím dat přizpůsobených pro SQL, kódovací úkoly a více. Poslední teratokeny dále rozvíjejí Arcticovy specializace pomocí rafinovaných datových sad.

2. Optimální architektonické volby Zatímco MoE slibují lepší kvalitu za výpočet, výběr správných konfigurací je zásadní, ale špatně pochopen. Skrze podrobný výzkum, Snowflake přistál na architektuře, která využívá 128 expertů s top-2 bránou v každém vrstvě po vyhodnocení kvalitně-efektivních obchodů.

Zvyšování počtu expertů poskytuje více kombinací, zlepšuje modelovou kapacitu. Nicméně, to také zvyšuje komunikace náklady, takže Snowflake přistál na 128 pečlivě navržených “kondenzovaných” expertů aktivovaných prostřednictvím top-2 brány jako optimální rovnováhu.

3. Systémová ko-design Ale i optimální modelová architektura může být podkopána systémem uzlů. Proto tým Snowflake inovoval i zde – navrhl modelovou architekturu ruku v ruce s podkladovými tréninkovými a inferenčními systémy.

Pro efektivní trénink, dense a MoE komponenty byly strukturovány, aby umožnily překrývající se komunikaci a výpočet, skrývající podstatné komunikace náklady. Na inferenční straně, tým využil NVIDIAových inovací, aby umožnil vysoce efektivní nasazení, navzdory Arcticově měřítku.

Techniky, jako je FP8 kvantizace, umožňují umístění plného modelu na jeden GPU uzel pro interaktivní inferenci. Larger batches zapojují Arcticovy paralelní schopnosti napříč několika uzly, zatímco zůstávají pozoruhodně efektivní díky jeho kompaktním 17B aktivním parametrům.

S Apache 2.0 licencí, Arcticova váha a kód jsou k dispozici bez omezení pro jakékoli osobní, výzkumné nebo komerční použití. Ale Snowflake šel mnohem dále, otevřeně zveřejnil kompletní recepty na data, implementace modelů, tipy a hluboké výzkumné poznatky, které pohánějí Arctic.

“Arctic Cookbook” je komplexní znalostní báze, která pokrývá každý aspekt budování a optimalizace velkého MoE modelu, jako je Arctic. Rozděluje klíčová učení napříč zdroji dat, návrhem modelové architektury, systémem ko-designu, optimalizovanými tréninkovými/inferenčními schématy a více.

Od identifikace optimálních datových kurikulí až po architekturu MoE, zatímco ko-optimizaci kompilátorů, plánovačů a hardwaru – tato rozsáhlá znalostní báze demokratizuje dovednosti, které byly dříve omezeny na elitní AI laboratoře. Arctic Cookbook urychluje učební křivky a umožňuje firmám, výzkumníkům a vývojářům po celém světě vytvářet své vlastní nákladově efektivní, přizpůsobené LLM pro téměř jakýkoli případ použití.

Začínáme s Arctictem

Pro společnosti, které chtějí využít Arctict, Snowflake nabízí několik cest, jak rychle začít:

Serverless Inference: Zákazníci Snowflake mohou získat přístup k modelu Arctic zdarma na Snowflake Cortex, plně spravované AI platformě. Kromě toho je Arctic k dispozici napříč všemi hlavními modelovými katalogy, jako je AWS, Microsoft Azure, NVIDIA (NVDA ) a více.

Začněte od začátku: Otevřený model váhy a implementace umožňují vývojářům přímo integrovat Arctict do svých aplikací a služeb. Repozitář Arctict poskytuje ukázky kódu, tutoriály pro nasazení, recepty na jemné ladění a více.

Vytvořte vlastní modely: Díky komplexním průvodcům v Arctic Cookbook, vývojáři mohou vytvářet své vlastní přizpůsobené MoE modely od začátku, optimalizované pro jakýkoli specializovaný případ použití, využívající poznatky z vývoje Arctict.

Nová éra otevřené firemní AI Arctict je více než jen další silný jazykový model – ohlašuje novou éru otevřených, nákladově efektivních a specializovaných AI schopností, vytvořených pro firemní sektor.

Od revoluce datové analýzy a kódovací produktivity až po pohánění úkolů automatizace a inteligentnějších aplikací, Arctictova firemní DNA činí jej nezničitelnou volbou nad obecnými LLM. A otevřeně zveřejněním nejen modelu, ale celého procesu výzkumu a vývoje, Snowflake podporuje kulturu spolupráce, která povznese celý AI ekosystém.

Jak firemní sektor stále více přijímá generativní AI, Arctict nabízí smělé plány pro vývoj modelů, které jsou objektivně lepší pro produkční zátěže a firemní prostředí. Jeho spojení špičkového výzkumu, nevídané efektivity a pevné otevřené etiky nastavuje novou laťku pro demokratizaci transformačního potenciálu AI.

Zde je sekce s příklady kódu, jak používat model Snowflake Arctict:

Ruční práce s Arctictem

Teď, když jsme pokryli to, co dělá Arctict skutečně průlomovým, pojďme se ponořit do toho, jak vývojáři a datoví vědci mohou začít tento model využívat.
V základu je Arctict k dispozici předtrénovaný a připravený k nasazení prostřednictvím hlavních modelových center, jako je Hugging Face a partner AI platformy. Ale jeho skutečná síla se objeví, když ho přizpůsobíte a jemně vyladíte pro vaše konkrétní použití.

Arctictova Apache 2.0 licence poskytuje plnou svobodu integrovat jej do vašich aplikací, služeb nebo vlastních AI pracovních postupů. Pojďme projít einige příklady kódu pomocí knihovny transformers, abychom vás rozjeli:

Základní inference s Arctictem

Pro rychlé textové generování použití, můžeme načíst Arctict a spustit základní inference velmi snadno:

<p>from transformers import AutoTokenizer, AutoModelForCausalLM</p>

<p># Načtěte tokenizér a model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")</p>

<p># Vytvořte jednoduchý vstup a vygenerujte text
input_text = "Zde je základní otázka: Co je hlavní město Francie?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")</p>

<p># Vygenerujte odpověď s Arctictem
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)</p>

print(generated_text)

To by mělo vyprodukovat něco jako:

“Hlavní město Francie je Paříž. Paříž je největší město ve Francii a ekonomické, politické a kulturní centrum země. Je domovem slavných památek, jako je Eiffelova věž, Louvre a katedrála Notre-Dame.”

Jak můžete vidět, Arctict bezproblémově rozumí dotazu a poskytuje podrobnou, založenou odpověď, využívající jeho robustní jazykové porozumění schopnosti.

Jemné ladění pro specializované úkoly

Zatímco impresivní z krabice, Arctict skutečně září, když je přizpůsoben a jemně vyláděn na vašich vlastních datech pro specializované úkoly. Snowflake poskytl rozsáhlé recepty, které pokrývají:

• Kurátorská vysoce kvalitní tréninková data přizpůsobená pro váš případ použití
• Implementace přizpůsobených vícestupňových tréninkových kurikulí
• Využívání efektivní LoRA, P-Tuning nebo FactorizedFusion jemného ladění přístupů
• Optimalizace pro rozlišení SQL, kódování nebo jiných klíčových firemních dovedností

Zde je příklad, jak jemně vyladit Arctict na vašich vlastních kódovacích datech pomocí LoRA a Snowflakeových receptů:

<p>from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training</p>

<p># Načtěte základní model Arctict
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)</p>

<p># Inicializujte LoRA konfiguraci
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)</p>

<p># Připravte model pro LoRA jemné ladění
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)</p>

<p># Vaše kódovací data
data = load_coding_datasets()</p>

<p># Jemné ladění s Snowflakeovými recepty
train(model, data, ...)</p>

Tento kód ilustruje, jak můžete snadno načíst Arctict, inicializovat LoRA konfiguraci přizpůsobenou pro kódovací generování a poté jemně vyladit model na vašich vlastních kódovacích datech, využívající Snowflakeovy návody.

Přizpůsobený a jemně vyláděný, Arctict se stává soukromou silou, která poskytuje nezničitelný výkon na vašich klíčových firemních pracovních postupech a potřebách zúčastněných stran.