Snowflake Arctic: Vrhunski LLM za umetno inteligenco podjetij

Današnja podjetja vedno bolj raziskujejo načine, kako izkoristiti velike jezikovne modele (LLM) za povečanje produktivnosti in ustvarjanje inteligentnih aplikacij. Vendar so številne razpoložljive možnosti LLM generični modeli, ki niso prilagojeni potrebam specializiranih podjetij, kot so analiza podatkov, kodiranje in avtomatizacija opravil. Vnesite Snežinka Arktika – najsodobnejši LLM, namensko zasnovan in optimiziran za ključne primere uporabe v podjetju.

Arctic, ki ga je razvila raziskovalna skupina AI pri Snowflake, premika meje možnega z učinkovitim usposabljanjem, stroškovno učinkovitostjo in neprimerljivo stopnjo odprtosti. Ta revolucionarni model se odlikuje po ključnih merilih uspešnosti za podjetja, hkrati pa zahteva veliko manj računalniške moči v primerjavi z obstoječimi LLM-ji. Poglobimo se v tisto, zaradi česar je Arctic spremenila igre za umetno inteligenco v podjetjih.

Na novo definirana podjetniška inteligenca Arctic je v svojem bistvu lasersko osredotočen na zagotavljanje izjemne zmogljivosti na metrikah, ki so resnično pomembne za podjetja – kodiranje, poizvedovanje SQL, sledenje kompleksnim navodilom in ustvarjanje utemeljenih rezultatov, ki temeljijo na dejstvih. Snowflake je te kritične sposobnosti združil v roman "podjetniška inteligenca” metrika.

Rezultati govorijo sami zase. Arctic dosega ali prekaša modele, kot sta LLAMA 7B in LLAMA 70B, na merilih uspešnosti poslovne inteligence, medtem ko porabi manj kot polovico računalniškega proračuna za usposabljanje. Izjemno, kljub uporabi 17-krat manj računalniških virov kot LLAMA 70B, Arctic dosega enakost pri specializiranih testih, kot so kodiranje (HumanEval+, MBPP+), generiranje SQL (Spider) in sledenje navodilom (IFEval).

Toda Arcticova moč presega le doseganje meril uspešnosti za podjetja. Ohranja močno zmogljivost pri splošnem razumevanju jezika, razmišljanju in matematičnih sposobnostih v primerjavi z modeli, usposobljenimi z eksponentno višjimi računalniškimi proračuni, kot je DBRX. Zaradi te celostne zmogljivosti je Arctic neprekosljiva izbira za reševanje raznolikih potreb umetne inteligence v podjetju.

Inovacije

Hibridni transformator Dense-MoE Torej, kako je ekipa Snowflake zgradila tako neverjetno zmogljiv, a učinkovit LLM? Odgovor je v Arcticovi vrhunski hibridni transformatorski arhitekturi Dense Mixture-of-Experts (MoE).

Tradicionalni modeli zgoščenih transformatorjev postajajo čedalje dražji za usposabljanje, ko njihova velikost raste, pri čemer računske zahteve naraščajo linearno. Zasnova MoE pomaga zaobiti to z uporabo več vzporednih omrežij za naprej (strokovnjaki) in aktiviranjem samo podnabora za vsak vhodni žeton.

Vendar zgolj uporaba arhitekture MoE ni dovolj – Arctic domiselno združuje prednosti komponent Dense in MoE. Združuje transformatorski kodirnik z gostoto 10 milijard parametrov s plastjo večplastnega perceptrona (MLP) s 128 strokovnimi preostalimi MoE. Ta hibridni model z gosto MoE ima skupaj 480 milijard parametrov, vendar jih je v danem trenutku aktivnih samo 17 milijard z uporabo top-2 gatinga.

Posledice so velike – Arctic dosega kakovost in zmogljivost modela brez primere, medtem ko med usposabljanjem in sklepanjem ostaja izjemno računalniško učinkovit. Na primer, Arctic ima med sklepanjem 50 % manj aktivnih parametrov kot modeli, kot je DBRX.

Toda modelna arhitektura je le en del zgodbe. Odličnost Arktike je vrhunec več pionirskih tehnik in spoznanj, ki jih je razvila raziskovalna skupina Snowflake:

1. Podatkovni kurikulum za usposabljanje, osredotočen na podjetja Z obsežnim eksperimentiranjem je ekipa odkrila, da se je treba splošnih veščin, kot je zdravorazumsko sklepanje, naučiti zgodaj, medtem ko je bolj zapletene specializacije, kot sta kodiranje in SQL, najbolje pridobiti pozneje v procesu usposabljanja. Arctic podatkovni kurikulum sledi tristopenjskemu pristopu, ki posnema napredovanje človekovega učenja.

Prvi teratokeni se osredotočajo na gradnjo široke splošne baze. Naslednji 1.5 teratokeni se osredotočajo na razvijanje podjetniških veščin s pomočjo podatkov, prilagojenih za SQL, naloge kodiranja in drugo. Zadnji teratokeni še izboljšajo specializacije Arktike z uporabo prečiščenih podatkovnih nizov.

2. Optimalne arhitekturne izbire Medtem ko MoE obljubljajo boljšo kakovost na računalnik, je izbira pravih konfiguracij ključna, vendar slabo razumljena. S podrobno raziskavo je Snowflake pristal na arhitekturi, ki zaposluje 128 strokovnjakov, pri čemer sta prva 2 prestregla vsako plast po oceni kompromisov med kakovostjo in učinkovitostjo.

Povečanje števila strokovnjakov zagotavlja več kombinacij, kar povečuje zmogljivost modela. Vendar to zviša tudi stroške komunikacije, zato je Snowflake pristal na 128 skrbno zasnovanih "zgoščenih" ekspertih, aktiviranih prek top-2 gating kot optimalno ravnotežje.

3. Sooblikovanje sistema Toda tudi optimalno arhitekturo modela lahko spodkopljejo sistemska ozka grla. Tako je ekipa Snowflake inovirala tudi tukaj – sooblikovala je arhitekturo modela z roko v roki z osnovnimi sistemi za usposabljanje in sklepanje.

Za učinkovito usposabljanje sta bili komponenti dense in MoE strukturirani tako, da omogočata prekrivajočo se komunikacijo in računanje, pri čemer se skrivajo znatni stroški komunikacije. Na strani sklepanja je ekipa izkoristila inovacije NVIDIA, da bi omogočila visoko učinkovito uvajanje kljub obsegu Arktike.

Tehnike, kot je kvantizacija FP8, omogočajo namestitev celotnega modela na eno vozlišče GPE za interaktivno sklepanje. Večje serije vključujejo Arcticove zmožnosti paralelizma v več vozliščih, hkrati pa ostajajo izjemno računalniško učinkovite zaradi svojih kompaktnih 17B aktivnih parametrov.

Z licenco Apache 2.0 so uteži in koda Arctic na voljo brez omejitev za osebno, raziskovalno ali komercialno uporabo. Toda Snowflake je šel veliko dlje in je odkril svoje popolne podatkovne recepte, implementacije modelov, nasvete in globoka raziskovalna spoznanja, ki poganjajo Arktiko.

"Arktična kuharska knjiga” je obsežna baza znanja, ki pokriva vse vidike izgradnje in optimizacije obsežnega modela MoE, kot je Arctic. Ključna spoznanja destilira pri pridobivanju podatkov, načrtovanju arhitekture modela, sooblikovanju sistema, optimiziranih shemah usposabljanja/sklepanja in več.

Od identifikacije optimalnih podatkovnih učnih načrtov do oblikovanja MoEs ob sooptimizaciji prevajalnikov, razporejevalcev in strojne opreme – ta obsežna zbirka znanja demokratizira veščine, ki so bile prej omejene na elitne laboratorije AI. Arctic Cookbook pospešuje krivulje učenja in omogoča podjetjem, raziskovalcem in razvijalcem po vsem svetu, da ustvarijo lastne stroškovno učinkovite, prilagojene LLM-je za tako rekoč vse primere uporabe.

Kako začeti z Arktiko

Podjetjem, ki želijo izkoristiti Arktiko, Snowflake ponuja več poti za hiter začetek:

Brezstrežniško sklepanje: stranke Snowflake lahko brezplačno dostopajo do modela Arctic na Snowflake Cortex, popolnoma upravljani platformi AI podjetja. Poleg tega je Arctic na voljo v vseh glavnih katalogih modelov, kot so AWS, Microsoft Azure, NVIDIA in drugi.

Začnite iz nič: uteži in implementacije odprtokodnega modela razvijalcem omogočajo neposredno integracijo Arctic v svoje aplikacije in storitve. Repo Arctic ponuja vzorce kode, vadnice za uvajanje, recepte za natančno nastavitev in drugo.

Zgradite modele po meri: Zahvaljujoč izčrpnim vodnikom Arctic Cookbook lahko razvijalci iz nič izdelajo lastne modele MoE po meri, optimizirane za kateri koli specializiran primer uporabe z uporabo izkušenj iz razvoja Arctic.

Nova doba odprte podjetniške umetne inteligence Arctic je več kot le še en močan jezikovni model – napoveduje novo dobo odprtih, stroškovno učinkovitih in specializiranih zmogljivosti umetne inteligence, namensko izdelanih za podjetja.

Od revolucioniranja podatkovne analitike in produktivnosti kodiranja do avtomatizacije opravil in pametnejših aplikacij je Arcticova DNK, ki je prva v podjetju, neprekosljiva izbira pred generičnimi LLM-ji. In z odprto kodo ne le modela, temveč celotnega procesa raziskav in razvoja, ki stoji za njim, Snowflake spodbuja kulturo sodelovanja, ki bo dvignila celoten ekosistem umetne inteligence.

Ker podjetja vedno bolj sprejemajo generativno umetno inteligenco, Arctic ponuja drzen načrt za razvoj modelov, ki so objektivno boljši za proizvodne delovne obremenitve in poslovna okolja. Njegovo sotočje vrhunskih raziskav, neprekosljive učinkovitosti in trdnega odprtega etosa postavlja novo merilo pri demokratizaciji transformativnega potenciala umetne inteligence.

Tukaj je razdelek s primeri kode o uporabi modela Snowflake Arctic:

Praktično delo z Arktiko

Zdaj, ko smo obravnavali, zakaj je Arctic resnično prelomna, se poglobimo v to, kako lahko razvijalci in podatkovni znanstveniki začnejo uvajati ta močan model.
Arctic je na voljo vnaprej usposobljen in pripravljen za uvedbo prek glavnih vozlišč modelov, kot je Hugging Face, in partnerskih platform AI. Toda njegova resnična moč se pokaže, ko ga prilagodite in natančno prilagodite za vaše specifične primere uporabe.

Arcticova licenca Apache 2.0 zagotavlja popolno svobodo integracije v vaše aplikacije, storitve ali poteke dela AI po meri. Za lažji začetek si poglejmo nekaj primerov kode s knjižnico transformatorjev:
Osnovno sklepanje z Arktiko

Za primere uporabe hitrega ustvarjanja besedila lahko zelo enostavno naložimo Arctic in izvedemo osnovno sklepanje:

from transformers import AutoTokenizer, AutoModelForCausalLM
# Load the tokenizer and model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")
# Create a simple input and generate text
input_text = "Here is a basic question: What is the capital of France?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")
# Generate response with Arctic
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

To bi moralo izpisati nekaj takega:

»Glavno mesto Francije je Pariz. Pariz je največje mesto v Franciji ter gospodarsko, politično in kulturno središče države. Je dom slavnih znamenitosti, kot so Eifflov stolp, muzej Louvre in katedrala Notre-Dame.«

Kot lahko vidite, Arctic brezhibno razume poizvedbo in zagotavlja podroben, utemeljen odgovor, ki izkorišča svoje robustne zmožnosti razumevanja jezika.

Natančna nastavitev za specializirane naloge

Čeprav je impresiven takoj po izdelavi, Arctic resnično blesti, ko je prilagojen in natančno nastavljen na vaše lastniške podatke za specializirana opravila. Snowflake je ponudil obsežne recepte, ki zajemajo:

• Zbiranje visokokakovostnih podatkov o usposabljanju, prilagojenih vašemu primeru uporabe
• Izvajanje prilagojenih večstopenjskih učnih načrtov usposabljanja
• Izkoriščanje učinkovitih pristopov natančnega prilagajanja LoRA, P-Tuning ali FactorizedFusion
• Optimizacije za prepoznavanje SQL, kodiranja ali drugih ključnih poslovnih veščin

Tukaj je primer, kako natančno prilagoditi Arktiko na lastnih naborih podatkov za kodiranje z uporabo LoRA in receptov Snowflake:

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training
# Load base Arctic model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)
# Initialize LoRA configs
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)
# Prepare model for LoRA finetuning
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)
# Your coding datasets
data = load_coding_datasets()
# Fine-tune with Snowflake's recipes
train(model, data, ...)

Ta koda ponazarja, kako lahko brez truda naložite Arctic, inicializirate konfiguracijo LoRA, prilagojeno za generiranje kode, in nato natančno prilagodite model na svojih lastniških naborih podatkov za kodiranje z uporabo smernic Snowflake.

Prilagojen in natančno prilagojen Arctic postane zasebna elektrarna, ki je prilagojena za zagotavljanje neprimerljive zmogljivosti pri vaših temeljnih delovnih tokovih v podjetju in potrebah zainteresiranih strani.