Snowflake Arctic: visprogresīvākā LLM uzņēmuma AI

Mūsdienās uzņēmumi arvien vairāk pēta veidus, kā izmantot lielos valodu modeļus (LLM), lai palielinātu produktivitāti un izveidotu viedas lietojumprogrammas. Tomēr daudzas no pieejamajām LLM opcijām ir vispārīgi modeļi, kas nav pielāgoti specializētām uzņēmuma vajadzībām, piemēram, datu analīzei, kodēšanai un uzdevumu automatizācijai. Ievadiet Sniegpārsla Arktika – vismodernākais LLM, kas ir mērķtiecīgi izstrādāts un optimizēts galvenajiem uzņēmuma lietošanas gadījumiem.

Arctic, ko izstrādājusi Snowflake mākslīgā intelekta pētnieku komanda, pārceļ robežas tam, kas ir iespējams ar efektīvu apmācību, izmaksu lietderību un nepārspējamu atvērtības līmeni. Šis revolucionārais modelis izceļas ar galvenajiem uzņēmuma etaloniem, vienlaikus prasa daudz mazāku skaitļošanas jaudu, salīdzinot ar esošajiem LLM. Iedziļināsimies tajā, kas padara Arctic par uzņēmuma AI izmainītāju.

Uzņēmuma inteliģence ir no jauna definēta Arctic pamatā ir lāzera fokuss, lai nodrošinātu izcilu veiktspēju attiecībā uz metriku, kas patiešām ir svarīga uzņēmumiem — kodēšana, SQL vaicājumi, sarežģītu norādījumu izpilde un pamatota, uz faktiem balstīta izvade. Snowflake ir apvienojis šīs kritiskās spējas romānā "uzņēmuma izlūkošana” metrika.

Rezultāti runā paši par sevi. Arctic atbilst vai pārspēj tādus modeļus kā LLAMA 7B un LLAMA 70B, ņemot vērā uzņēmuma izlūkošanas etalonus, vienlaikus mācībām izmantojot mazāk nekā pusi no skaitļošanas budžeta. Ievērojami, neskatoties uz izmantošanu 17 reizes mazāk skaitļošanas resursu nekā LLAMA 70B, Arctic sasniedz paritāti specializētos testos, piemēram, kodēšanai (HumanEval+, MBPP+), SQL ģenerēšanai (Spider) un instrukciju izpildei (IFEval).

Taču Arktikas spējas pārsniedz tikai izcilus uzņēmumu etalonus. Salīdzinot ar modeļiem, kas apmācīti ar eksponenciāli lielāku aprēķinu budžetu, piemēram, DBRX, tas nodrošina spēcīgu vispārējo valodas izpratni, argumentāciju un matemātiskās spējas. Šī holistiskā iespēja padara Arctic par nepārspējamu izvēli, lai apmierinātu dažādas uzņēmuma AI vajadzības.

Inovācija

Dense-MoE hibrīda transformators Tātad, kā Snowflake komanda izveidoja tik neticami spējīgu, taču efektīvu LLM? Atbilde slēpjas Arctic visprogresīvākajā Dense Mixture-of-Experts (MoE) hibrīda transformatora arhitektūrā.

Tradicionālo blīvo transformatoru modeļu apmācība kļūst arvien dārgāka, palielinoties to izmēram, un skaitļošanas prasības pieaug lineāri. EM dizains palīdz to apiet, izmantojot vairākus paralēlus pārsūtīšanas tīklus (ekspertus) un tikai aktivizējot katras ievades pilnvaras apakškopu.

Tomēr ar vienkāršu EM arhitektūras izmantošanu nepietiek – Arctic ģeniāli apvieno gan blīvo, gan EM komponentu stiprās puses. Tas savieno pārī 10 miljardu parametru blīvu transformatora kodētāju ar 128 ekspertu atlikušo MoE daudzslāņu perceptronu (MLP) slāni. Šim blīvajam MoE hibrīda modelim ir 480 miljardi parametru, bet tikai 17 miljardi ir aktīvi jebkurā brīdī, izmantojot top-2 vārtu vadību.

Ietekme ir dziļa — Arctic sasniedz nepieredzētu modeļu kvalitāti un jaudu, vienlaikus saglabājot ievērojamu skaitļošanas efektivitāti apmācību un secinājumu laikā. Piemēram, Arktikai secinājumu laikā ir par 50% mazāk aktīvo parametru nekā tādiem modeļiem kā DBRX.

Taču modeļu arhitektūra ir tikai viena daļa no stāsta. Arktikas izcilība ir vairāku novatorisku metožu un atziņu kulminācija, ko izstrādājusi Snowflake pētnieku komanda:

1. Uz uzņēmumu orientēta apmācības datu mācību programma Veicot plašus eksperimentus, komanda atklāja, ka vispārīgas prasmes, piemēram, veselā saprāta spriešana, ir jāapgūst agri, savukārt sarežģītākas specializācijas, piemēram, kodēšana un SQL, vislabāk ir apgūt vēlāk apmācības procesā. Arctic datu mācību programmā ir ievērota trīspakāpju pieeja, kas imitē cilvēka mācīšanās progresu.

Pirmie teratokeni ir vērsti uz plašas vispārējās bāzes veidošanu. Nākamie 1.5 teratokens ir vērsti uz uzņēmuma prasmju attīstīšanu, izmantojot datus, kas pielāgoti SQL, kodēšanas uzdevumiem un citiem. Galīgie teratokeni vēl vairāk uzlabo Arktikas specializācijas, izmantojot precizētas datu kopas.

2. Optimālas arhitektūras izvēles Lai gan IZM sola labāku aprēķinu kvalitāti, pareizo konfigurāciju izvēle ir ļoti svarīga, taču tā ir slikti saprotama. Veicot detalizētu izpēti, Snowflake ieguva arhitektūru, kurā strādāja 128 eksperti, kuri pēc kvalitātes un efektivitātes kompromisu izvērtēšanas ir novērtējuši katru slāni, kas ir divi labākie.

Ekspertu skaita palielināšana nodrošina vairāk kombināciju, uzlabojot modeļa kapacitāti. Tomēr tas arī palielina saziņas izmaksas, tāpēc Snowflake piezemējās 128 rūpīgi izstrādātiem “saīsinātiem” ekspertiem, kas tika aktivizēti, izmantojot top-2 vārtus kā optimālo līdzsvaru.

3. Sistēmas kopprojektēšana Bet pat optimālu modeļa arhitektūru var iedragāt sistēmas vājās vietas. Tāpēc Snowflake komanda arī šeit ieviesa jauninājumus – kopīgi izstrādājot modeļa arhitektūru ar pamatā esošajām apmācības un secinājumu sistēmām.

Efektīvai apmācībai blīvie un EM komponenti tika strukturēti tā, lai nodrošinātu saziņu un aprēķinu pārklāšanos, slēpjot ievērojamas komunikācijas izmaksas. Secinājumu pusē komanda izmantoja NVIDIA inovācijas, lai nodrošinātu ļoti efektīvu izvēršanu, neskatoties uz Arktikas mērogu.

Tādas metodes kā FP8 kvantēšana ļauj aprīkot visu modeli vienā GPU mezglā, lai veiktu interaktīvus secinājumus. Lielākas partijas izmanto Arctic paralēlisma iespējas vairākos mezglos, vienlaikus saglabājot iespaidīgu skaitļošanas efektivitāti, pateicoties tā kompaktajiem 17 B aktīvajiem parametriem.

Ar Apache 2.0 licenci Arctic svari un kods ir pieejami bez vārtiem jebkurai personiskai, izpētei vai komerciālai lietošanai. Taču Snowflake ir gājusi daudz tālāk, izmantojot atvērtā avota pilnīgas datu receptes, modeļu ieviešanu, padomus un dziļās izpētes atziņas, kas nodrošina Arktiku.

"Arktikas pavārgrāmata” ir visaptveroša zināšanu bāze, kas aptver visus aspektus, veidojot un optimizējot liela mēroga EM modeli, piemēram, Arctic. Tajā tiek apkopotas galvenās zināšanas par datu ieguvi, modeļu arhitektūras izstrādi, sistēmas kopprojektēšanu, optimizētām apmācības/secinājumu shēmām un citām jomām.

Sākot no optimālu datu mācību programmu noteikšanas līdz IZM arhitektūrai, vienlaikus optimizējot kompilatorus, plānotājus un aparatūru – šī plašā zināšanu kopums demokratizē prasmes, kas iepriekš bija saistītas ar elitārām AI laboratorijām. Arctic Cookbook paātrina mācīšanās līknes un dod iespēju uzņēmumiem, pētniekiem un izstrādātājiem visā pasaulē izveidot savus izmaksu ziņā efektīvus, pielāgotus LLM praktiski jebkuram lietošanas gadījumam.

Darba sākšana ar Arktiku

Uzņēmumiem, kas vēlas izmantot Arktiku, Snowflake piedāvā vairākus veidus, kā ātri sākt darbu:

Secinājums bez servera: Snowflake klienti var bez maksas piekļūt Arctic modelim uzņēmuma pilnībā pārvaldītajā AI platformā Snowflake Cortex. Turklāt Arctic ir pieejams visos lielākajos modeļu katalogos, piemēram, AWS, Microsoft Azure, NVIDIA un citos.

Sāciet no nulles: atvērtā pirmkoda modeļu svari un ieviešanas iespējas ļauj izstrādātājiem tieši integrēt Arctic savās lietotnēs un pakalpojumos. Arctic repo piedāvā kodu paraugus, izvietošanas pamācības, precizēšanas receptes un daudz ko citu.

Izveidojiet pielāgotus modeļus: Pateicoties Arctic Cookbook izsmeļošajām rokasgrāmatām, izstrādātāji var no jauna izveidot savus pielāgotus EM modeļus, kas ir optimizēti jebkuram specializētam lietošanas gadījumam, izmantojot Arctic izstrādes laikā gūtās zināšanas.

Jauns Open Enterprise AI Arctic laikmets ir vairāk nekā tikai vēl viens spēcīgs valodas modelis — tas vēsta par jaunu atvērtu, rentablu un specializētu AI iespēju laikmetu, kas ir īpaši izstrādāts uzņēmumam.

Sākot ar apvērsumu datu analīzi un kodēšanas produktivitāti līdz uzdevumu automatizācijai un viedākām lietojumprogrammām, Arctic uzņēmuma DNS padara to par nepārspējamu izvēli salīdzinājumā ar vispārējiem LLM. Un, izmantojot atklāto avotu ne tikai modeli, bet arī visu aiz tā esošo pētniecības un attīstības procesu, Snowflake veicina sadarbības kultūru, kas paaugstinās visu AI ekosistēmu.

Tā kā uzņēmumi arvien vairāk izmanto ģeneratīvo AI, Arctic piedāvā drosmīgu projektu modeļu izstrādei, kas ir objektīvi labāki ražošanas slodzei un uzņēmuma videi. Tā progresīvās pētniecības, nepārspējamas efektivitātes un nelokāmas atvērtas ētikas saplūsme nosaka jaunu etalonu AI transformatīvā potenciāla demokratizācijā.

Šeit ir sadaļa ar kodu piemēriem, kā izmantot Snowflake Arctic modeli:

Hands-On ar Arktiku

Tagad, kad esam apskatījuši, kas padara Arktiku patiesi revolucionāru, iedziļināsimies tajā, kā izstrādātāji un datu zinātnieki var sākt likt lietā šo jaudīgo modeli.
No komplektācijas Arctic ir pieejams iepriekš apmācīts un gatavs izvietošanai, izmantojot galvenos modeļu centrus, piemēram, Hugging Face un partneru AI platformas. Taču tā patiesais spēks parādās, pielāgojot un pielāgojot to konkrētajiem lietošanas gadījumiem.

Arctic Apache 2.0 licence nodrošina pilnīgu brīvību to integrēt jūsu lietotnēs, pakalpojumos vai pielāgotajās AI darbplūsmās. Lai sāktu darbu, apskatīsim dažus kodu piemērus, izmantojot transformatoru bibliotēku:
Pamata secinājumi par Arktiku

Ātrai teksta ģenerēšanai mēs varam ielādēt Arctic un ļoti vienkārši palaist pamata secinājumus:

from transformers import AutoTokenizer, AutoModelForCausalLM
# Load the tokenizer and model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")
# Create a simple input and generate text
input_text = "Here is a basic question: What is the capital of France?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")
# Generate response with Arctic
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

Tam vajadzētu izvadīt kaut ko līdzīgu:

"Francijas galvaspilsēta ir Parīze. Parīze ir lielākā Francijas pilsēta un valsts ekonomiskais, politiskais un kultūras centrs. Tajā atrodas tādi slaveni orientieri kā Eifeļa tornis, Luvras muzejs un Dievmātes katedrāle.

Kā redzat, Arctic nemanāmi saprot vaicājumu un sniedz detalizētu, pamatotu atbildi, izmantojot tā spēcīgās valodas izpratnes iespējas.

Precīza pielāgošana specializētiem uzdevumiem

Lai gan Arctic ir iespaidīga jau sākotnēji, tā patiesi spīd, ja tiek pielāgota un precīzi pielāgota jūsu patentētajiem datiem specializētiem uzdevumiem. Snowflake ir piedāvājis plašas receptes, kas aptver:

• Augstas kvalitātes apmācības datu apkopošana, kas pielāgota jūsu lietošanas gadījumam
• Pielāgotu daudzpakāpju apmācību programmu īstenošana
• Izmantojot efektīvas LoRA, P-Tuning vai FactorizedFusion precizēšanas pieejas
• Optimizācija prasmīgākām SQL, kodēšanas vai citām galvenajām uzņēmuma prasmēm

Šeit ir piemērs, kā precizēt Arctic savās kodēšanas datu kopās, izmantojot LoRA un Snowflake receptes:

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training
# Load base Arctic model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)
# Initialize LoRA configs
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)
# Prepare model for LoRA finetuning
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)
# Your coding datasets
data = load_coding_datasets()
# Fine-tune with Snowflake's recipes
train(model, data, ...)

Šis kods parāda, kā bez piepūles varat ielādēt Arctic, inicializēt koda ģenerēšanai pielāgotu LoRA konfigurāciju un pēc tam precīzi noregulēt modeli savās patentētajās kodēšanas datu kopās, izmantojot Snowflake norādījumus.

Pielāgota un precīzi pielāgota Arctic kļūst par privātu spēkstaciju, kas pielāgota, lai nodrošinātu nepārspējamu veiktspēju jūsu galvenajās uzņēmuma darbplūsmās un ieinteresēto pušu vajadzībām.