Intelliġenza Artifiċjali
Snowflake Arctic: L-LLM avvanzata għall-Intrapriża AI
L-intrapriżi llum qed jesploraw dejjem aktar modi kif jisfruttaw mudelli ta’ lingwi kbar (LLMs) biex jagħtu spinta lill-produttività u joħolqu applikazzjonijiet intelliġenti. Madankollu, ħafna mill-għażliet tal-LLM disponibbli huma mudelli ġeneriċi mhux imfassla għall-ħtiġijiet tal-intrapriżi speċjalizzati bħall-analiżi tad-dejta, il-kodifikazzjoni u l-awtomazzjoni tal-kompiti. Daħħal Snowflake Artiku – LLM avvanzata ddisinjata apposta u ottimizzata għal każijiet ta' użu ta' intrapriżi ewlenin.
Żviluppat mit-tim tar-riċerka tal-AI fi Snowflake, l-Arctic jimbotta l-konfini ta 'dak li hu possibbli b'taħriġ effiċjenti, kosteffettività, u livell ta' ftuħ mingħajr paragun. Dan il-mudell rivoluzzjonarju jeċċella fil-benchmarks ewlenin tal-intrapriżi filwaqt li jeħtieġ ħafna inqas qawwa tal-kompjuter meta mqabbel ma 'LLMs eżistenti. Ejja ngħaddu f'dak li jagħmel l-Artiku bidla fil-logħba għall-intrapriża AI.
Intelliġenza Intrapriża Ridefinita Fil-qalba tagħha, l-Arctic huwa ffukat fuq il-laser fuq it-twassil ta' prestazzjoni eċċezzjonali fuq metriċi li verament huma importanti għall-intrapriżi - kodifikazzjoni, mistoqsijiet SQL, struzzjoni kumplessa li jsegwi, u li tipproduċi outputs ibbażati fuq l-art u bbażati fuq il-fatti. Snowflake għaqqad dawn il-kapaċitajiet kritiċi f'rumanz "intelliġenza intrapriża” metrika.
Ir-riżultati jitkellmu waħedhom. L-Arctic jilħaq jew jissupera mudelli bħal LLAMA 7B u LLAMA 70B fuq benchmarks tal-intelliġenza tal-intrapriżi filwaqt li juża inqas minn nofs il-baġit tal-kompjuter għat-taħriġ. B'mod notevoli, minkejja li juża 17-il darba inqas riżorsi tal-komputazzjoni minn LLAMA 70B, Arctic jikseb parità fuq testijiet speċjalizzati bħall-kodifikazzjoni (HumanEval+, MBPP+), il-ġenerazzjoni SQL (Spider), u s-segwitu tal-istruzzjoni (IFEval).
Iżda l-ħila ta' l-Artiku tmur lil hinn mill-punti ta' referenza ta' l-intrapriżi. Iżomm prestazzjoni b'saħħitha tul il-fehim ġenerali tal-lingwa, ir-raġunament u l-kapaċità matematika meta mqabbla ma 'mudelli mħarrġa b'baġits ta' komputazzjoni esponenzjali ogħla bħal DBRX. Din il-kapaċità olistika tagħmel l-Artiku għażla imbattal biex jiġu ttrattati l-ħtiġijiet diversi ta’ AI ta’ intrapriża.
L-Innovazzjoni
Dense-MoE Hybrid Transformer Allura kif bena t-tim Snowflake tali LLM oerhört kapaċi iżda effiċjenti? It-tweġiba tinsab fl-arkitettura tat-Trasformaturi Ibridi Dense Mixture-of-Experts (MoE) avvanzata tal-Arctic.
Mudelli tradizzjonali ta 'transformer densi jsiru dejjem aktar għaljin biex jitħarrġu hekk kif id-daqs tagħhom jikber, bir-rekwiżiti komputazzjonali jiżdiedu b'mod lineari. Id-disinn tal-MoE jgħin biex jevita dan billi juża netwerks paralleli multipli feed-forward (esperti) u jattiva biss subsett għal kull token ta 'input.
Madankollu, sempliċement tuża arkitettura MoE mhix biżżejjed - l-Artiku jgħaqqad il-qawwiet kemm tal-komponenti densi kif ukoll tal-MoE b'mod inġenjuż. Jgħaqqad encoder tat-transformer dens ta 'parametru ta' 10 biljun ma 'saff ta' perceptron b'ħafna saffi (MLP) MoE residwu espert 128. Dan il-mudell ibridu dens-MoE jammonta għal 480 biljun parametru iżda 17-il biljun biss huma attivi fi kwalunkwe ħin partikolari bl-użu ta 'top-2 gating.
L-implikazzjonijiet huma profondi - l-Artiku jikseb kwalità u kapaċità tal-mudell bla preċedent filwaqt li jibqa' notevolment effiċjenti fil-komputazzjoni waqt it-taħriġ u l-inferenza. Pereżempju, l-Artiku għandu 50% inqas parametri attivi minn mudelli bħal DBRX waqt l-inferenza.
Iżda l-arkitettura mudell hija biss parti waħda mill-istorja. L-eċċellenza tal-Arctic hija l-qofol ta’ diversi tekniki u għarfien pijunier żviluppati mit-tim ta’ riċerka Snowflake:
- Kurrikulu ta' Dejta ta' Taħriġ Iffukat fuq l-Intrapriża Permezz ta' esperimentazzjoni estensiva, it-tim skopra li ħiliet ġeneriċi bħar-raġunament tas-sens komuni għandhom jitgħallmu kmieni, filwaqt li speċjalizzazzjonijiet aktar kumplessi bħall-kodifikazzjoni u l-SQL jinkisbu l-aħjar aktar tard fil-proċess tat-taħriġ. Il-kurrikulu tad-dejta tal-Artiku jsegwi approċċ fi tliet stadji li jimita l-progressjonijiet tat-tagħlim tal-bniedem.
L-ewwel teratokens jiffokaw fuq il-bini ta 'bażi ġenerali wiesgħa. It-teratokens 1.5 li jmiss jikkonċentraw fuq l-iżvilupp ta 'ħiliet ta' intrapriża permezz ta 'dejta mfassla għal SQL, kompiti ta' kodifikazzjoni, u aktar. It-teratokens finali jirfinaw aktar l-ispeċjalizzazzjonijiet tal-Artiku billi jużaw settijiet ta 'dejta raffinati.
- Għażliet Arkitettoniċi Ottimi Filwaqt li l-MoEs iwiegħdu kwalità aħjar għal kull komputazzjoni, l-għażla tal-konfigurazzjonijiet it-tajba hija kruċjali iżda ma tantx hija mifhuma. Permezz ta 'riċerka dettaljata, Snowflake niżel fuq arkitettura li timpjega 128 espert bl-aqwa 2 gating kull saff wara li evalwa l-kompromessi bejn il-kwalità u l-effiċjenza.
Iż-żieda fin-numru ta 'esperti tipprovdi aktar kombinazzjonijiet, ittejjeb il-kapaċità tal-mudell. Madankollu, dan iżid ukoll l-ispejjeż tal-komunikazzjoni, għalhekk Snowflake niżel fuq 128 espert "kondensat" iddisinjati bir-reqqa attivati permezz ta 'top-2 gating bħala l-aħjar bilanċ.
- Ko-Disinn tas-Sistema Iżda anke arkitettura mudell ottimali tista' tiġi mminata minn ostakoli tas-sistema. Allura t-tim ta 'Snowflake innova hawn ukoll - iddisinja flimkien l-arkitettura tal-mudell id f'id mas-sistemi ta' taħriġ u inferenza sottostanti.
Għal taħriġ effiċjenti, il-komponenti densi u MoE ġew strutturati biex jippermettu komunikazzjoni u komputazzjoni li jikkoinċidu, u jaħbu spejjeż ġenerali ta 'komunikazzjoni sostanzjali. Min-naħa tal-inferenza, it-tim ingrana l-innovazzjonijiet ta 'NVIDIA biex jippermetti skjerament effiċjenti ħafna minkejja l-iskala tal-Artiku.
Tekniki bħall-kwantizzazzjoni FP8 jippermettu t-twaħħil tal-mudell sħiħ fuq node GPU wieħed għal inferenza interattiva. Lottijiet akbar jimpenjaw il-kapaċitajiet tal-paralleliżmu tal-Artiku f'diversi nodi filwaqt li jibqgħu effiċjenti fil-komputazzjoni b'mod impressjonanti grazzi għall-parametri attivi 17B kompatti tiegħu.
B'liċenzja Apache 2.0, il-piżijiet u l-kodiċi tal-Arctic huma disponibbli mingħajr limitu għal kwalunkwe użu personali, ta 'riċerka jew kummerċjali. Iżda Snowflake mar ħafna aktar ’il bogħod, u b’sors miftuħ ir-riċetti tad-dejta kompluti tagħhom, l-implimentazzjonijiet tal-mudelli, il-pariri, u l-għarfien profond ta’ riċerka li jħaddmu l-Artiku.
Il-"Cookbook tal-Artiku” hija bażi ta 'għarfien komprensiva li tkopri kull aspett tal-bini u l-ottimizzazzjoni ta' mudell MoE fuq skala kbira bħall-Artiku. Hija tiddistilla t-tagħlim ewlieni bejn is-sors tad-dejta, id-disinn tal-arkitettura tal-mudell, il-ko-disinn tas-sistema, skemi ottimizzati ta 'taħriġ/inferenza u aktar.
Mill-identifikazzjoni ta' kurrikulus tad-dejta ottimali għall-arkitettura ta' MoEs filwaqt li l-ko-ottimizzazzjoni tal-kompilaturi, l-iskedaturi u l-ħardwer - dan il-korp estensiv ta' għarfien jiddemokratizza l-ħiliet li qabel kienu limitati għal laboratorji tal-elite tal-IA. L-Arctic Cookbook jaċċellera l-kurvi tat-tagħlim u jagħti s-setgħa lin-negozji, lir-riċerkaturi u lill-iżviluppaturi globalment biex joħolqu LLMs kosteffettivi u mfassla apposta għal prattikament kwalunkwe każ ta’ użu.
Nibdew bl-Artiku
Għal kumpaniji ħerqana li jisfruttaw l-Artiku, Snowflake joffri diversi mogħdijiet biex tibda malajr:
Inferenza bla server: Il-klijenti ta' Snowflake jistgħu jaċċessaw il-mudell tal-Artiku b'xejn fuq Snowflake Cortex, il-pjattaforma AI ġestita bis-sħiħ tal-kumpanija. Lil hinn minn dan, l-Arctic huwa disponibbli fil-katalgi tal-mudelli ewlenin kollha bħal AWS, Microsoft Azure, NVIDIA, u aktar.
Ibda mill-bidu: Il-piżijiet u l-implimentazzjonijiet tal-mudell tas-sors miftuħ jippermettu lill-iżviluppaturi jintegraw direttament l-Artiku fl-apps u s-servizzi tagħhom. Ir-repo tal-Artiku jipprovdi kampjuni tal-kodiċi, tutorials tal-iskjerament, riċetti ta 'rfinar, u aktar.
Ibni Mudelli Custom: Grazzi għall-gwidi eżawrjenti tal-Arctic Cookbook, l-iżviluppaturi jistgħu jibnu l-mudelli MoE personalizzati tagħhom stess mill-bidu ottimizzati għal kwalunkwe każ ta 'użu speċjalizzat billi jużaw it-tagħlim mill-iżvilupp tal-Artiku.
Era Ġdida ta’ Intrapriża Miftuħa AI Arctic hija aktar minn sempliċi mudell lingwistiku qawwi ieħor – tħabbar era ġdida ta’ kapaċitajiet AI miftuħa, kosteffiċjenti u speċjalizzati mibnija apposta għall-intrapriża.
Mill-rivoluzzjoni tal-analiżi tad-dejta u l-produttività tal-kodifikazzjoni għall-awtomazzjoni tal-kompiti u applikazzjonijiet aktar intelliġenti, id-DNA tal-intrapriża l-ewwel Arctic jagħmilha għażla imbattibbli fuq LLMs ġeneriċi. U billi jakkwista s-sorsi miftuħin mhux biss il-mudell iżda l-proċess kollu ta 'R&D warajh, Snowflake qed irawwem kultura ta' kollaborazzjoni li se tgħolli l-ekosistema AI kollha.
Hekk kif l-intrapriżi jħaddnu dejjem aktar l-AI ġenerattiva, l-Arctic joffri pjan kuraġġuż għall-iżvilupp ta’ mudelli oġġettivament superjuri għall-piżijiet tax-xogħol tal-produzzjoni u l-ambjenti tal-intrapriżi. Il-konfluwenza tagħha ta' riċerka avvanzata, effiċjenza mhux imqabbla u ethos miftuħ sod tistabbilixxi punt ta' referenza ġdid fid-demokratizzazzjoni tal-potenzjal trasformattiv tal-IA.
Hawnhekk hawn taqsima b'eżempji ta' kodiċi dwar kif tuża l-mudell Snowflake Arctic:
Hands-On mal-Artiku
Issa li koprejna x’jagħmel l-Artiku tassew innovattiv, ejja ngħaddu dwar kif l-iżviluppaturi u x-xjenzati tad-dejta jistgħu jibdew iqiegħdu dan il-mudell ta’ powerhouse biex jaħdem.
Barra mill-kaxxa, l-Arctic huwa disponibbli mħarreġ minn qabel u lest biex jiġi skjerat permezz ta’ ċentri ewlenin ta’ mudelli bħal Hugging Face u pjattaformi AI msieħba. Iżda l-qawwa reali tagħha toħroġ meta tippersonalizzaha u tirfina għall-każijiet speċifiċi tal-użu tiegħek.
Il-liċenzja Apache 2.0 tal-Arctic tipprovdi libertà sħiħa biex tintegraha fl-apps, is-servizzi jew il-flussi tax-xogħol tal-AI personalizzati tiegħek. Ejja nimxu permezz ta 'xi eżempji ta' kodiċi billi tuża l-librerija tat-trasformaturi biex tibda:
Inferenza Bażika mal-Artiku
Għal każijiet ta' użu ta' ġenerazzjoni ta' test ta' malajr, nistgħu tagħbija l-Artiku u nħaddmu inferenza bażika faċilment:
from transformers import AutoTokenizer, AutoModelForCausalLM
# Load the tokenizer and model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")
# Create a simple input and generate text
input_text = "Here is a basic question: What is the capital of France?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")
# Generate response with Arctic
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)
Dan għandu joħroġ xi ħaġa bħal:
“Il-kapitali ta’ Franza hija Pariġi. Pariġi hija l-akbar belt fi Franza u ċ-ċentru ekonomiku, politiku u kulturali tal-pajjiż. Hija dar għal postijiet familjari famużi bħat-Torri Eiffel, il-mużew tal-Louvre, u l-Katidral ta’ Notre-Dame.”
Kif tistgħu taraw, l-Artiku jifhem bla xkiel il-mistoqsija u jipprovdi reazzjoni dettaljata u msejsa li tisfrutta l-kapaċitajiet robusti tiegħu ta’ fehim tal-lingwa.
Irfinar għal Ħidmiet Speċjalizzati
Filwaqt li impressjonanti out-of-the-box, l-Artiku verament jiddi meta personalizzat u rfinat fuq id-dejta proprjetarja tiegħek għal ħidmiet speċjalizzati. Snowflake ipprovda riċetti estensivi li jkopru:
- Il-kura ta' data ta' taħriġ ta' kwalità għolja mfassla għall-każ tal-użu tiegħek
- L-implimentazzjoni ta' kurrikulus ta' taħriġ personalizzati f'diversi stadji
- Lieva ta' approċċi effiċjenti ta' rfinar ta' LoRA, P-Tuning jew FactorizedFusion
- Ottimizzazzjonijiet għal ħiliet għaqlin ta' SQL, kodifikazzjoni jew ħiliet oħra ewlenin ta' intrapriża
Hawn eżempju ta 'kif tirfina l-Artiku fuq is-settijiet tad-dejta tal-kodifikazzjoni tiegħek billi tuża r-riċetti ta' LoRA u Snowflake:
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training
# Load base Arctic model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)
# Initialize LoRA configs
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)
# Prepare model for LoRA finetuning
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)
# Your coding datasets
data = load_coding_datasets()
# Fine-tune with Snowflake's recipes
train(model, data, ...)
Dan il-kodiċi juri kif tista' mingħajr sforz tagħbija l-Artiku, inizjalizza konfigurazzjoni LoRA mfassla għall-ġenerazzjoni tal-kodiċi, u mbagħad tirfina l-mudell fuq is-settijiet tad-dejta tal-kodifikazzjoni proprjetarji tiegħek billi tisfrutta l-gwida ta' Snowflake.
Personalizzat u rfinat, l-Arctic isir powerhouse privat sintonizzat biex jagħti prestazzjoni mhux imqabbla fuq il-flussi tax-xogħol ewlenin tal-intrapriża tiegħek u l-ħtiġijiet tal-partijiet interessati.
Iċ-Ċiklu ta' Innovazzjoni Rapida tal-Artiku
Wieħed mill-aspetti l-aktar impressjonanti tal-Artiku huwa r-ritmu qawwi li bih it-tim ta’ riċerka tal-AI ta’ Snowflake ikkonċepi, żviluppa u ħareġ dan il-mudell avvanzat għad-dinja. Mill-bidu sal-ħruġ ta’ sors miftuħ, il-proġett kollu tal-Artiku ħa inqas minn tliet xhur u uża biss madwar tmienja tal-baġit tal-komputazzjoni tipiku għat-taħriġ ta’ mudelli lingwistiċi kbar simili.
Din il-ħila li jtenni, jinnova u jipproduċi malajr ir-riċerka tal-AI tal-ogħla livell huwa tassew notevoli. Juri l-kapaċitajiet tekniċi profondi ta 'Snowflake u l-pożizzjonijiet tal-kumpanija biex kontinwament timbotta l-konfini fuq l-iżvilupp ta' kapaċitajiet AI ġodda u ottimizzati għall-intrapriża.
Il-familja Artika u embeddings
L-Artiku huwa biss il-bidu tal-ambizzjonijiet ta 'Snowflake fl-ispazju LLM tal-intrapriża. Il-kumpanija diġà fetħet il-familja Snowflake Arctic Embed ta 'mudelli ta' inkorporazzjoni ta 'test li jwasslu l-industrija ottimizzati għall-prestazzjoni ta' rkupru fuq profili ta 'daqs multipli.
Kif muri hawn taħt, il-mudelli Arctic Embed jiksbu preċiżjoni tal-irkupru mill-aktar avvanzata fuq il-benchmark rispettat MTEB (irkupru tat-test), li jaqbżu mudelli ewlenin oħra ta 'inkorporazzjoni inklużi offerti magħluqa minn ġganti teknoloġiċi ewlenin.
[Daħħal l-immaġni li turi r-riżultati tal-punt ta' referenza tal-irkupru tal-MTEB għall-mudelli Arctic Embed]
Dawn il-mudelli ta' inkorporazzjoni jikkumplimentaw l-Arctic LLM u jippermettu lill-intrapriżi jibnu soluzzjonijiet b'saħħithom ta' ġenerazzjoni ta' tweġiba għall-mistoqsijiet u rkupru miżjuda minn stack integrat ta' sors miftuħ.
Iżda l-pjan direzzjonali ta' Snowflake jestendi ħafna lil hinn mill-Artiku u l-inkorporazzjonijiet biss. Ir-riċerkaturi tal-IA tal-kumpanija qed jaħdmu iebes biex jespandu l-familja tal-Artiku b’mudelli ġodda mfassla għal kompiti multimodali, diskors, vidjow u aktar kapaċitajiet tal-fruntiera – kollha mibnija bl-użu tal-istess prinċipji ta’ speċjalizzazzjoni, effiċjenza u ftuħ.
Sħubija għal ekosistema AI miftuħa Snowflake jifhem li r-realizzazzjoni tal-potenzjal sħiħ ta' AI miftuħa u ta' grad intrapriża teħtieġ li tiġi kkultivata ekosistema rikka ta' sħubijiet madwar il-komunità tal-AI. Ir-rilaxx tal-Artiku diġà galvanizzat kollaborazzjonijiet ma' pjattaformi u fornituri ewlenin:
NVIDIA ssieħbet mill-qrib ma 'Snowflake biex tottimizza l-Artiku għal skjerament effiċjenti bl-użu tal-munzell ta' inferenza AI avvanzata ta 'NVIDIA inklużi TensorRT, Triton u aktar. Dan jippermetti lill-intrapriżi li jservu l-Artiku fuq skala kost-effettiv.
Hugging Face, iċ-ċentru ewlieni tal-mudelli ta’ sors miftuħ, laqa’ lill-Artiku fil-libreriji u r-repożitorji tal-mudelli tiegħu. Dan jippermetti integrazzjoni bla xkiel tal-Artiku fi flussi tax-xogħol u applikazzjonijiet eżistenti tal-IA bbażati fuq Hugging Face.
Pjattaformi bħal Replicate, SageMaker, u aktar imxew malajr biex joffru demos ospitati, APIs u mogħdijiet ta 'integrazzjoni fluwenti għall-Artiku, u aċċelleraw l-adozzjoni tiegħu.
Is-sors miftuħ mexxa l-iżvilupp tal-Artiku, u l-ekosistemi miftuħa jibqgħu ċentrali għall-evoluzzjoni tiegħu. Snowflake hija impenjata li trawwem kollaborazzjoni rikka ma 'riċerkaturi, żviluppaturi, imsieħba u intrapriżi globalment biex timbotta l-konfini ta' dak li hu possibbli b'mudelli AI miftuħa u speċjalizzati.
