Snowflake Arctic: The Cutting-Edge LLM fyrir Enterprise AI

Fyrirtæki í dag eru í auknum mæli að kanna leiðir til að nýta stór tungumálalíkön (LLM) til að auka framleiðni og búa til snjöll forrit. Hins vegar eru margir af tiltækum LLM valkostum almenn líkön sem ekki eru sérsniðin fyrir sérhæfðar fyrirtækisþarfir eins og gagnagreiningu, kóðun og sjálfvirkni verkefna. Koma inn Snjókorn norðurslóða – háþróaða LLM markvisst hannað og fínstillt fyrir notkunartilvik kjarnafyrirtækis.

Arctic, þróað af gervigreindarrannsóknarteymi Snowflake, ýtir á mörk þess sem hægt er með skilvirkri þjálfun, hagkvæmni og óviðjafnanlegu stigi hreinskilni. Þetta byltingarkennda líkan skarar fram úr í lykilviðmiðum fyrirtækja á meðan það krefst mun minni tölvuafls samanborið við núverandi LLM. Við skulum kafa ofan í það sem gerir Arctic að leikjabreytingum fyrir gervigreind fyrirtækja.

Enterprise Intelligence Endurskilgreint Í kjarna sínum er Arctic einbeittur af leysir að því að skila framúrskarandi frammistöðu á mælikvörðum sem sannarlega skipta máli fyrir fyrirtæki - kóðun, SQL fyrirspurnir, flóknar kennslu fylgja og framleiða jarðtengdar, staðreyndir byggðar úttak. Snowflake hefur sameinað þessa mikilvægu hæfileika í skáldsögu "upplýsingaöflun fyrirtækja" mæligildi.

Niðurstöðurnar tala sínu máli. Arctic uppfyllir eða er betri en líkön eins og LLAMA 7B og LLAMA 70B á viðmiðum fyrirtækjagreindar á meðan það notar minna en helming af tölvukostnaði til þjálfunar. Merkilegt, þrátt fyrir að nýta 17 sinnum færri tölvuauðlindir en LLAMA 70B, Arctic nær jöfnuði í sérhæfðum prófum eins og kóðun (HumanEval+, MBPP+), SQL kynslóð (Spider) og leiðbeiningar eftir (IFEval).

En kunnátta Arctic nær lengra en bara viðmið fyrirtækja. Það viðheldur sterkri frammistöðu þvert á almennan tungumálaskilning, rökhugsun og stærðfræðihæfileika samanborið við líkön sem eru þjálfuð með veldisvísis hærri reiknifjárveitingar eins og DBRX. Þessi heildræna hæfileiki gerir Arctic að óviðjafnanlegu vali til að takast á við fjölbreyttar gervigreindarþarfir fyrirtækis.

Nýsköpunin

Dense-MoE Hybrid Transformer Svo hvernig byggði Snowflake teymið svona ótrúlega færan en samt skilvirkan LLM? Svarið liggur í háþróaðri þéttri blöndu af sérfræðingum (MoE) Hybrid Transformer arkitektúr Arctic.

Hefðbundin þétt spennilíkön verða sífellt dýrari í þjálfun eftir því sem stærð þeirra stækkar, þar sem reiknikröfur aukast línulega. MoE hönnunin hjálpar til við að sniðganga þetta með því að nota mörg samhliða framsendingarnet (sérfræðingar) og virkja aðeins hlutmengi fyrir hvert inntaksmerki.

Hins vegar er einfaldlega ekki nóg að nota MoE arkitektúr - Arctic sameinar styrkleika bæði þéttra og MoE íhluta á hugvitssamlegan hátt. Það parar 10 milljarða breytuþéttan spennikóðara við 128 sérfræðileifar MoE multi-layer perceptron (MLP) lag. Þetta þétta MoE blendingslíkan er samtals 480 milljarðar breytur en aðeins 17 milljarðar eru virkir á hverjum tíma með því að nota topp-2 hlið.

Afleiðingarnar eru djúpstæðar - Arctic nær áður óþekktum módelgæðum og getu á sama tíma og hún er áfram ótrúlega skilvirk í reikningum við þjálfun og ályktanir. Til dæmis hefur Arctic 50% færri virkar breytur en gerðir eins og DBRX meðan á ályktun stendur.

En fyrirmyndararkitektúr er aðeins einn hluti sögunnar. Árangur Arctic er hápunktur nokkurra brautryðjendaaðferða og innsýnar sem þróaðar voru af Snowflake rannsóknarteyminu:

1. Fyrirtækjamiðuð þjálfunargagnanámskrá Með umfangsmiklum tilraunum uppgötvaði teymið að almenna færni eins og skynsemisrök ætti að læra snemma, en flóknari sérhæfingar eins og kóðun og SQL er best að afla síðar í þjálfunarferlinu. Gagnanámskrá Arctic fylgir þriggja þrepa nálgun sem líkir eftir námsframvindu manna.

Fyrstu teratokens leggja áherslu á að byggja upp breiðan almennan grunn. Næstu 1.5 teratokens einbeita sér að því að þróa fyrirtækisfærni með gögnum sem eru sérsniðin fyrir SQL, kóðunarverkefni og fleira. Endanlegu teratókennin betrumbæta sérhæfingu Arctic enn frekar með því að nota fáguð gagnasöfn.

2. Ákjósanlegur arkitektúrval Þó að MoEs lofi betri gæðum á hverja tölvu, þá er mikilvægt að velja réttar stillingar en samt illa skilið. Með ítarlegum rannsóknum lenti Snowflake á arkitektúr þar sem 128 sérfræðingar starfa með topp 2 hliðum á hverju lagi eftir að hafa metið gæðahagkvæmni.

Með því að fjölga sérfræðingum fást fleiri samsetningar, sem eykur getu líkananna. Hins vegar hækkar þetta einnig samskiptakostnað, svo Snowflake lenti á 128 vandlega hönnuðum „þéttum“ sérfræðingum sem virkjaðir voru í gegnum topp-2 hlið sem besta jafnvægið.

3. Kerfissamhönnun En jafnvel ákjósanlegur líkanarkitektúr getur verið grafinn undan með kerfisflöskuhálsum. Þannig að Snowflake teymið nýtti sér líka hér - hannaði líkanarkitektúrinn í hendur við undirliggjandi þjálfunar- og ályktunarkerfi.

Fyrir skilvirka þjálfun voru þéttu og MoE íhlutirnir byggðir upp til að gera skarast samskipti og útreikninga og fela umtalsverðan samskiptakostnað. Á ályktunarhliðinni nýtti teymið nýjungar NVIDIA til að gera mjög skilvirka uppsetningu þrátt fyrir umfang Arctic.

Tækni eins og FP8 magngreining gerir kleift að setja alla líkanið á einn GPU hnút fyrir gagnvirka ályktun. Stærri lotur taka þátt í samhliða getu Arctic yfir marga hnúta á sama tíma og þau eru áfram tilkomumikil tölvahagkvæm þökk sé þéttum 17B virkum breytum.

Með Apache 2.0 leyfi eru þyngd og kóði Arctic fáanlegir óbundnir til hvers kyns persónulegra, rannsókna eða viðskiptalegra nota. En Snowflake hefur gengið miklu lengra, með opnum uppsprettum gagnauppskriftir sínar, líkanaútfærslur, ábendingar og djúpa rannsóknarinnsýn sem knýr Arctic.

The "Arctic matreiðslubók” er yfirgripsmikill þekkingargrunnur sem nær yfir alla þætti þess að byggja upp og fínstilla umfangsmikið MoE líkan eins og Arctic. Það eimar lykilnám í gagnaöflun, módelarkitektúrhönnun, samhönnun kerfis, fínstilltu þjálfunar-/ályktunarkerfi og fleira.

Allt frá því að bera kennsl á ákjósanlegar gagnanámskrár til að smíða MoEs á meðan að hagræða þýðendum, tímaáætlunarbúnaði og vélbúnaði – þessi umfangsmikla þekkingarmiðill lýðræðisfærni færni sem áður var bundin við úrvals gervigreindarstofur. Arctic Cookbook flýtir fyrir námsferlum og gerir fyrirtækjum, vísindamönnum og þróunaraðilum kleift að búa til eigin hagkvæma, sérsniðna LLM fyrir nánast hvaða notkunartilvik sem er.

Að byrja með Arctic

Fyrir fyrirtæki sem hafa áhuga á að nýta Arctic býður Snowflake upp á margar leiðir til að byrja fljótt:

Serverless Inference: Snowflake viðskiptavinir geta fengið aðgang að Arctic líkaninu ókeypis á Snowflake Cortex, fullstýrðum gervigreindarvettvangi fyrirtækisins. Fyrir utan það er Arctic fáanlegt í öllum helstu módellistum eins og AWS, Microsoft Azure, NVIDIA og fleira.

Byrjaðu frá grunni: Opinn uppspretta líkanþyngd og útfærslur gera forriturum kleift að samþætta Arctic beint í öpp sín og þjónustu. The Arctic repo veitir kóðasýni, dreifingarkennsluefni, fínstilla uppskriftir og fleira.

Byggja sérsniðin líkön: Þökk sé tæmandi leiðbeiningum Arctic Cookbook geta forritarar smíðað sín eigin sérsniðnu MoE líkön frá grunni sem eru fínstillt fyrir hvaða sérhæfða notkunartilvik sem er með því að nota lærdóm af þróun Arctic.

A New Era of Open Enterprise AI Arctic er meira en bara enn eitt öflugt tungumálalíkan – það boðar nýtt tímabil opinnar, hagkvæmrar og sérhæfðrar gervigreindargetu sem er sérsmíðaður fyrir fyrirtækið.

Allt frá því að gjörbylta gagnagreiningum og kóðunarframleiðni til að knýja sjálfvirkni verkefna og snjallari forritum, frumkvöðla DNA Arctic gerir það að óviðjafnanlegu vali umfram almenna LLM. Og með opnum uppsprettum, ekki bara líkaninu heldur öllu R&D ferlinu á bak við það, er Snowflake að efla samvinnumenningu sem mun lyfta öllu gervigreindarvistkerfinu.

Eftir því sem fyrirtæki aðhyllast í auknum mæli skapandi gervigreind, býður Arctic upp á djörf teikningu til að þróa líkön sem eru hlutlægt betri fyrir framleiðsluvinnuálag og fyrirtækjaumhverfi. Samruni háþróaðra rannsókna, óviðjafnanlegrar skilvirkni og staðfasts opins siðaregls setur nýtt viðmið í lýðræðisþróun umbreytingarmöguleika gervigreindar.

Hér er hluti með kóðadæmum um hvernig á að nota Snowflake Arctic líkanið:

Hands-On með Arctic

Nú þegar við höfum farið yfir það sem gerir Arctic sannarlega byltingarkennd, skulum við kafa ofan í hvernig verktaki og gagnafræðingar geta byrjað að koma þessu kraftaverkslíkani í framkvæmd.
Upp úr kassanum er Arctic fáanlegt fyrirfram þjálfað og tilbúið til notkunar í gegnum helstu módelmiðstöðvar eins og Hugging Face og gervigreindarvettvangi samstarfsaðila. En raunverulegur kraftur þess kemur fram þegar hann er sérsniðinn og fínstilltur fyrir sérstakar notkunartilvik.

Apache 2.0 leyfi Arctic veitir fullt frelsi til að samþætta það inn í öppin þín, þjónustu eða sérsniðna gervigreindarvinnuflæði. Við skulum ganga í gegnum nokkur kóðadæmi með því að nota spennisafnið til að koma þér af stað:
Grunnályktun með norðurslóðum

Fyrir fljótlegan textaframleiðslu getum við hlaðið Arctic og keyrt grunnályktun mjög auðveldlega:

from transformers import AutoTokenizer, AutoModelForCausalLM
# Load the tokenizer and model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")
# Create a simple input and generate text
input_text = "Here is a basic question: What is the capital of France?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")
# Generate response with Arctic
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

Þetta ætti að gefa út eitthvað eins og:

„Höfuðborg Frakklands er París. París er stærsta borg Frakklands og efnahagsleg, pólitísk og menningarmiðstöð landsins. Þar eru fræg kennileiti eins og Eiffelturninn, Louvre safnið og Notre-Dame dómkirkjan.

Eins og þú sérð skilur Arctic fyrirspurnina óaðfinnanlega og gefur ítarlegt, grunnt svar sem nýtir öflugan tungumálaskilningsgetu sína.

Fínstilling fyrir sérhæfð verkefni

Þó að það sé áhrifamikið út úr kassanum, skín Arctic sannarlega þegar það er sérsniðið og fínstillt á eigin gögnum þínum fyrir sérhæfð verkefni. Snowflake hefur veitt víðtækar uppskriftir sem ná yfir:

• Útbúa hágæða þjálfunargögn sem eru sérsniðin að þínum notkunartilvikum
• Innleiðing sérsniðinna fjölþrepa þjálfunarnámskráa
• Nýttu skilvirka LoRA, P-Tuning eða FactorizedFusion fínstillingaraðferðir
• Hagræðingar fyrir glögga SQL, kóðun eða aðra lykilhæfileika fyrirtækisins

Hér er dæmi um hvernig á að fínstilla Arctic á eigin kóðunargagnasettum með því að nota LoRA og Snowflake uppskriftir:

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training
# Load base Arctic model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)
# Initialize LoRA configs
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)
# Prepare model for LoRA finetuning
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)
# Your coding datasets
data = load_coding_datasets()
# Fine-tune with Snowflake's recipes
train(model, data, ...)

Þessi kóði sýnir hvernig þú getur áreynslulaust hlaðið Arctic, frumstillt LoRA uppsetningu sem er sérsniðin fyrir kóðagerð og fínstillt síðan líkanið á eigin kóðagagnasettum þínum með því að nýta leiðsögn Snowflake.

Sérsniðið og fínstillt, Arctic verður að einkareknu orkuveri sem er stillt til að skila óviðjafnanlegum árangri í kjarnavinnuflæði fyrirtækisins og þörfum hagsmunaaðila.