Snowflake Arctic: tipptasemel LLM ettevõtte AI jaoks

Tänapäeval uurivad ettevõtted üha enam võimalusi, kuidas kasutada suuri keelemudeleid (LLM), et tõsta tootlikkust ja luua intelligentseid rakendusi. Paljud saadaolevad LLM-i valikud on aga üldised mudelid, mis ei ole kohandatud ettevõtte erivajadustele, nagu andmete analüüs, kodeerimine ja ülesannete automatiseerimine. Sisenema Lumehelbe Arktika – kaasaegne LLM, mis on sihikindlalt loodud ja optimeeritud ettevõtte põhilisteks kasutusjuhtudeks.

Snowflake'i tehisintellekti uurimisrühma poolt välja töötatud Arctic nihutab piire, mis on võimalik tõhusa koolituse, kulutasuvuse ja võrratu avatuse tasemega. See revolutsiooniline mudel paistab silma peamiste ettevõtte võrdlusnäitajatega, nõudes samas palju vähem arvutusvõimsust võrreldes olemasolevate LLM-idega. Sukeldume sellesse, mis muudab Arcticu ettevõtte tehisintellekti jaoks mängu muutjaks.

Uuesti määratletud ettevõtte intelligentsus Oma tuumaks on Arctic laseriga keskendunud erakordse jõudluse pakkumisele ettevõtete jaoks tõeliselt oluliste mõõdikute osas – kodeerimine, SQL-päringud, keerukate juhiste järgimine ja maandatud faktipõhiste väljundite tootmine. Snowflake on ühendanud need kriitilised võimalused romaaniks "ettevõtte luure” mõõdik.

Tulemused räägivad enda eest. Arctic vastab või edestab selliseid mudeleid nagu LLAMA 7B ja LLAMA 70B ettevõtte intelligentsuse võrdlusalustes, kasutades koolituseks vähem kui poole arvutuseelarvest. Märkimisväärne, hoolimata kasutamisest 17 korda vähem arvutusressursse kui LLAMA 70B, Arctic saavutab pariteedi spetsiaalsetes testides, nagu kodeerimine (HumanEval+, MBPP+), SQL-i genereerimine (Spider) ja juhiste järgimine (IFEval).

Kuid Arktika võimekus ulatub kaugemale kui ainult ettevõtte võrdlusnäitajad. Võrreldes eksponentsiaalselt suurema arvutuseelarvega treenitud mudelitega, nagu DBRX, säilitab see tugeva jõudluse üldises keelest arusaamises, arutluskäigus ja matemaatilistes võimetes. See terviklik võime muudab Arcticu ületamatuks valikuks ettevõtte erinevate tehisintellekti vajaduste rahuldamiseks.

Innovatsioon

Dense-MoE hübriidtransformaator Kuidas siis Snowflake'i meeskond ehitas nii uskumatult võimeka, kuid tõhusa LLM-i? Vastus peitub Arcticu tipptasemel Tihe ekspertide segu (MoE) hübriidtransformaatori arhitektuuris.

Traditsiooniliste tihedate trafomudelite treenimine muutub nende suuruse kasvades üha kulukamaks, kusjuures arvutusnõuded kasvavad lineaarselt. MoE disain aitab sellest mööda hiilida, kasutades mitut paralleelset edasisaatmisvõrku (eksperti) ja aktiveerides iga sisendmärgi jaoks ainult alamhulga.

Kuid pelgalt KK arhitektuuri kasutamisest ei piisa – Arctic ühendab leidlikult nii tihedate kui ka KKM komponentide tugevused. See ühendab 10 miljardi parameetriga tiheda trafo kodeerija 128 eksperdi jääk MoE mitmekihilise perceptroni (MLP) kihiga. Sellel tiheda MoE hübriidmudelil on kokku 480 miljardit parameetrit, kuid ainult 17 miljardit on igal ajahetkel aktiivsed, kasutades top-2 väravat.

Mõju on sügav – Arctic saavutab enneolematu mudelikvaliteedi ja võimsuse, jäädes samas väljaõppe ja järelduste tegemise ajal märkimisväärselt arvutuslikuks. Näiteks Arcticul on järeldamise ajal 50% vähem aktiivseid parameetreid kui mudelitel nagu DBRX.

Kuid mudelarhitektuur on vaid üks osa loost. Arktika tipptase on Snowflake'i uurimisrühma välja töötatud mitmete teedrajavate tehnikate ja arusaamade kulminatsioon:

1. Ettevõtlusele suunatud koolitusandmete õppekava Ulatuslike katsete käigus avastas meeskond, et üldisi oskusi, nagu tervemõistuslik arutluskäik, tuleks varakult õppida, samas kui keerukamad spetsialiseerumisalad, nagu kodeerimine ja SQL, on kõige parem omandada koolitusprotsessi hilisemas etapis. Arcticu andmete õppekava järgib kolmeastmelist lähenemisviisi, mis jäljendab inimese õppimise edenemist.

Esimesed teratokenid keskenduvad laia üldise baasi loomisele. Järgmised 1.5 teratokeni keskenduvad ettevõtteoskuste arendamisele SQL-i jaoks kohandatud andmete, kodeerimisülesannete ja muu kaudu. Lõplikud teratokenid täpsustavad Arktika spetsialiseerumist täiustatud andmekogumite abil.

2. Optimaalsed arhitektuurivalikud Kuigi KK-d lubavad paremat kvaliteeti ühe arvutuse kohta, on õigete konfiguratsioonide valimine ülioluline, kuid halvasti mõistetav. Üksikasjaliku uurimistöö tulemusena jõudis Snowflake arhitektuurini, kus töötab 128 eksperti, kes kontrollisid pärast kvaliteedi ja tõhususe kompromisside hindamist iga kihi kaks parimat.

Ekspertide arvu suurendamine annab rohkem kombinatsioone, suurendades mudeli võimsust. See tõstab aga ka sidekulusid, nii et Snowflake langes optimaalse tasakaaluna 128 hoolikalt kavandatud "kondenseeritud" eksperdile, mis aktiveeriti top-2 värava abil.

3. Süsteemi kaasdisain Kuid isegi optimaalset mudeliarhitektuuri võivad õõnestada süsteemi kitsaskohad. Seega tegi Snowflake'i meeskond uuendusi ka siin – kavandades mudeli arhitektuuri käsikäes selle aluseks olevate koolitus- ja järeldussüsteemidega.

Tõhusaks väljaõppeks struktureeriti tihedad ja MoE komponendid nii, et see võimaldaks kattuvat suhtlust ja arvutusi, varjates olulisi side üldkulusid. Järelduste poole pealt kasutas meeskond NVIDIA uuendusi, et võimaldada väga tõhusat kasutuselevõttu hoolimata Arktika mastaabist.

Sellised meetodid nagu FP8 kvantimine võimaldavad interaktiivse järelduse tegemiseks sobitada kogu mudeli ühele GPU-sõlmele. Suuremad partiid kasutavad Arcticu paralleelsuse võimalusi mitme sõlme vahel, jäädes tänu kompaktsetele 17B aktiivsetele parameetritele muljetavaldavalt arvutustõhusaks.

Apache 2.0 litsentsiga on Arcticu kaalud ja kood saadaval ilma väravata mis tahes isiklikuks, uurimistööks või äriliseks kasutamiseks. Kuid Snowflake on läinud palju kaugemale, hankides avatud lähtekoodiga nende täielikud andmeretseptid, mudelite juurutused, näpunäited ja põhjalikud Arktikat toidavad teadusuuringud.

"Arktika kokaraamat” on põhjalik teadmistebaas, mis hõlmab kõiki suuremahulise KKM-mudeli, nagu Arctic, ehitamise ja optimeerimise aspekte. See destilleerib põhiõpetust andmete hankimise, mudeliarhitektuuri disaini, süsteemi kaasdisaini, optimeeritud koolitus-/järeldusskeemide ja muu kohta.

Alates optimaalsete andmeõppekavade tuvastamisest kuni KKM-de kujundamiseni koos kompilaatorite, planeerijate ja riistvara optimeerimisega – see ulatuslik teadmistepagas demokratiseerib oskusi, mis varem piirdusid tehisintellekti eliitlaboritega. Arctic Cookbook kiirendab õppimiskõveraid ja annab ettevõtetele, teadlastele ja arendajatele kogu maailmas võimaluse luua oma kuluefektiivseid ja kohandatud LLM-e praktiliselt iga kasutusjuhtumi jaoks.

Arktikaga alustamine

Ettevõtetele, kes soovivad Arktikat kasutada, pakub Snowflake mitut võimalust kiireks alustamiseks.

Serverita järeldus: Snowflake'i kliendid pääsevad ettevõtte täielikult hallatava tehisintellekti platvormi Snowflake Cortex kaudu tasuta juurde Arctic mudelile. Lisaks on Arctic saadaval kõigis suuremates mudelikataloogides, nagu AWS, Microsoft Azure, NVIDIA ja palju muud.

Alustage nullist: avatud lähtekoodiga mudelite kaalud ja rakendused võimaldavad arendajatel Arcticu otse oma rakendustesse ja teenustesse integreerida. Arctic repo pakub koodinäidiseid, juurutamise õpetusi, peenhäälestusretsepte ja palju muud.

Kohandatud mudelite loomine: tänu Arcticu kokaraamatu põhjalikele juhenditele saavad arendajad luua nullist oma kohandatud MoE-mudeleid, mis on optimeeritud igaks eriotstarbeliseks kasutusjuhtumiks, kasutades Arcticu arendusest saadud teadmisi.

Avatud ettevõtte tehisintellekti uus ajastu Arctic on midagi enamat kui lihtsalt järjekordne võimas keelemudel – see kuulutab ette uut ajastut avatud, kulutõhusate ja spetsiaalselt ettevõtte jaoks loodud tehisintellekti võimalustega.

Alates andmeanalüütika ja kodeerimise tootlikkuse revolutsiooni muutmisest kuni ülesannete automatiseerimise ja nutikamate rakendusteni – Arcticu ettevõttepõhine DNA muudab selle üldiste LLM-ide ees ületamatuks valikuks. Ja mitte ainult mudeli, vaid kogu selle taga oleva uurimis- ja arendusprotsessi avatud hankimisega edendab Snowflake koostöökultuuri, mis tõstab kogu tehisintellekti ökosüsteemi kõrgemale.

Kuna ettevõtted kasutavad üha enam generatiivset tehisintellekti, pakub Arctic julget kavandit mudelite arendamiseks, mis on objektiivselt paremad tootmiskoormuse ja ettevõtte keskkondade jaoks. Selle tipptasemel teadusuuringute, ületamatu tõhususe ja vankumatu avatud eetose koosmõju seab AI transformatiivse potentsiaali demokratiseerimisel uue etaloni.

Siin on osa koodinäidetega Snowflake Arctic mudeli kasutamise kohta:

Käed-küljes Arktikaga

Nüüd, kui oleme käsitlenud seda, mis teeb Arktika tõeliselt murranguliseks, sukeldume sellesse, kuidas arendajad ja andmeteadlased saavad seda jõuallika mudelit tööle hakata.
Karbist välja võttes on Arctic saadaval eelkoolitusena ja valmis kasutuselevõtuks suurte mudelikeskuste kaudu, nagu Hugging Face ja partnerite AI platvormid. Kuid selle tegelik jõud ilmneb selle kohandamisel ja peenhäälestamisel teie konkreetsete kasutusjuhtude jaoks.

Arcticu Apache 2.0 litsents annab täieliku vabaduse selle integreerimiseks oma rakendustesse, teenustesse või kohandatud tehisintellekti töövoogudesse. Alustuseks vaatame läbi mõned koodinäidised, kasutades trafoteeki:
Põhiline järeldus Arktika kohta

Teksti kiireks genereerimiseks saame laadida Arcticu ja käivitada põhilised järeldused väga lihtsalt:

from transformers import AutoTokenizer, AutoModelForCausalLM
# Load the tokenizer and model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")
# Create a simple input and generate text
input_text = "Here is a basic question: What is the capital of France?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")
# Generate response with Arctic
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

See peaks väljastama midagi sellist:

"Prantsusmaa pealinn on Pariis. Pariis on Prantsusmaa suurim linn ning riigi majanduslik, poliitiline ja kultuuriline keskus. See on koduks kuulsatele vaatamisväärsustele, nagu Eiffeli torn, Louvre'i muuseum ja Notre-Dame'i katedraal.

Nagu näete, mõistab Arctic päringut sujuvalt ja annab üksikasjaliku ja põhjendatud vastuse, kasutades ära selle tugeva keele mõistmise võimet.

Peenhäälestus eriülesannete jaoks

Kuigi Arctic on muljetavaldav juba kasutusel, särab see tõeliselt, kui seda kohandatakse ja peenhäälestatakse teie patenteeritud andmetele spetsiaalsete ülesannete jaoks. Snowflake on pakkunud ulatuslikke retsepte, mis hõlmavad:

• Teie kasutusjuhtumi jaoks kohandatud kvaliteetsete treeningandmete kureerimine
• Kohandatud mitmeastmelise koolituse õppekavade rakendamine
• Kasutades tõhusaid LoRA, P-häälestuse või FactorizedFusioni peenhäälestusmeetodeid
• Optimeerimine SQL-i, kodeerimise või muude ettevõtte võtmeoskuste jaoks

Siin on näide selle kohta, kuidas LoRA ja Snowflake'i retsepte kasutades Arcticut oma kodeerimisandmekogumitel peenhäälestada:

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training
# Load base Arctic model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)
# Initialize LoRA configs
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)
# Prepare model for LoRA finetuning
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)
# Your coding datasets
data = load_coding_datasets()
# Fine-tune with Snowflake's recipes
train(model, data, ...)

See kood illustreerib, kuidas saate Arcticu vaevata laadida, koodi genereerimiseks kohandatud LoRA konfiguratsiooni lähtestada ja seejärel Snowflake'i juhiseid kasutades oma patenteeritud kodeerimisandmekogumitel mudelit peenhäälestada.

Kohandatud ja peenhäälestatud Arctic muutub privaatseks jõuallikaks, mis on häälestatud teie ettevõtte põhitöövoogude ja sidusrühmade vajaduste jaoks ületamatu jõudluse tagamiseks.