Snowflake Arctic: LLM-ja më e avancuar për AI të ndërmarrjeve

Ndërmarrjet sot po eksplorojnë gjithnjë e më shumë mënyra për të përdorur modele të mëdha gjuhësore (LLM) për të rritur produktivitetin dhe për të krijuar aplikacione inteligjente. Sidoqoftë, shumë nga opsionet e disponueshme të LLM janë modele gjenerike që nuk janë përshtatur për nevojat e specializuara të ndërmarrjeve si analiza e të dhënave, kodimi dhe automatizimi i detyrave. Hyni Flokë dëbore Arktiku – një LLM më e avancuar e projektuar dhe optimizuar me qëllim për rastet kryesore të përdorimit të ndërmarrjeve.

Zhvilluar nga ekipi hulumtues i AI në Snowflake, Arktiku i shtyn kufijtë e asaj që është e mundur me trajnime efikase, kosto-efektivitet dhe një nivel të pashembullt të hapjes. Ky model revolucionar shkëlqen në standardet kryesore të ndërmarrjeve, ndërsa kërkon shumë më pak fuqi llogaritëse në krahasim me LLM-të ekzistuese. Le të zhytemi në atë që e bën Arktikun një ndryshim të lojës për AI të ndërmarrjeve.

Ripërcaktimi i inteligjencës së sipërmarrjes Në thelbin e tij, Arktiku është i përqendruar në lazer në ofrimin e performancës së jashtëzakonshme në metrikat që kanë vërtet rëndësi për ndërmarrjet - kodimi, kërkimi SQL, ndjekja e udhëzimeve komplekse dhe prodhimi i rezultateve të bazuara, të bazuara në fakte. Flokë dëbore i ka kombinuar këto aftësi kritike në një roman "inteligjenca e ndërmarrjes” metrikë.

Rezultatet flasin vetë. Arktiku plotëson ose tejkalon modelet si LLAMA 7B dhe LLAMA 70B në standardet e inteligjencës së ndërmarrjes, ndërsa përdor më pak se gjysmën e buxhetit kompjuterik për trajnim. Çuditërisht, pavarësisht shfrytëzimit 17 herë më pak burime llogaritëse se LLAMA 70B, Arktiku arrin barazi në testet e specializuara si kodimi (HumanEval+, MBPP+), gjenerimi SQL (Spider) dhe ndjekja e udhëzimeve (IFEval).

Por aftësia e Arktikut shkon përtej standardeve të thjeshta të sipërmarrjes. Ai ruan performancë të fortë në të kuptuarit e përgjithshëm të gjuhës, arsyetimin dhe aftësinë matematikore në krahasim me modelet e trajnuara me buxhete llogaritëse në mënyrë eksponenciale më të larta si DBRX. Kjo aftësi holistike e bën Arktikun një zgjedhje të pamposhtur për trajtimin e nevojave të ndryshme të AI të një ndërmarrje.

Inovacioni

Transformator Hibrid Dense-MoE Pra, si e ndërtoi ekipi Snowflake një LLM kaq të aftë por edhe efikas? Përgjigja qëndron në arkitekturën më të fundit të Transformerëve Hibrid të Përzierjes së Ekspertëve (MM) të Arktikut.

Modelet tradicionale të transformatorëve të dendur bëhen gjithnjë e më të kushtueshme për t'u trajnuar ndërsa madhësia e tyre rritet, me kërkesat llogaritëse që rriten në mënyrë lineare. Dizajni i MM-së ndihmon në anashkalimin e kësaj duke përdorur rrjete të shumta paralele përcjellëse (ekspertë) dhe duke aktivizuar vetëm një nëngrup për çdo shenjë hyrëse.

Megjithatë, thjesht përdorimi i një arkitekture MM nuk është i mjaftueshëm – Arktiku kombinon në mënyrë gjeniale pikat e forta të komponentëve të dendur dhe të MM. Ai çifton një kodues transformatori me densitet prej 10 miliardë parametrash me një shtresë perceptron me shumë shtresa (MLP) të mbetura MOE me 128 ekspertë. Ky model hibrid i dendur MOE arrin gjithsej 480 miliardë parametra, por vetëm 17 miliardë janë aktivë në çdo kohë të caktuar duke përdorur portat top-2.

Implikimet janë të thella - Arktiku arrin cilësi dhe kapacitet të paprecedentë të modelit, ndërsa mbetet jashtëzakonisht efikas në llogaritjen gjatë trajnimit dhe konkluzionit. Për shembull, Arktiku ka 50% më pak parametra aktivë sesa modelet si DBRX gjatë përfundimit.

Por arkitektura e modelit është vetëm një pjesë e historisë. Përsosmëria e Arktikut është kulmi i disa teknikave dhe njohurive pioniere të zhvilluara nga ekipi hulumtues Snowflake:

1. Kurrikula e të dhënave të trajnimit të përqendruar në ndërmarrje Nëpërmjet eksperimentimit të gjerë, ekipi zbuloi se aftësitë e përgjithshme si arsyetimi i logjikshëm duhet të mësohen herët, ndërsa specializimet më komplekse si kodimi dhe SQL fitohen më mirë më vonë në procesin e trajnimit. Kurrikula e të dhënave të Arktikut ndjek një qasje me tre faza që imiton përparimet e të mësuarit njerëzor.

Teratokenet e para fokusohen në ndërtimin e një baze të gjerë të përgjithshme. 1.5 teratokenët e ardhshëm përqendrohen në zhvillimin e aftësive të ndërmarrjes përmes të dhënave të përshtatura për SQL, detyra kodimi dhe më shumë. Teratokenet përfundimtare përsosin më tej specializimet e Arktikut duke përdorur grupe të dhënash të rafinuara.

2. Zgjedhjet optimale arkitekturore Ndërsa MM-të premtojnë cilësi më të mirë për llogaritje, zgjedhja e konfigurimeve të duhura është thelbësore, por e kuptuar keq. Nëpërmjet kërkimit të detajuar, Snowflake zbarkoi në një arkitekturë që punësonte 128 ekspertë me top-2 që mbulojnë çdo shtresë pas vlerësimit të kompromiseve të cilësisë dhe efikasitetit.

Rritja e numrit të ekspertëve siguron më shumë kombinime, duke rritur kapacitetin e modelit. Megjithatë, kjo gjithashtu rrit kostot e komunikimit, kështu që Snowflake u ul mbi 128 ekspertë "të kondensuar" të dizajnuar me kujdes, të aktivizuar përmes portave të top-2 si balanca optimale.

3. Bashkë-Dizajnimi i Sistemit Por edhe një arkitekturë modeli optimal mund të minohet nga pengesat e sistemit. Pra, ekipi i Snowflake inovoi edhe këtu - duke bashkë-dizajnuar arkitekturën e modelit krah për krah me sistemet themelore të trajnimit dhe konkluzioneve.

Për trajnim efikas, komponentët e dendur dhe të MM u strukturuan për të mundësuar komunikim dhe llogaritje të mbivendosura, duke fshehur shpenzimet kryesore të komunikimit. Nga ana e konkluzionit, ekipi përdori risitë e NVIDIA për të mundësuar vendosje shumë efikase pavarësisht shkallës së Arktikut.

Teknikat si kuantizimi FP8 lejojnë përshtatjen e modelit të plotë në një nyje të vetme GPU për përfundime interaktive. Grupet më të mëdha përfshijnë aftësitë paralelizuese të Arktikut nëpër nyje të shumta, ndërkohë që mbeten jashtëzakonisht efikase në llogaritje falë parametrave të tij kompakte aktive 17B.

Me një licencë Apache 2.0, peshat dhe kodi i Arktikut janë të disponueshme të pastra për çdo përdorim personal, kërkimor ose tregtar. Por Snowflake ka shkuar shumë më larg, duke ofruar burime të hapura recetat e tyre të plota të të dhënave, implementimet e modeleve, këshillat dhe njohuritë e thella të kërkimit që fuqizojnë Arktikun.

"Libër gatimi Arktik” është një bazë njohurish gjithëpërfshirëse që mbulon çdo aspekt të ndërtimit dhe optimizimit të një modeli MM në shkallë të gjerë si Arktiku. Ai distilon mësimet kryesore në lidhje me burimin e të dhënave, modelin e arkitekturës së modelit, bashkë-projektimin e sistemit, skemat e optimizuara të trajnimit/konkluzioneve dhe më shumë.

Nga identifikimi i kurrikulave optimale të të dhënave deri te arkitektimi i MM-ve ndërsa bashkë-optimizon përpiluesit, planifikuesit dhe harduerin – ky grup i gjerë njohurish demokratizon aftësitë e kufizuara më parë në laboratorët elitë të AI. Arctic Cookbook përshpejton kthesat e të mësuarit dhe fuqizon bizneset, studiuesit dhe zhvilluesit globalisht për të krijuar LLM-të e tyre me kosto efektive, të përshtatura për pothuajse çdo rast përdorimi.

Fillimi me Arktikun

Për kompanitë e prirura për të shfrytëzuar Arktikun, Snowflake ofron shtigje të shumta për të filluar shpejt:

Konkluzioni pa server: Klientët e Snowflake mund t'i qasen modelit Arktik falas në Snowflake Cortex, platforma e AI e menaxhuar plotësisht e kompanisë. Përtej kësaj, Arctic është i disponueshëm në të gjithë katalogët kryesorë të modeleve si AWS, Microsoft Azure, NVIDIA dhe më shumë.

Filloni nga e para: Peshat dhe zbatimet e modelit me burim të hapur lejojnë zhvilluesit të integrojnë drejtpërdrejt Arktikun në aplikacionet dhe shërbimet e tyre. Depoja e Arktikut ofron mostra kodesh, udhëzime për vendosjen, receta të rregullimit të imët dhe më shumë.

Ndërtimi i modeleve të personalizuara: Falë udhëzuesve shterues të Arctic Cookbook, zhvilluesit mund të ndërtojnë modelet e tyre të personalizuara të MoE nga e para të optimizuara për çdo rast përdorimi të specializuar duke përdorur mësimet nga zhvillimi i Arktikut.

Një epokë e re e Open Enterprise AI Arctic është më shumë se thjesht një model tjetër i fuqishëm gjuhësor – ai paralajmëron një epokë të re të aftësive të hapura, me kosto efikase dhe të specializuara të AI, të ndërtuara me qëllim për ndërmarrjen.

Nga revolucionarizimi i analitikës së të dhënave dhe produktivitetit të kodimit te fuqizimi i automatizimit të detyrave dhe aplikacioneve më të zgjuara, ADN-ja e parë e ndërmarrjes e Arktikut e bën atë një zgjedhje të pakrahasueshme mbi LLM-të e përgjithshme. Dhe duke siguruar burime të hapura jo vetëm modelin, por të gjithë procesin e kërkimit dhe zhvillimit që qëndron pas tij, Snowflake po nxit një kulturë bashkëpunimi që do të lartësojë të gjithë ekosistemin e AI.

Ndërsa ndërmarrjet përqafojnë gjithnjë e më shumë AI gjeneruese, Arktiku ofron një plan të guximshëm për zhvillimin e modeleve objektivisht superiore për ngarkesat e punës së prodhimit dhe mjediset e ndërmarrjeve. Grumbullimi i saj i kërkimeve të fundit, efikasiteti i pakrahasueshëm dhe një etikë e hapur e qëndrueshme vendos një pikë referimi të re në demokratizimin e potencialit transformues të AI.

Këtu është një seksion me shembuj kodesh se si të përdorni modelin Snowflake Arctic:

Praktik me Arktikun

Tani që kemi mbuluar atë që e bën Arktikun me të vërtetë novator, le të zhytemi në mënyrën se si zhvilluesit dhe shkencëtarët e të dhënave mund të fillojnë të vënë në funksion këtë model të centralizuar.
Nga kutia, Arctic është i disponueshëm i para-trajnuar dhe i gatshëm për t'u vendosur përmes qendrave kryesore të modeleve si Hugging Face dhe platformat partnere të AI. Por fuqia e tij e vërtetë shfaqet kur e personalizoni dhe rregulloni atë për rastet tuaja specifike të përdorimit.

Licenca Apache 2.0 e Arktikut ofron liri të plotë për ta integruar atë në aplikacionet, shërbimet ose flukset e punës të personalizuara të AI. Le të kalojmë nëpër disa shembuj kodesh duke përdorur bibliotekën e transformatorëve për të filluar:
Konkluzioni themelor me Arktikun

Për rastet e përdorimit të shpejtë të gjenerimit të tekstit, ne mund të ngarkojmë Arktikun dhe të ekzekutojmë konkluzionet bazë shumë lehtë:

from transformers import AutoTokenizer, AutoModelForCausalLM
# Load the tokenizer and model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")
# Create a simple input and generate text
input_text = "Here is a basic question: What is the capital of France?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")
# Generate response with Arctic
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

Kjo duhet të nxjerrë diçka si:

“Kryeqyteti i Francës është Parisi. Parisi është qyteti më i madh në Francë dhe qendra ekonomike, politike dhe kulturore e vendit. Është shtëpia e monumenteve të famshme si Kulla Eifel, muzeu i Luvrit dhe Katedralja Notre-Dame.

Siç mund ta shihni, Arktiku e kupton pa probleme pyetjen dhe ofron një përgjigje të detajuar dhe të bazuar duke shfrytëzuar aftësitë e tij të fuqishme të të kuptuarit të gjuhës.

Rregullimi i imët për detyra të specializuara

Ndërsa është mbresëlënëse jashtë kutisë, Arktiku me të vërtetë shkëlqen kur personalizohet dhe rregullohet mirë në të dhënat tuaja të pronarit për detyra të specializuara. Snowflake ka ofruar receta të gjera duke mbuluar:

• Kurimi i të dhënave të trajnimit me cilësi të lartë të përshtatura për rastin tuaj të përdorimit
• Zbatimi i kurrikulave të personalizuara të trajnimit me shumë faza
• Përdorimi i qasjeve efikase të akordimit LoRA, P-Tuning ose FactorizedFusion
• Optimizimet për të dalluar SQL, kodimin ose aftësi të tjera kyçe të ndërmarrjes

Këtu është një shembull se si të rregulloni Arktikun në grupet e të dhënave tuaja të kodimit duke përdorur recetat e LoRA dhe Snowflake:

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training
# Load base Arctic model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)
# Initialize LoRA configs
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)
# Prepare model for LoRA finetuning
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)
# Your coding datasets
data = load_coding_datasets()
# Fine-tune with Snowflake's recipes
train(model, data, ...)

Ky kod ilustron se si mund të ngarkoni pa mundim Arktikun, të inicializoni një konfigurim LoRA të përshtatur për gjenerimin e kodit dhe më pas të rregulloni modelin në grupet e të dhënave tuaja të kodimit të pronarit duke shfrytëzuar udhëzimet e Snowflake.

I personalizuar dhe i rregulluar mirë, Arktiku bëhet një central elektrik privat i akorduar për të ofruar performancë të pakrahasueshme në flukset e punës kryesore të ndërmarrjes suaj dhe nevojat e palëve të interesuara.