Snowflake Arctic: The Cutting-Edge LLM for Enterprise AI

Pargîdanî îro her ku diçe rêgezên ku modelên zimanên mezin (LLM) bi kar bînin da ku hilberîneriyê zêde bikin û sepanên jîr biafirînin digerin. Lêbelê, gelek vebijarkên LLM yên berdest modelên gelemperî ne ku ji bo hewcedariyên pargîdaniya pispor ên mîna analîzkirina daneyê, kodkirin, û otomasyona peywirê ne hatine çêkirin. Derbasbûn Snowflake Arktîk - LLM-ya herî pêşkeftî ku bi mebest ji bo dozên karanîna pargîdaniya bingehîn hatî sêwirandin û xweşbîn kirin.

Ji hêla tîmê lêkolînê ya AI-ê li Snowflake ve hatî pêşve xistin, Arctic sînorên ku bi perwerdehiya bikêrhatî, lêçûn-bandorbûna lêçûn, û astek bêhempa ya vekirîbûnê re derbas dike. Ev modela şoreşgerî di pîvanên pargîdaniya sereke de pêş dikeve dema ku li gorî LLM-yên heyî hewceyê hêza hesabkerê pir kêmtir hewce dike. Werin em bikevin nav tiştê ku Arctic ji bo AI-ya pargîdanî guhezkarek lîstikê dike.

Îstixbarata Pargîdaniyê ji nû ve hate pênase kirin Di bingeha xwe de, Arctic-lazer li ser peydakirina performansa awarte ya li ser metrîkên ku bi rastî ji pargîdaniyan re girîng in - kodkirin, lêpirsîna SQL, şopandina rêwerzên tevlihev, û hilberandina derketinên bingehîn, li gorî rastiyan. Snowflake van kapasîteyên krîtîk di romanekê de berhev kiriye "îstîxbarata pargîdanî”metric.

Encam ji bo xwe dipeyivin. Arktîk bi modelên mîna LLAMA 7B û LLAMA 70B re li ser pîvanên îstîxbarata pargîdanî dicive an pêşdetir dibe dema ku ji bo perwerdehiyê kêmtirî nîvê budceya hesabkirinê bikar tîne. Balkêş e, tevî ku bikar tîne 17 caran kêmtir çavkaniyên hesabkirinê ji LLAMA 70B, Arktîk li ser ceribandinên pispor ên mîna kodkirin (HumanEval+, MBPP+), hilberîna SQL (Spider), û rêwerzên jêrîn (IFEval) wekheviyê bi dest dixe.

Lê jêhatîbûna Arktîkê ji pîvanên pargîdaniya acing wêdetir e. Ew performansa xurt li seranserê têgihîştina zimanê gelemperî, raman, û jêhatîbûna matematîkî li gorî modelên ku bi budceyên hesabkerî yên wekî DBRX-ê bi qawet bilindtir hatine perwerde kirin diparêze. Vê kapasîteya tevdeyî ji bo çareserkirina hewcedariyên cihêreng ên AI-ê yên pargîdaniyek Arctic vebijarkek bêhempa dike.

The Innovation

Dense-MoE Hybrid Transformer Ji ber vê yekê tîmê Snowflake çawa LLMek wusa jêhatî û lê bikêrhatî ava kir? Bersiv di mîmariya Transformer a Hybrid a Dense Mixture-of-Experts (MoE) ya pêşkeftî ya Arktîk de ye.

Modelên trafoya zirav a kevneşopî her ku mezinbûna wan mezin dibe, perwerdekirina wan her ku diçe girantir dibe, digel ku hewcedariyên hesabkerî bi xêzikî zêde dibin. Sêwirana MoE bi karanîna gelek torên pêşdebir-pêşverû yên paralel (pispor) û tenê ji bo her nîşanek têketinê binkeyek aktîf dike ji vê yekê re dibe alîkar.

Lêbelê, bi tenê karanîna mîmariya MoE ne bes e - Arctic hêza her du pêkhateyên dagirtî û MoE bi jîrbûnî hev dike. Ew 10 mîlyar parametre şîfrekerek veguherîner a dagirtî bi qatek 128 pisporê mayî ya MoE perceptronê pir-tebeqe (MLP) re dike. Ev modela hybrid a dendik-MoE bi tevahî 480 mîlyar parametre lê tenê 17 mîlyar di her wextê diyarkirî de bi karanîna deriyê top-2 çalak in.

Encam kûr in - Arctic kalîte û kapasîteya modela nedîtî digihîje di heman demê de ku di dema perwerdehiyê û encamdanê de bi rengek berbiçav-berbiçav dimîne. Mînakî, Arktîk di dema encamdanê de ji modelên mîna DBRX% 50 kêmtir parametreyên çalak hene.

Lê mîmariya model tenê beşek çîrokê ye. Kêmasiya Arktîkê encama çend teknîk û têgihîştina pêşeng e ku ji hêla tîmê lêkolînê Snowflake ve hatî pêşve xistin:

1. Mufredata Daneyên Perwerdehiyê ya Xweser-Perketî Bi ceribandinek berfireh, tîmê kifş kir ku jêhatîbûnên gelemperî yên mîna ramana hevpar divê zû fêr bibin, dema ku pisporiyên tevlihevtir ên mîna kodkirin û SQL çêtirîn di pêvajoya perwerdehiyê de paşê têne bidestxistin. Bernameya daneya Arktîkê nêzîkatiyek sê-qonaxê dişopîne ku pêşkeftinên fêrbûna mirovan dişibîne.

Teratokenên yekem li ser avakirina bingehek giştî ya berfireh hûr dibin. 1.5 teratokenên din li ser pêşkeftina jêhatîbûnên pargîdaniyê bi navgîniya daneyên ku ji bo SQL, peywirên kodkirinê, û hêj bêtir hatine veqetandin, hûr dibin. Teratokenên dawîn pisporiyên Arktîkê bi karanîna danûstendinên rafînerî paqij dikin.

2. Hilbijartinên Mîmarî yên Optimal Dema ku MoEs ji bo hesabkirinê qalîteya çêtir soz didin, bijartina mîhengên rast pir girîng e lê kêm tê fêm kirin. Di nav lêkolînek hûrgulî de, Snowflake ket ser mîmariyek ku 128 pisporên ku bi top-2 deriyên her qatê dixebitînin piştî nirxandina danûstendinên qalîteyê-kêrhatî.

Zêdekirina hejmara pisporan bêtir berhevokan peyda dike, kapasîteya modelê zêde dike. Lêbelê, ev di heman demê de lêçûnên ragihandinê jî zêde dike, ji ber vê yekê Snowflake li ser 128 pisporên bi baldarî "tevlihevkirî" hatine sêwirandin ku bi riya deriyê top-2-ê wekî hevsengiya çêtirîn çalak kirin.

3. Hev-Sêwirana Pergalê Lê tewra mîmariyek modela çêtirîn jî dikare ji hêla tengahiyên pergalê ve were xera kirin. Ji ber vê yekê tîmê Snowflake li vir jî nûjen kir - bi pergalên perwerdehî û encamnameyê yên bingehîn re hev-dizaynkirina mîmariya modelê.

Ji bo perwerdehiya bikêrhatî, hêmanên zexm û MoE hatine saz kirin da ku pêwendiya pêwendiyê û hesabkirinê pêk bînin, sermayên ragihandinê yên girîng veşêrin. Di aliyê encamnameyê de, tîmê nûjeniyên NVIDIA-yê bi kar anî da ku tevî pîvana Arktîkê veguheztina pir bikêrhatî bike.

Teknîkên mîna quantîzasyona FP8 dihêle ku modela tevahî li ser yek girêkek GPU-yê ji bo encamdana înteraktîf bicîh bikin. Parçeyên mezin bi kapasîteyên paralelîzma Arktîkê di nav gelek girêkan de tevdigerin û di heman demê de bi saya parametreyên wê yên aktîf ên 17B-ya kompakt bi bandorkeriya hesabkirinê dimînin.

Bi lîsansek Apache 2.0, giranî û koda Arctic ji bo karanîna kesane, lêkolînî an bazirganî bênavber peyda dibin. Lê Snowflake pir pêşde çûye, reçeteyên daneya wan ên bêkêmasî, pêkanînên modelê, serişte û nerînên lêkolîna kûr ên ku Arctic hêzdar dikin vekiriye.

The "Arctic Cookbook” bingehek zanyarî ya berfireh e ku her aliyên avakirin û xweşbînkirina modelek MoE-ya mezin a mîna Arktîkê vedihewîne. Ew fêrbûnên sereke li seranserê çavkaniya daneyê, sêwirana mîmariya modelê, hev-sêwirana pergalê, pileyên perwerdehiya xweşbîn / encamgirtinê û hêj bêtir distîne.

Ji naskirina qursên daneya çêtirîn bigire heya mîmarkirina MoE-yê dema ku berhevkar, plansazker û hardware hev-optîmîze dike - ev beşê berfireh a zanînê jêhatîyên ku berê di laboratîfên AI-ê yên elît de hatine sînordar kirin demokratîze dike. Arctic Cookbook lezkirina fêrbûnê bilez dike û karsazî, lêkolîner û pêşdebiran li çaraliyê cîhanê hêz dide ku LLM-yên xwe yên lêçûn-bandor, lihevhatî ji bo hema hema her rewşê bikar bînin biafirînin.

Destpêkirina bi Arktîkê

Ji bo pargîdaniyên ku dixwazin Arctic bikar bînin, Snowflake gelek riyan pêşkêşî dike ku zû dest pê bikin:

Encama bê Server: Xerîdarên Snowflake dikarin modela Arktîkê belaş li ser Snowflake Cortex, platforma AI-ê ya bi tevahî-rêvebir a pargîdaniyê bigihînin. Ji xeynî wê, Arctic li hemî katalogên modela sereke yên mîna AWS, Microsoft Azure, NVIDIA, û hêj bêtir peyda dibe.

Ji Serûpê dest pê bikin: Giran û pêkanînên modela çavkaniya vekirî dihêle ku pêşdebiran rasterast Arctic di sepan û karûbarên xwe de yek bikin. Repoya Arktîkê nimûneyên kodê, dersên bicîhkirinê, reçeteyên birêkûpêk, û hêj bêtir peyda dike.

Modelên Xweser ava bikin: Bi saya rêberên berfireh ên Arctic Cookbook, pêşdebir dikarin modelên xwe yên MoE-ya xwerû ji nû ve ava bikin ku ji bo her dozek karanîna pispor bi karanîna fêrbûnên ji pêşkeftina Arctic ve hatî xweşbîn kirin.

Serdemek Nû ya Open Enterprise AI Arctic ji modelek zimanek din a hêzdar wêdetir e - ew serdemek nû ya kapasîteyên AI-ê yên vekirî, lêçûn û pispor ên ku ji bo pargîdaniyê hatine çêkirin destnîşan dike.

Ji şoreşgerîkirina analîtîka daneyan û hilberîna kodkirinê bigire heya bi hêzkirina otomasyona peywirê û serîlêdanên biaqiltir, DNA-ya pargîdaniya yekem a Arktîkê wê li ser LLM-yên gelemperî bijarek bêhempa dike. Û bi çavkaniya vekirî ne tenê modelê lê tevahiya pêvajoya R&D ya li pişt wê, Snowflake çandek hevkariyê çêdike ku dê tevahiya ekosîstema AI-ê bilind bike.

Gava ku pargîdanî her ku diçe AI-ya hilberîner hembêz dikin, Arctic nexşeyek wêrek pêşkêşî dike ji bo pêşdebirina modelên ku bi objektîf ji bo barkirina xebata hilberînê û hawîrdorên pargîdaniyê bilindtir in. Têkiliya wê ya lêkolîna pêşkeftî, karbidestiya bêhempa û etîkek vekirî ya domdar pîvanek nû di demokratîzekirina potansiyela veguherîner a AI-yê de destnîşan dike.

Li vir beşek bi mînakên kodê hene ku meriv çawa modela Snowflake Arctic bikar tîne:

Bi Arktîkê re dest pê kirin

Naha ku me tiştê ku Arktîkê bi rastî serpêhatî dike vegirtiye, em bikevin nav ka çawa pêşdebir û zanyarên daneyê dikarin dest bi xebitandina vê modela hêzê bikin.
Li derveyî qutiyê, Arctic pêş-perwerdekirî heye û amade ye ku bi navendên modela sereke yên mîna Hugging Face û platformên AI-ê yên hevkar were bicîh kirin. Lê hêza wê ya rastîn dema ku meriv wê ji bo dozên karanîna weya taybetî xweş dike û xweş dike derdikeve holê.

Lîsansa Apache 2.0 ya Arctic azadîya bêkêmasî peyda dike ku hûn wê di serîlêdan, karûbar an karûbarên AI-ê yên xwerû de yek bikin. Ka em li çend mînakên kodê bi karanîna pirtûkxaneya transformatoran bimeşin da ku hûn dest pê bikin:
Encama bingehîn bi Arktîkê re

Ji bo dozên karanîna hilberîna nivîsê ya bilez, em dikarin Arktîkê bar bikin û encamên bingehîn pir bi hêsanî bimeşînin:

from transformers import AutoTokenizer, AutoModelForCausalLM
# Load the tokenizer and model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")
# Create a simple input and generate text
input_text = "Here is a basic question: What is the capital of France?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")
# Generate response with Arctic
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

Divê ev tiştek wekî derxe:

“Paytextê Fransa Parîs e. Parîs bajarê herî mezin ê Fransayê ye û navenda aborî, siyasî û çandî ya welêt e. Ew cîhê nîşanên navdar ên mîna Birca Eiffel, muzexaneya Louvre, û Katedrala Notre-Dame ye.

Wekî ku hûn dikarin bibînin, Arctic bêkêmasî pirsê fam dike û bersivek hûrgulî, zexm peyda dike ku kapasîteyên xwe yên têgihîştina zimanî yên zexm dike.

Ji bo Karên Pisporî verastkirin

Dema ku Arktîk li derveyî qutiyê bi heybet e, dema ku ji bo karên pispor li ser daneyên weya xwedaniyê têne xweş kirin û xweş têne çêkirin, bi rastî ronî dike. Snowflake reçeteyên berfireh pêşkêşî dike:

• Dabeşkirina daneyên perwerdehiya kalîteya bilind ku ji bo doza weya karanîna we hatî çêkirin
• Bicîhkirina qursên perwerdehiya pir-qonaxa xwerû
• Bikaranîna LoRA, P-Tuning an FactorizedFusion-ê bikêrhatî nêzîkatiyên baş-ahengê
• Optimîzasyonên ji bo têgihîştina SQL, kodkirin an jêhatîbûnên pargîdaniya sereke yên din

Li vir mînakek e ku meriv çawa Arktîkê li ser daneyên kodkirina xweya xwe bi karanîna şîretên LoRA û Snowflake-ê baş rast dike:

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training
# Load base Arctic model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)
# Initialize LoRA configs
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)
# Prepare model for LoRA finetuning
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)
# Your coding datasets
data = load_coding_datasets()
# Fine-tune with Snowflake's recipes
train(model, data, ...)

Ev kod diyar dike ku hûn çawa dikarin Arktîkê bi hêsanî bar bikin, mîhengek LoRA-ya ku ji bo hilberîna kodê hatî vesaz kirin dest pê bikin, û dûv re modela li ser daneyên kodên xwe yên xwedan rêberiya Snowflake-ê bi kar bînin, baş bikin.

Xweserkirî û birêkûpêk, Arctic dibe hêzek taybet a ku ji bo peydakirina performansa bêhempa li ser karûbarê pargîdaniya weya bingehîn û hewcedariyên beşdaran peyda dike.