Snowflake Arctic: Den banbrytande LLM för företags AI

Företag undersöker idag alltmer sätt att utnyttja stora språkmodeller (LLM) för att öka produktiviteten och skapa intelligenta applikationer. Men många av de tillgängliga LLM-alternativen är generiska modeller som inte är anpassade för specialiserade företagsbehov som dataanalys, kodning och uppgiftsautomatisering. Här kommer Snowflake Arctic – en toppmodernt LLM som är uttryckligen utformad och optimerad för kärnverksamhetsfall inom företag.

Utvecklad av Snowflakes AI-forskningsgrupp, driver Arctic gränserna för vad som är möjligt med effektiv utbildning, kostnadseffektivitet och en utan motstycke nivå av öppenhet. Denna revolutionerande modell utmärker sig vid viktiga företagsmål medan den kräver betydligt mindre beräkningskraft jämfört med befintliga LLM. Låt oss dyka in i vad som gör Arctic till en spelväxlare för företags AI.

Företagsintelligens omdefinierad I sin kärna är Arctic laserfokuserad på att leverera exceptionell prestanda på mått som verkligen betyder något för företag – kodning, SQL-frågor, komplex instruktionsföljelse och generering av grundade, faktabaserade utdata. Snowflake har kombinerat dessa kritiska funktioner i en ny “företagsintelligens“-mått.

Resultaten talar för sig själva. Arctic möter eller överträffar modeller som LLAMA 7B och LLAMA 70B på företagsintelligensmål medan den använder mindre än hälften av beräkningsbudgeten för utbildning. Förbluffande, trots att den använder 17 gånger färre beräkningsresurser än LLAMA 70B, uppnår Arctic lika bra resultat på specialiserade tester som kodning (HumanEval+, MBPP+), SQL-generering (Spider) och instruktionsföljelse (IFEval).

Men Arctics duglighet går utöver att bara klara företagsmål. Den upprätthåller en stark prestanda över allmän språkförståelse, resonemang och matematisk begåvning jämfört med modeller som tränats med exponentiellt högre beräkningsbudgetar som DBRX. Denna holistiska förmåga gör Arctic till ett obesegrat val för att hantera de olika AI-behoven inom ett företag.

Innovationen

Tät MoE-hybridtransformator Hur byggde Snowflakes team en så otroligt kapabel men effektiv LLM? Svaret ligger i Arctics banbrytande Tät Mixture-of-Experts (MoE) Hybrid Transformer-arkitektur.

Traditionella täta transformatormodeller blir alltmer dyra att träna när deras storlek ökar, med beräkningskrav som ökar linjärt. MoE-designen hjälper till att kringgå detta genom att använda flera parallella feed-forward-nätverk (experter) och endast aktivera en delmängd för varje inmatningstoken.

Men att bara använda en MoE-arkitektur räcker inte – Arctic kombinerar styrkorna hos både täta och MoE-komponenter på ett genialt sätt. Den parar en 10 miljarders parameter tät transformerencoder med en 128 expert residual MoE multi-lagperceptron (MLP)-lager. Denna tät-MoE-hybridmodell totalt 480 miljarder parametrar men endast 17 miljarder är aktiva vid varje given tidpunkt med top-2-gating.

Implikationerna är djupgående – Arctic uppnår en utan motstycke modellkvalitet och kapacitet samtidigt som den förblir anmärkningsvärt beräkningseffektiv under utbildning och inferens. Till exempel har Arctic 50% färre aktiva parametrar än modeller som DBRX under inferens.

Men modellarkitektur är bara en del av historien. Arctics excellens är kulminationen av flera banbrytande tekniker och insikter utvecklade av Snowflakes forskningsteam:

1. Företagsinriktad utbildningsdatakurriculum Genom omfattande experiment upptäckte teamet att generiska färdigheter som sunt förnuft borde läras tidigt, medan mer komplexa specialiseringar som kodning och SQL bäst förvärvades senare i utbildningsprocessen. Arctics datakurriculum följer en tre-stegs-ansats som imiterar mänskliga inlärningsprogressioner.

De första teratoken fokuserar på att bygga en bred allmän bas. De nästa 1,5 teratoken koncentrerar sig på att utveckla företagsspecifika färdigheter genom data anpassade för SQL, kodningsuppgifter och mer. De sista teratoken förfinar Arctics specialiseringar med hjälp av raffinerade datamängder.

2. Optimala arkitekturval Medan MoE lovar bättre kvalitet per beräkning, är valet av rätt konfigurationer avgörande men dåligt förstått. Genom detaljerad forskning landade Snowflake på en arkitektur som använder 128 experter med top-2-gating i varje lager efter att ha utvärderat kvalitets- och effektivitetshandel.

Att öka antalet experter ger fler kombinationer, vilket förbättrar modellkapaciteten. Men detta ökar också kommunikationskostnaderna, så Snowflake landade på 128 noggrant utformade “kondenserade” experter aktiverade via top-2-gating som den optimala balansen.

3. System-samdesign Men även en optimal modellarkitektur kan undermineras av systembottleneck. Så Snowflakes team innoverade även här – samdesignade modellarkitekturen hand-i-hand med den underliggande utbildnings- och inferenssystemet.

För effektiv utbildning strukturerades de täta och MoE-komponenterna för att möjliggöra överlappande kommunikation och beräkning, vilket döljer betydande kommunikationskostnader. På inferenssidan utnyttjade teamet NVIDIAs innovationer för att möjliggöra högeffektiv distribution trots Arctics skala.

Tekniker som FP8-kvantifiering tillåter att hela modellen placeras på en enda GPU-nod för interaktiv inferens. Större batchar engagerar Arctics parallellism över flera noder samtidigt som de förblir imponerande beräknings-effektiva tack vare deras kompakta 17 miljarder aktiva parametrar.

Med en Apache 2.0-licens är Arctics vikt och kod tillgängliga utan begränsningar för personligt, forsknings- eller kommersiellt bruk. Men Snowflake har gått mycket längre, genom att öppna källkoden för deras kompletta datarecept, modellimplementeringar, tips och de djupa forskningsinsikter som driver Arctic.

“Arctic Cookbook” är en omfattande kunskapsbas som täcker varje aspekt av att bygga och optimera en stor MoE-modell som Arctic. Den destillerar nyckellärande över datakällor, modellarkitekturdesign, system-samdesign, optimerade utbildnings-/inferensscheman och mer.

Från att identifiera optimala datakurriculum till att arkitektera MoE samtidigt som man samoptimerar kompilatorer, schemaläggare och maskinvara – denna omfattande kunskapsbas demokratiserar färdigheter som tidigare var begränsade till elit-AI-laboratorier. Arctic Cookbook accelererar inlärningskurvor och ger företag, forskare och utvecklare globalt möjlighet att skapa sina egna kostnadseffektiva, anpassade LLM för i princip vilket användningsfall som helst.

Komma igång med Arctic

För företag som är angelägna om att utnyttja Arctic, erbjuder Snowflake flera vägar för att komma igång snabbt:

Serverless Inferens: Snowflake-kunder kan komma åt Arctic-modellen gratis på Snowflake Cortex, företagets fullständigt hanterade AI-plattform. Utöver detta är Arctic tillgänglig på alla stora modellkataloger som AWS, Microsoft Azure, NVIDIA (NVDA ) och mer.

Starta från scratch: De öppna modellvikterna och implementeringarna tillåter utvecklare att direkt integrera Arctic i sina appar och tjänster. Arctic-repot innehåller kodexempel, distributionsguider, finjusteringsrecept och mer.

Bygg anpassade modeller: Tack vare Arctic Cookbooks uttömmande guider kan utvecklare bygga sina egna anpassade MoE-modeller från scratch, optimerade för vilket specialiserat användningsfall som helst, med hjälp av lärdomar från Arctics utveckling.

En ny era av öppen företags AI Arctic är mer än bara en kraftfull språkmodell – den inleder en ny era av öppen, kostnadseffektiv och specialiserad AI-förmåga, utformad specifikt för företag.

Från att revolutionera dataanalys och kodningsproduktivitet till att driva uppgiftsautomatisering och smartare applikationer, gör Arctics företagsförsta DNA den till ett obesegrat val jämfört med generiska LLM. Och genom att öppna källkoden inte bara för modellen utan för hela FoU-processen bakom den, främjar Snowflake en kultur av samarbete som kommer att höja hela AI-ekosystemet.

Medan företag alltmer omfamnar generativ AI, erbjuder Arctic en modig ritning för utveckling av modeller som är objektivt överlägsna för produktionsarbetsbelastningar och företagsmiljöer. Dess sammansmältning av banbrytande forskning, obesegrade effektivitet och en fast öppen etos sätter en ny standard för att demokratisera AI:s transformerande potential.

Här är ett avsnitt med kodexempel på hur man använder Snowflake Arctic-modellen:

Hands-On med Arctic

Nu när vi har täckt vad som gör Arctic till en verklig banbrytare, låt oss dyka in i hur utvecklare och dataforskare kan börja använda denna kraftfulla modell.
Ut ur lådan är Arctic tillgänglig föruttränad och redo att distribueras via stora modellhubbar som Hugging Face och partner-AI-plattformar. Men dess riktiga kraft framträder när den anpassas och finjusteras för specifika användningsfall.

Arctics Apache 2.0-licens ger full frihet att integrera den i dina appar, tjänster eller anpassade AI-arbetsflöden. Låt oss gå igenom några kodexempel med hjälp av transformers-biblioteket för att komma igång:

Grundläggande inferens med Arctic

För snabb textgenerering kan vi ladda Arctic och köra grundläggande inferens mycket enkelt:

<p>from transformers import AutoTokenizer, AutoModelForCausalLM</p>

<p># Ladda tokenisatorn och modellen
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")</p>

<p># Skapa en enkel inmatning och generera text
input_text = "Här är en grundläggande fråga: Vad är huvudstaden i Frankrike?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")</p>

<p># Generera svar med Arctic
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)</p>

print(generated_text)

Detta bör producera något i stil med:

“Huvudstaden i Frankrike är Paris. Paris är den största staden i Frankrike och landets ekonomiska, politiska och kulturella centrum. Det är hem för kända landmärken som Eiffeltornet, Louvren och Notre-Dame-katedralen.”

Som du kan se, förstår Arctic sökningen och ger en detaljerad, grundad svar med hjälp av sin robusta språkförståelse.

Fine-tuning för specialiserade uppgifter

Medan den är imponerande direkt ur lådan, lyser Arctic verkligen när den anpassas och finjusteras på din egen data för specialiserade uppgifter. Snowflake har tillhandahållit omfattande recept som täcker:

• Samla in högkvalitativ utbildningsdata anpassad för ditt användningsfall
• Implementera anpassade multi-stegs utbildningskurriculum
• Utnyttja effektiva LoRA, P-Tuning eller FactorizedFusion finjusteringsmetoder
• Optimiseringar för att urskilja SQL, kodning eller andra viktiga företagsspecifika färdigheter

Här är ett exempel på hur du kan finjustera Arctic på din egen kodningsdataset med LoRA och Snowflakes recept:

<p>from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training</p>

<p># Ladda bas-Arctic-modell
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)</p>

<p># Initiera LoRA-konfiguration
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)</p>

<p># Förbered modell för LoRA-finjustering
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)</p>

<p># Din kodningsdataset
data = load_coding_datasets()</p>

<p># Finjustera med Snowflakes recept
train(model, data, ...)</p>

Denna kod illustrerar hur du kan ladda Arctic, initiera en LoRA-konfiguration anpassad för kodgenerering och sedan finjustera modellen på din egen kodningsdataset med hjälp av Snowflakes vägledning.

Anpassad och finjusterad blir Arctic en privat kraftverk som är inställd på att leverera obesegrade prestanda på dina kärnverksamhetsflöden och intressenters behov.