Snøflakke Arktis: Den nyeste LLM for bedrifts AI

Bedrifter utforsker i økende grad måter å utnytte store språkmodeller (LLM) for å øke produktiviteten og skape intelligente applikasjoner. Imidlertid er mange av de tilgjengelige LLM-variantene generiske modeller som ikke er tilpasset spesialiserte bedriftsbehov som dataanalyse, kode og oppgaveautomatisering. Enter Snowflake Arktis – en nyeste LLM som er særlig utformet og optimalisert for kjernebedriftsbruk.

Utviklet av Snowflakes AI-forskningsgruppe, Arktis utvider grensene for hva som er mulig med effektiv trening, kostnadseffektivitet og en utenkelig åpenhet. Denne revolusjonerende modellen utmerker seg i nøkkelbedriftsbenchmarks mens den krever mye mindre beregningskraft sammenlignet med eksisterende LLM-er. La oss dykke ned i hva som gjør Arktis til en spillendrer for bedrifts AI.

Bedriftsintelligens omdefinert I sin kjernel er Arktis fokusert på å levere eksepsjonell ytelse på målinger som virkelig betyr noe for bedrifter – kode, SQL-spørring, kompleks instruksjonsfølging og produksjon av grunnede, faktabaserte utdata. Snowflake har kombinerer disse kritiske evnene i en ny “bedriftsintelligens“-måling.

Resultatene taler for seg selv. Arktis møter eller overgår modeller som LLAMA 7B og LLAMA 70B på bedriftsintelligensbenchmarks mens den bruker mindre enn halvparten av beregningsbudsjettet for trening. Merkelig nok, til tross for å bruke 17 ganger færre beregningsressurser enn LLAMA 70B, oppnår Arktis likhet på spesialiserte tester som kode (HumanEval+, MBPP+), SQL-generering (Spider) og instruksjonsfølging (IFEval).

Men Arktis’ dyktighet går langt utenfor å bare bestå bedriftsbenchmarks. Den opprettholder sterk ytelse på tvers av generell språkforståelse, resonnering og matematisk dyktighet sammenlignet med modeller trenet med eksponentielt høyere beregningsbudsjett som DBRX. Denne holistiske evnen gjør Arktis til et ubestridt valg for å takle de mangfoldige AI-behovene til en bedrift.

Innovasjonen

Tett-MoE Hybrid Transformer Hvordan bygde Snowflakes team en så usedvanlig kapabel og effektiv LLM? Svaret ligger i Arktis’ nyeste Dense Mixture-of-Experts (MoE) Hybrid Transformer-arkitektur.

Tradisjonelle tette transformermodeller blir stadig mer kostbare å trene når størrelsen øker, med økende beregningskrav. MoE-designet hjelper med å unngå dette ved å bruke flere parallele feed-forward nettverk (eksperter) og bare aktivere en undergruppe for hver inndata-token.

Men å bare bruke en MoE-arkitektur er ikke nok – Arktis kombinerer styrkene til både tette og MoE-komponenter på en genial måte. Den parer en 10 milliarder parameter tett transformer-encoder med en 128 ekspert residual MoE multi-lag perceptron (MLP)-lag. Denne tette-MoE hybridmodellen totalt 480 milliarder parametre, men bare 17 milliarder er aktive på et gitt tidspunkt ved hjelp av top-2-gating.

Implikasjonene er dyptgående – Arktis oppnår utenkelig modellkvalitet og kapasitet mens den forblir merkelig beregnings-effektiv under trening og inferens. For eksempel har Arktis 50% færre aktive parametre enn modeller som DBRX under inferens.

Men modellarkitektur er bare en del av historien. Arktis’ excellens er kulminasjonen av flere banebrytende tekniker og innsikter utviklet av Snowflakes forskningsgruppe:

1. Bedrifts-fokusert treningdata-kurriculum Gjennom omfattende eksperimentering, oppdaget teamet at generiske ferdigheter som sunn fornuft bør læres tidlig, mens mer komplekse spesialiseringer som kode og SQL er best å tilegne seg senere i treningsprosessen. Arktis’ data-kurriculum følger en tre-stegs-tilnærming som etterligner menneskelige læringsprogresjoner.

De første teratokene fokuserer på å bygge en bred generell base. De neste 1,5 teratokene konsentrerer seg om å utvikle bedriftsferdigheter gjennom data tilpasset SQL, kodeoppgaver og mer. De siste teratokene refinerer Arktis’ spesialiseringer ved hjelp av raffinerte datasett.

2. Optimale arkitekturvalg Mens MoEer lover bedre kvalitet per beregning, er det avgjørende å velge riktige konfigurasjoner, men dette er dårlig forstått. Gjennom detaljert forskning, landet Snowflake på en arkitektur som benytter 128 eksperter med top-2-gating hver lag etter å ha evaluert kvalitetseffektivitets-avveininger.

Økning av antall eksperter gir flere kombinasjoner, og forbedrer modellkapasiteten. Imidlertid øker dette også kommunikasjonskostnadene, så Snowflake landet på 128 nøye designet “kondenserte” eksperter aktiverer via top-2-gating som det optimale balansen.

3. System-sammen-designing Men selv en optimal modellarkitektur kan bli underminert av systems-bottlenecks. Så Snowflakes team innoverte også her – sammen-designet modellarkitekturen hånd-i-hånd med de underliggende trenings- og inferens-systemene.

For effektiv trening, ble de tette og MoE-komponentene strukturert for å muliggjøre overlappende kommunikasjon og beregning, og skjuler betydelige kommunikasjons-overhoder. På inferens-siden, utnyttet teamet NVIDIAs innovasjoner for å muliggjøre høyt effektivt deployement til tross for Arktis’ skala.

Teknikker som FP8-kvantifisering tillater å plassere hele modellen på en enkelt GPU-node for interaktiv inferens. Større batcher engasjerer Arktis’ parallell-kapasiteter på flere noder mens de forblir imponerende beregnings-effektive takket være sin kompakte 17B aktive parametre.

Med en Apache 2.0-lisens, er Arktis’ vekter og kode tilgjengelig uten porter for personlig, forsknings- eller kommersiell bruk. Men Snowflake har gått mye lenger, åpnet kildekoden for deres komplette data-resepter, modell-implementeringer, tips og de dype forskningsinnsiktene som driver Arktis.

“Arktis-kokeboken” er en omfattende kunnskapsbase som dekker hver eneste aspekt av å bygge og optimalisere en stor-skala MoE-modell som Arktis. Den destillerer nøkkel-lærdommer på tvers av data-kilder, modell-arkitektur-design, system-sammen-design, optimalisert trenings-/inferens-scheme og mer.

Fra å identifisere optimale data-kurriculum til å arkitektere MoEer samtidig som kompilatorer, planleggere og maskinvare sam-optimiseres – denne omfattende kunnskapsbasen demokratiserer ferdigheter som tidligere var begrenset til elite-AI-laboratorier. Arktis-kokeboken akselererer læringskurver og befaler bedrifter, forskere og utviklere globalt til å skape deres egne kostnadseffektive, tilpassede LLM-er for nesten hver eneste brukssak.

Komme i gang med Arktis

For selskaper som er ivrige etter å utnytte Arktis, tilbyr Snowflake flere veier for å komme i gang raskt:

Serverless Inferens: Snowflakes kunder kan få tilgang til Arktis-modellen gratis på Snowflake Cortex, selskapets fullstendig ledet AI-plattform. Ut over det, er Arktis tilgjengelig på alle større modell-kataloger som AWS, Microsoft Azure, NVIDIA og mer.

Start fra scratch: Den åpne kildekoden for modell-vekter og implementeringer tillater utviklere å integrere Arktis direkte i deres apper og tjenester. Arktis-repoen tilbyr kode-eksempler, deploy-tutorier, finjusterings-resepter og mer.

Bygg tilpassede modeller: Takket være Arktis-kokebokens uttømmelige resepter, kan utviklere bygge deres egne tilpassede MoE-modeller fra scratch, optimalisert for hver eneste spesialisert brukssak, ved hjelp av lærdommer fra Arktis’ utvikling.

En ny æra for åpen bedrifts AI Arktis er mer enn bare en annen kraftig språkmodell – det innleder en ny æra for åpen, kostnadseffektiv og spesialisert AI-kapasiteter som er tilpasset bedrifter.

Fra å revolusjonere data-analyse og kodeproduktivitet til å drive oppgaveautomatisering og smartere applikasjoner, gjør Arktis’ bedrifts-først-DNA den til et ubestridt valg over generiske LLM-er. Og ved å åpne kildekoden ikke bare modellen, men hele FoU-prosessen bak det, fremmer Snowflake en kultur for samarbeid som vil heve hele AI-økosystemet.

Ettersom bedrifter stadig oftere omfavner generativ AI, tilbyr Arktis en dristig blåkopi for å utvikle modeller som er objektivt overlegne for produksjonsarbeid og bedriftsmiljøer. Dens sammenføyning av nyeste forskning, ubetydelig effektivitet og en urokkelig åpen etos setter en ny standard for å demokratisere AI’s transformative potensiale.