Snowflake Arctic: Kärjistetty LLM Yritysten AI:lle

Yritykset tutkivat jatkuvasti keinoja hyödyntääksesi suuria kielen malleja tuottavuuden lisäämiseksi ja luodaksesi älykkäitä sovelluksia. Kuitenkin monet saatavilla olevista LLM-vaihtoehdoista ovat geneerisiä malleja, jotka eivät ole suunniteltu erityisesti yritysten tarpeisiin, kuten data-analyysiin, koodaukseen ja tehtävien automaatioon. Tässä Snowflake Arctic – malli, joka on suunniteltu ja optimoitu nimenomaan yritysten ydinkäyttötapauksia varten.

Snowflaken AI-tutkimusryhmän kehittämä Arctic vie eteenpäin sitä, mitä on mahdollista tehokkaan koulutuksen, kustannustehokkuuden ja poikkeuksellisen avoimuuden kanssa. Tämä vallankumouksellinen malli erottuu avainyritysbenchmarkeista vaatimalla huomattavasti vähemmän laskentatehoa verrattuna olemassa oleviin LLM-malleihin. Tutustumme nyt siihen, mikä tekee Arcticista pelinmuuttajan yritysten AI:lle.

Yritysälykkyys uudelleen määritelty Ytimessään Arctic on täysin keskittynyt toimittamaan poikkeuksellista suorituskykyä niillä mittareilla, jotka ovat todella tärkeitä yrityksille – koodaukselle, SQL-kyselyille, monimutkaisille ohjeiden seuraamiselle ja perustuu tosiasiallisiin, faktapohjaisiin tuloksiin. Snowflake on yhdistänyt nämä kriittiset kyvyt uuteen “yritysälykkyys”-mittariin.

Tulokset puhuvat itsestään. Arctic vastaa tai ylittää malleja kuten LLAMA 7B ja LLAMA 70B yritysälykkyysmittareilla käyttäen vähemmän kuin puolet laskentabudjetista koulutukseen. Huomattavasti, vaikka se käyttää 17 kertaa vähemmän laskentaresursseja kuin LLAMA 70B, Arctic saavuttaa vertailukelpoisuuden erikoistuneissa testeissä kuten koodauksessa (HumanEval+, MBPP+), SQL-generoinnissa (Spider) ja ohjeiden seuraamisessa (IFEval).

Mutta Arcticin voima ulottuu pidemmälle kuin vain yritysbenchmarkien suorittaminen. Se ylläpitää vahvaa suorituskykyä yleisen kielen ymmärtämisessä, päättelyssä ja matemaattisessa taidossa verrattuna malleihin, jotka on koulutettu eksponentiaalisesti suuremmilla laskentabudjeteilla, kuten DBRX. Tämä holistinen kyky tekee Arcticista voittamattoman valinnan ratkaisemaan yritysten moninaiset AI-tarpeet.

Innovaatio

Tiivis-MoE-Hybriditransformer Kuinka Snowflaken tiimi rakensi näin äärimmäisen kykyisen ja tehokkaan LLM-mallin? Vastaus piilee Arcticin uraauurtavassa Dense Mixture-of-Experts (MoE) Hybriditransformer-arkkitehtuurissa.

Perinteiset tiivis transformer-mallit tulevat yhä kalliimmaksi kouluttaa, kun niiden koko kasvaa, ja laskentavaatimukset kasvavat lineaarisesti. MoE-suunnittelu auttaa kiertämään tämän käyttämällä useita rinnakkaisia eteenpäin syötettäviä verkkoja (asiantuntijoita) ja aktivoimalla vain osan jokaiselle syötteelle.

Mutta yksinkertaisesti MoE-arkkitehtuurin käyttäminen ei riitä – Arctic yhdistää tiivisten ja MoE-komponenttien vahvuudet älykkäästi. Se parittaa 10 miljardin parametrin tiivisen transformer-encoderin 128 asiantuntija-residuaalisen MoE-monikerrosmallin (MLP) kerroksen kanssa. Tämä tiivis-MoE-hybridimalli käsittää yhteensä 480 miljardia parametriä, mutta vain 17 miljardia niistä on aktiivisia kerran käytettynä ylä-2-portilla.

Vaikutukset ovat syvät – Arctic saavuttaa ennennäkemättömän mallin laadun ja kapasiteetin ollessaan hämmästyttävän laskentatehokas koulutuksen ja inference-ajan aikana. Esimerkiksi Arcticilla on 50 % vähemmän aktiivisia parametreja kuin malleilla kuten DBRX inference-ajan aikana.

Mutta mallin arkkitehtuuri on vain yksi osa tarinaa. Arcticin erinomaisuus on useiden uraauurtavien tekniikoiden ja oivallusten kokoelma, jotka Snowflaken tutkimusryhmä on kehittänyt:

1. Yritysten koulutusdatakurssi Laajan kokeilun kautta tiimi löysi, että geneeriset taidot kuten yleinen päättely tulisi opettaa aikaisin, kun taas monimutkaisemmat erikoistumiset kuten koodaus ja SQL tulisi hankkia myöhemmin koulutusprosessissa. Arcticin datakurssi noudattaa kolmevaiheista lähestymistapaa, joka jäljittelee ihmisen oppimisen edistymistä.

Ensimmäiset teratokset keskittyvät laajan yleisen perustan rakentamiseen. Seuraavat 1,5 teratokset keskittyvät kehittämään yritysten taitoja datan kautta, joka on suunniteltu SQL:lle, koodaustehtäville ja muille. Viimeiset teratokset viimeistelevät Arcticin erikoistumiset hienostuneilla tietojoukoilla.

2. Optimaaliset arkkitehtuurivalinnat Vaikka MoE:t lupaavat parempaa laatua laskentatehokkuuden suhteen, oikeiden konfiguraatioiden valinta on ratkaiseva, mutta huonosti ymmärretty. Yksityiskohtaisen tutkimuksen kautta Snowflake päätyi arkkitehtuuriin, jossa on 128 asiantuntijaa ylä-2-portilla jokaisessa kerroksessa arvioituja laatu- ja tehokkuusvaihtoehtoja.

Asiantuntijoiden määrän lisääminen tarjoaa enemmän yhdistelmiä, parantaen mallin kapasiteettia. Mutta se myös lisää viestintäkustannuksia, joten Snowflake päätyi 128 tarkkaan suunniteltuun “tiivistettyyn” asiantuntijaan, joka aktivoitiin ylä-2-portilla, optimaaliseen tasapainoon.

3. Järjestelmän yhteensuunnittelu Mutta jopa optimaalinen mallin arkkitehtuuri voidaan heikentää järjestelmän pullonkauloilla. Snowflaken tiimi innovoi myös tässä – suunnitellen mallin arkkitehtuurin käsi kädessä alustavan koulutus- ja inference-järjestelmän kanssa.

Tehokkaan koulutuksen osalta tiivis- ja MoE-komponentit rakennettiin mahdollistamaan laskennan ja viestinnän limitys, piilottamalla merkittäviä viestintäkustannuksia. Inference-puolella tiimi hyödynsi Nvidian innovaatioita mahdollistaakseen erittäin tehokkaan käytön mallin mittaan huolimatta.

Tekniikat kuten FP8-kvantifiointi sallivat koko mallin sijoittamisen yhdelle GPU-solmulle interaktiiviseen inferenceen. Suuremmat erät käyttävät Arcticin rinnakkaisuuden kykyjä useiden solmujen yli, pysyen hämmästyttävän laskentatehokkaana kiitoksessa sen 17 miljardin aktiivisen parametrin ansiosta.

Apache 2.0 -lisenssin ansiosta Arcticin painot ja koodi ovat saatavilla avoimina henkilökohtaiseen, tutkimukseen tai kaupalliseen käyttöön. Mutta Snowflake on mennyt paljon pidemmälle, avaamalla koko datareseptinsä, mallin toteutukset, vinkit ja syvät tutkimusnäkymät, jotka voimassa Arctic.

“Arctic Cookbook” on kattava tietopohja, joka kattaa jokaisen suuren MoE-mallin, kuten Arcticin, rakentamiseen ja optimointiin liittyvän asian. Se tiivistää avainopetuksia datalähteiden, mallin arkkitehtuurin suunnittelun, järjestelmän yhteensuunnittelun, optimoiden koulutus- ja inference-kaavojen ja enemmän.

Optimaalisten datakurssien tunnistamisesta MoE:iden arkkitehtuuriin ja yhteensuunnitteluun kääntäjien, aikataulujen ja laitteiston kanssa – tämä laaja tietopohja demokratisoi taitoja, jotka aiemmin olivat rajoitettu eliittisten AI-laboratorioiden piiriin. Arctic Cookbook kiihdyttää oppimiskäyriä ja valtuuttaa liiketoimintaa, tutkijoita ja kehittäjiä maailmanlaajuisesti luomaan omat kustannustehokkaat, räätälöidyt LLM-mallinsa melkein mihin tahansa käyttöön.

Alkuun pääseminen Arcticilla

Yrityksille, jotka haluavat hyödyntää Arcticia, Snowflake tarjoaa useita polkuja nopeaan käyttöönottoon:

Palveluton inference: Snowflaken asiakkaat voivat käyttää Arctic-mallia ilmaiseksi Snowflake Cortexissa, yrityksen täysin hallitussa AI-alustassa. Lisäksi Arctic on saatavilla kaikilla suurilla mallikatalogeilla, kuten AWS, Microsoft Azure, NVIDIA (NVDA ) ja useat muut.

Aloita alusta: Avoimen lähdekoodin mallipainot ja toteutukset sallivat kehittäjien suoraan integroida Arcticin sovelluksiin ja palveluihin. Arctic-repo sisältää koodiesimerkit, käyttöönotto-ohjeet, hienosäätöreseptejä ja enemmän.

Rakenna mukautettuja malleja: Kiitos Arctic Cookbookin kattavien ohjeiden, kehittäjät voivat luoda omat mukautetut MoE-mallinsa alusta alkaen minkä tahansa erikoistuneen käyttötapausten optimointiin käyttäen Arcticin kehittämiseen liittyviä oppeja.

Uusi aikakausi avoimelle yritys-AI:lle Arctic on enemmän kuin vain voimakas kielen malli – se merkitsee uuden aikakauden avoimille, kustannustehokkaille ja erikoistuneille AI-kyvyille, jotka on suunniteltu nimenomaan yrityksille.

Data-analytiikan vallankumouksesta koodaus tuottavuuden parantamiseen, tehtävien automaatioon ja älykkäiden sovellusten voimakkaampaan, Arcticin yritysten ensisijainen DNA tekee siitä voittamattoman valinnan geneeristen LLM-mallien sijaan. Ja avaamalla ei vain mallin vaan koko R&D-prosessin taustalla, Snowflake edistää yhteistyön kulttuuria, joka kohottaa koko AI-ekosysteemiä.

Kun yritykset omaksuvat yhä enemmän generatiivista AI:ta, Arctic tarjoaa rohkean suunnitelman kehittääksesi malleja, jotka ovat objektiivisesti parempia tuotantokuormituksille ja yritysympäristöille. Sen yhdistelmä uraauurtavaa tutkimusta, vertaansa vailla olevaa tehokkuutta ja vankkaa avoimuuden etosta asettaa uuden standardin democratisoimalla AI:n muuntavan potentiaalin.

Tässä on koodiesimerkki Snowflaken Arctic-mallin käytöstä:

Käytännössä Arcticilla

Nyt kun olemme kertoneet, mikä tekee Arcticista todella uraauurtavan, tutustumme siihen, miten kehittäjät ja data-tieteilijät voivat aloittaa tämän voimallisen mallin käytön.
Valmiina Arctic on saatavilla esikoulutettuna ja valmiina käyttöön johtavien mallihubien ja kumppani-AI-alustojen kautta. Mutta sen todellinen voima ilmenee, kun se on mukautettu ja hienosäädettä erityisiin käyttötapauksiin.

Arcticin Apache 2.0 -lisenssi tarjoaa täydellisen vapauden integroida se sovelluksiin, palveluihin tai mukautettuihin AI-työkulkuihin. Käydään läpi joitain koodiesimerkkejä transformers-kirjastoa käyttäen, jotta pääset alkuun:

Perusinference Arcticilla

Nopeiden tekstinluontitapauksille voimme ladata Arcticin ja suorittaa perusinferenceä hyvin helposti:

<p>from transformers import AutoTokenizer, AutoModelForCausalLM</p>

<p># Lataa tokenizer ja malli
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")</p>

<p># Luo yksinkertainen syöte ja luo teksti
input_text = "Tässä on peruskysymys: Mikä on Ranskan pääkaupunki?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")</p>

<p># Luo vastaus Arcticilla
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)</p>

print(generated_text)

Tämä tulostaa jotain tällaista:

“Ranskan pääkaupunki on Pariisi. Pariisi on Ranskan suurin kaupunki ja maan taloudellinen, poliittinen ja kulttuurinen keskus. Se on kuuluisa maamerkeistä kuten Eiffel-torni, Louvren museo ja Notre-Damen katedraali.”

Kuten näette, Arctic ymmärtää kysymyksen ja tarjoaa yksityiskohtaisen, perustuvan vastauksen hyödyntäen vahvaa kielen ymmärtämiskykyään.

Hienosäätö erikoistuneisiin tehtäviin

Vaikka Arctic on vaikuttava valmiina, se loistaa todella, kun se on mukautettu ja hienosäädettä erityisiin käyttötapauksiin. Snowflake on tarjonnut laajat reseptit, jotka kattavat:

• Laadukkaiden koulutusdatan kuratointi, joka on räätälöity käyttötapaukseen
• Mukautettujen monivaiheisten koulutusohjelmien toteuttaminen
• LoRA-, P-Tuning- tai FactorizedFusion-hienosäätölähestymistapojen hyödyntäminen
• Optimoinnit, jotka ovat tarkoitettu erottamaan SQL, koodaus tai muut avainyritystaidot

Tässä on esimerkki siitä, miten voit hienosäätää Arcticin omilla koodausaineistolla LoRA:lla ja Snowflaken resepteillä:

<p>from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training</p>

<p># Lataa perus-Arctic-malli
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)</p>

<p># Määritä LoRA-konfiguraatio
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)</p>

<p># Valmistele malli LoRA-hienosäätöä varten
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)</p>

<p># Käytä omia koodausaineistoja
data = lataa_koodausaineistot()</p>

<p># Hienosäädä malli Snowflaken resepteillä
kouluta(model, data, ...)</p>

Tämä koodi osoittaa, miten voit ladata Arcticin, alustaa LoRA-konfiguraation koodaukseen ja hienosäätää mallia omilla koodausaineistoilla Snowflaken ohjeiden mukaisesti.

Arcticin nopea innovaatiokyky

Yksi Arcticin vaikuttavimmista puolista on se, kuinka nopeasti Snowflaken AI-tutkimusryhmä suunnitteli, kehitti ja julkaisi tämän uraauurtavan mallin maailmalle. Koko Arctic-projekti kesti vähemmän kuin kolme kuukautta ja käytti vain noin kahdeksasosan laskentabudjetista, joka on tyypillinen suurten LLM-mallien koulutukseen.

Tämä kyky nopeaan iterointiin, innovointiin ja valmiiden AI-tutkimusten tuotteistamiseen on todella merkittävä. Se osoittaa Snowflaken syvät tekniset kyvyt ja asemaa jatkuvasti kehittääkseen uusia, yritysten tarpeisiin optimoituja AI-kykyjä.

Arcticin perhe ja upotukset

Arctic on vain alkua Snowflaken yritys-LKM-avauksille. Yritys on jo avaamassa Snowflake Arctic Embed -perheen, joka koostuu teollisuuden johtavista tekstiupotusmalleista, jotka on optimoitu hakuväylän suorituskyvyn eri kokoissa.

Kuten alla osoitetaan, Arctic Embed -mallit saavuttavat huipputason hakuväylän tarkin MTEB (tekstin hakeminen) -mittarin, ylittäen muita johtavia upotusmalleja, mukaan lukien suljettuja tarjouksia suurten teknologiayritysten toimesta.

[Lisää kuva, joka näyttää MTEB-hakuväylän tulokset Arctic Embed -malleille]

Nämä upotusmallit täydentävät Arctic LKM:ää ja mahdollistavat yritysten rakentaa voimakkaita kysymys-vastaus- ja hakuväylän lisäksi luontitapauksia integroidusta avoimesta pinosta.

Mutta Snowflaken tiekartta ulottuu paljon laajemmalle kuin vain Arctic ja upotukset. Yrityksen AI-tutkijat työskentelevät laajentamassa Arcticin perhettä uusilla malleilla, jotka on suunniteltu monimodaalisille tehtäville, puheelle, videolle ja enemmän eturintamakyvyille – kaikki rakennetaan samojen erikoistumisen, tehokkuuden ja avoimuuden periaatteiden mukaan.

Kumppanuudet avoimen AI-ekosysteemin luomiseksi Snowflake ymmärtää, että avoimien, yritysten luokan AI:n täysimäisen potentiaalin toteuttaminen edellyttää rikkaan yhteistyön kulttuuria AI-yhteisön ympärillä. Arcticin julkaisu on jo kiihdyttänyt yhteistyötä suurten alustojen ja toimijoiden kanssa:

NVIDIA on tiiviisti yhteistyössä Snowflaken kanssa optimoidakseen Arcticin tehokkaaseen käyttöön Nvidian uraauurtavan AI-inference-pinoja, mukaan lukien TensorRT, Triton ja enemmän. Tämä mahdollistaa yritysten tarjoamisen Arcticia kustannustehokkaasti.

Hugging Face, johtava avoin mallihubi, on ottanut Arcticin kirjastoihinsa ja mallin varastoihin. Tämä mahdollistaa Arcticin helpon integroinnin olemassa oleviin Hugging Face -pohjaisiin AI-työkulkuihin ja sovelluksiin.

Alustat kuten Replicate, SageMaker ja useat muut ovat siirtyneet nopeasti tarjoamaan isäntädemot, API:t ja sulautettuja integraatiopolkua Arcticille, kiihdyttäen sen omaksumista.

Avoin lähdekoodi ohjasi Arcticin kehittämisen, ja avoimet ekosysteemit pysyvät keskeisinä sen evoluutiossa. Snowflake on sitoutunut edistämään rikkaan yhteistyön kulttuuria tutkijoiden, kehittäjien, kumppanien ja yritysten kanssa maailmanlaajuisesti työskennelläkseen avoimien, erikoistuneiden AI-mallien mahdollisuuksien rajoja.