Snaigė Arctic: pažangiausias verslo intelekto verslui skirtas LLM

Įmonės šiandien vis dažniau tiria būdus, kaip panaudoti didelių kalbų modelius (LLM), kad padidintų produktyvumą ir sukurtų pažangias programas. Tačiau daugelis galimų LLM parinkčių yra bendrieji modeliai, nepritaikyti specializuotiems įmonės poreikiams, pvz., duomenų analizei, kodavimui ir užduočių automatizavimui. Įeikite Arkties snaigė – moderniausias LLM, tikslingai sukurtas ir optimizuotas pagrindiniams įmonės naudojimo atvejams.

„Snowflake“ dirbtinio intelekto tyrimų komandos sukurtas „Arctic“ peržengia ribas, kas įmanoma dėl efektyvaus mokymo, ekonomiškumo ir neprilygstamo atvirumo lygio. Šis revoliucinis modelis puikiai atitinka pagrindinius įmonės etalonus ir reikalauja daug mažesnės skaičiavimo galios, palyginti su esamais LLM. Pasinerkime į tai, kas daro Arktį pakeitusiu verslo AI žaidimą.

Iš naujo apibrėžtas įmonės intelektas Iš esmės Arctic lazeriu orientuojasi į išskirtinį metrikos, kuri iš tikrųjų svarbi įmonėms, našumą – kodavimą, SQL užklausas, sudėtingų nurodymų vykdymą ir pagrįstų faktais pagrįstų rezultatų kūrimą. Snaigė sujungė šias svarbias galimybes į romaną “įmonės žvalgyba“ metrika.

Rezultatai kalba patys už save. „Arctic“ atitinka arba pranoksta tokius modelius kaip LLAMA 7B ir LLAMA 70B pagal įmonės žvalgybos etalonus, o mokymams sunaudoja mažiau nei pusę skaičiavimo biudžeto. Nepaprastai, nepaisant naudojimo 17 kartų mažiau skaičiavimo išteklių nei LLAMA 70B, Arctic pasiekia lygiavertiškumą atliekant specializuotus testus, tokius kaip kodavimas (HumanEval+, MBPP+), SQL generavimas (Spider) ir instrukcijų sekimas (IFEval).

Tačiau Arkties meistriškumas neapsiriboja tik puikių įmonių etalonais. Palyginti su modeliais, parengtais naudojant eksponentiškai didesnį skaičiavimo biudžetą, pvz., DBRX, jis palaiko gerą bendrąjį kalbos supratimą, samprotavimą ir matematinius gebėjimus. Dėl šios holistinės galimybės Arctic yra neprilygstamas pasirinkimas tenkinant įvairius įmonės AI poreikius.

Inovacija

„Dense-MoE“ hibridinis transformatorius Taigi kaip „Snowflake“ komanda sukūrė tokį neįtikėtinai galingą, bet efektyvų LLM? Atsakymas slypi pažangiausioje „Arctic“ tankaus ekspertų mišinio (MoE) hibridinio transformatoriaus architektūroje.

Didėjant jų dydžiui, tradicinių tankių transformatorių modelių mokymas tampa vis brangesnis, o skaičiavimo reikalavimai didėja tiesiškai. MoE dizainas padeda tai apeiti naudojant kelis lygiagrečius perdavimo tinklus (ekspertus) ir suaktyvinant tik kiekvieno įvesties prieigos rakto pogrupį.

Tačiau vien tik MoE architektūros naudojimo neužtenka – „Arctic“ išradingai sujungia tiek tankių, tiek MoE komponentų stipriąsias puses. Jis suporuoja 10 milijardų parametrų tankų transformatorių kodavimo įrenginį su 128 ekspertų likutiniu MoE daugiasluoksniu perceptronu (MLP) sluoksniu. Šiame tankiame MoE hibridiniame modelyje iš viso yra 480 milijardų parametrų, tačiau tik 17 milijardų yra aktyvūs bet kuriuo metu naudojant top-2 blokavimą.

Pasekmės yra didžiulės – „Arctic“ pasiekia precedento neturinčią modelio kokybę ir pajėgumą, o treniruočių ir išvadų metu išlieka nepaprastai efektyvus skaičiavimas. Pavyzdžiui, Arctic turi 50 % mažiau aktyvių parametrų nei modeliai, tokie kaip DBRX, atliekant išvadas.

Tačiau modelių architektūra yra tik viena istorijos dalis. Arkties meistriškumas yra kelių novatoriškų metodų ir įžvalgų, sukurtų Snowflake tyrimų komandos, kulminacija:

1. Į įmonę orientuota mokymo duomenų mokymo programa Atlikdama išsamius eksperimentus, komanda išsiaiškino, kad bendrųjų įgūdžių, pvz., sveiko proto samprotavimo, reikia išmokti anksti, o sudėtingesnes specializacijas, tokias kaip kodavimas ir SQL, geriausia įgyti vėliau mokymo procese. Arkties duomenų mokymo programoje laikomasi trijų etapų metodo, imituojančio žmogaus mokymosi progresą.

Pirmieji teratokenai skirti kurti plačią bendrą bazę. Kituose 1.5 teratokenuose daugiausia dėmesio skiriama įmonės įgūdžių ugdymui naudojant SQL pritaikytus duomenis, kodavimo užduotis ir kt. Galutiniai teratokenai toliau tobulina Arkties specializacijas naudodami patobulintus duomenų rinkinius.

2. Optimalūs architektūriniai pasirinkimai Nors ŪM žada geresnę skaičiavimo kokybę, tinkamų konfigūracijų pasirinkimas yra labai svarbus, tačiau menkai suprantamas. Atlikus išsamų tyrimą, „Snowflake“ atsidūrė architektūroje, kurioje dirba 128 ekspertai, kurie, įvertinę kokybės ir efektyvumo kompromisus, atsižvelgia į kiekvieną sluoksnį.

Didėjant ekspertų skaičiui, atsiranda daugiau derinių, padidinamas modelio pajėgumas. Tačiau tai taip pat padidina ryšio išlaidas, todėl „Snowflake“ atsidūrė 128 kruopščiai suprojektuotuose „sutrumpintuose“ ekspertuose, kurie buvo suaktyvinti per „top-2“ vartus kaip optimalų balansą.

3. Sistemos bendras projektavimas Tačiau net ir optimalią modelio architektūrą gali pakenkti sistemos kliūtys. Taigi „Snowflake“ komanda čia taip pat ėmėsi naujovių – kartu sukūrė modelio architektūrą kartu su pagrindinėmis mokymo ir išvadų sistemomis.

Siekiant efektyvaus mokymo, tankūs ir MoE komponentai buvo sukurti taip, kad būtų galima persidengti ryšį ir atlikti skaičiavimus, slepiant dideles komunikacijos išlaidas. Kalbant apie išvadą, komanda pasinaudojo NVIDIA naujovėmis, kad būtų galima labai efektyviai įdiegti, nepaisant Arkties masto.

Tokios technologijos kaip FP8 kvantavimas leidžia pritaikyti visą modelį viename GPU mazge, kad būtų galima daryti interaktyvias išvadas. Didesnės partijos naudoja Arctic lygiagretumo galimybes keliuose mazguose, o dėl kompaktiškų 17B aktyvių parametrų išliks įspūdingai efektyvus skaičiavimas.

Turint „Apache 2.0“ licenciją, „Arctic“ svoriai ir kodas yra prieinami be vartų bet kokiam asmeniniam, tyrimų ar komerciniam naudojimui. Tačiau „Snowflake“ nuėjo kur kas toliau – atvirojo šaltinio šaltiniai pateikia visus duomenų receptus, modelių diegimus, patarimus ir gilias Arkties tyrimų įžvalgas.

"Arkties kulinarijos knyga“ – tai išsami žinių bazė, apimanti visus tokio didelio masto AM modelio, kaip Arctic, kūrimo ir optimizavimo aspektus. Jis distiliuoja pagrindines žinias apie duomenų šaltinį, modelio architektūros kūrimą, bendrą sistemos projektavimą, optimizuotas mokymo / išvadų schemas ir kt.

Nuo optimalių duomenų mokymo programų nustatymo iki Vidaus reikalų ministerijų kūrimo kartu optimizuojant kompiliatorius, planuoklius ir aparatinę įrangą – šis platus žinių rinkinys demokratizuoja įgūdžius, kurie anksčiau apsiribojo elitinėmis AI laboratorijomis. „Arctic Cookbook“ pagreitina mokymosi kreives ir suteikia įmonėms, tyrėjams ir kūrėjams visame pasaulyje galimybę sukurti savo ekonomiškai efektyvius, pritaikytus LLM praktiškai bet kokiam naudojimo atvejui.

Darbo su Arktika pradžia

Įmonėms, norinčioms pasinaudoti Arkties regionu, „Snowflake“ siūlo keletą būdų, kaip greitai pradėti:

Išvada be serverio: „Snowflake“ klientai gali nemokamai pasiekti „Arctic“ modelį „Snowflake Cortex“, įmonės visiškai valdomoje AI platformoje. Be to, Arctic galima įsigyti visuose pagrindiniuose modelių kataloguose, tokiuose kaip AWS, Microsoft Azure, NVIDIA ir kt.

Pradėkite nuo nulio: atvirojo kodo modelių svoriai ir diegimai leidžia kūrėjams tiesiogiai integruoti Arctic į savo programas ir paslaugas. „Arctic Repo“ pateikia kodo pavyzdžius, diegimo vadovėlius, patikslinimo receptus ir dar daugiau.

Sukurkite pasirinktinius modelius: „Arctic Cookbook“ išsamių vadovų dėka kūrėjai gali nuo nulio kurti savo pasirinktinius MoE modelius, optimizuotus bet kokiam specializuotam naudojimui, naudodamiesi „Arctic“ kūrimo patirtimi.

Nauja atviros įmonės AI Arctic era yra daugiau nei dar vienas galingas kalbos modelis – jis skelbia naują atvirų, ekonomiškai efektyvių ir specializuotų AI galimybių erą, specialiai sukurtą įmonei.

Nuo revoliucijos keičiančios duomenų analizę ir kodavimo produktyvumą iki užduočių automatizavimo ir išmanesnių programų – „Arctic“ pirmiausia DNR yra neprilygstamas pasirinkimas, palyginti su bendraisiais LLM. Atviras tiekimas ne tik modeliui, bet ir visam MTTP procesui, Snowflake skatina bendradarbiavimo kultūrą, kuri pakels visą AI ekosistemą.

Įmonėms vis labiau įsisavinant generatyvųjį dirbtinį intelektą, Arctic siūlo drąsų planą, kaip sukurti modelius, objektyviai geresnius gamybos apkrovoms ir įmonės aplinkai. Jo pažangiausių mokslinių tyrimų, neprilygstamo efektyvumo ir tvirto atviro požiūrio derinys nustato naują etaloną demokratizuojant AI transformacinį potencialą.

Štai skyrius su kodų pavyzdžiais, kaip naudoti „Snowflake Arctic“ modelį:

Praktika su Arktika

Dabar, kai apžvelgėme, kas daro Arktį tikrai novatorišką, pasinerkime į tai, kaip kūrėjai ir duomenų mokslininkai gali pradėti taikyti šį galingą modelį.
Paruoštą „Arctic“ galima iš anksto apmokyti ir įdiegti per pagrindinius modelių centrus, pvz., „Hugging Face“ ir partnerių AI platformas. Tačiau tikroji jo galia išryškėja pritaikius ir tikslinant jį konkrečiais naudojimo atvejais.

Arctic Apache 2.0 licencija suteikia visišką laisvę integruoti ją į savo programas, paslaugas ar pasirinktines AI darbo eigas. Norėdami pradėti, pažvelkime į kelis kodo pavyzdžius naudodami transformatorių biblioteką:
Pagrindinė išvada apie Arktį

Greito teksto generavimo atveju galime įkelti Arctic ir labai lengvai paleisti pagrindines išvadas:

from transformers import AutoTokenizer, AutoModelForCausalLM
# Load the tokenizer and model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")
# Create a simple input and generate text
input_text = "Here is a basic question: What is the capital of France?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")
# Generate response with Arctic
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

Tai turėtų išvesti kažką panašaus:

„Prancūzijos sostinė yra Paryžius. Paryžius yra didžiausias Prancūzijos miestas ir šalies ekonominis, politinis ir kultūrinis centras. Jame yra žinomi objektai, tokie kaip Eifelio bokštas, Luvro muziejus ir Dievo Motinos katedra.

Kaip matote, Arctic sklandžiai supranta užklausą ir pateikia išsamų, pagrįstą atsakymą, išnaudodamas tvirtas kalbos supratimo galimybes.

Tikslus pritaikymas specializuotoms užduotims

Nors Arctic yra įspūdinga, ji tikrai spindi, kai ji yra pritaikyta ir tiksliai suderinama pagal jūsų patentuotus duomenis specializuotoms užduotims atlikti. Snaigė pateikė daugybę receptų, apimančių:

• Kuriame aukštos kokybės mokymo duomenis, pritaikytus jūsų naudojimo atvejams
• Individualizuotų kelių pakopų mokymo programų įgyvendinimas
• Pasitelkę efektyvius LoRA, P-Tuning arba FactorizedFusion koregavimo metodus
• SQL, kodavimo ar kitų svarbių įmonės įgūdžių optimizavimas

Štai pavyzdys, kaip tiksliai suderinti Arctic savo kodavimo duomenų rinkiniuose naudojant LoRA ir Snowflake receptus:

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training
# Load base Arctic model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)
# Initialize LoRA configs
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)
# Prepare model for LoRA finetuning
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)
# Your coding datasets
data = load_coding_datasets()
# Fine-tune with Snowflake's recipes
train(model, data, ...)

Šis kodas iliustruoja, kaip galite be vargo įkelti Arctic, inicijuoti LoRA konfigūraciją, pritaikytą kodui generuoti, ir tada tiksliai sureguliuoti modelį savo patentuotuose kodavimo duomenų rinkiniuose, pasinaudojant Snowflake nurodymais.

Pritaikyta ir tiksliai suderinta „Arctic“ tampa privačia jėgaine, pritaikyta užtikrinti neprilygstamą našumą jūsų pagrindinėms įmonės darbo eigoms ir suinteresuotųjų šalių poreikiams.