Oppsvinget til Mixture-of-Experts: Hvordan sparse AI-modeller former fremtiden for maskinlæring

Mixture-of-Experts (MoE)-modeller revolusjonerer måten vi skalerer AI på. Ved å aktivere bare en undergruppe av modellens komponenter til enhver tid, tilbyr MoE en ny tilnærming til å håndtere avveien mellom modellstørrelse og beregnings-effektivitet. I motsetning til tradisjonelle tette modeller som bruker alle parametre for hver enkelt inndata, oppnår MoE enorme parameter-tell med beholdning av beregnings- og treningskostnader. Dette gjennombruddet har ført til en bølge av forskning og utvikling, og både teknologigigantene og startup-selskapene har investert tungt i MoE-baserte arkitekturer.

Hvordan Mixture-of-Experts-modeller fungerer

I kjernen består MoE-modeller av flere spesialiserte undernettverk kalt “eksperter”, overvåket av en styringsmekanisme som bestemmer hvilke eksperter som skal håndtere hver enkelt inndata. For eksempel kan en setning som sendes inn i en språkmodell kun aktivere to av åtte eksperter, noe som dramatisk reduserer beregningsarbeidet.

Dette konseptet ble introdusert i hovedstrømmen med Googles Switch Transformer og GLaM-modeller, hvor eksperter erstattet tradisjonelle feed-forward-lag i Transformers. Switch Transformer, for eksempel, router tokens til en enkelt ekspert per lag, mens GLaM bruker top-2-rutering for bedret ytelse. Disse designene viste at MoE kunne matche eller overgå tette modeller som GPT-3 mens de brukte betydelig mindre energi og beregningskraft.

Nøkkelinnovasjonen ligger i betinget beregning. I stedet for å aktivere hele modellen, aktiverer MoE bare de mest relevante delene, noe som betyr at en modell med hundredvis av milliarder eller til og med billioner av parametre kan kjøre med effektiviteten til en som er flere størrelsesordener mindre. Dette muliggjør at forskerne kan skalerer kapasiteten uten lineære økninger i beregning, en bedrift som er uoppnåelig med tradisjonelle skaleringsmetoder.

Reelle verden-applikasjoner av MoE

MoE-modeller har allerede gjort sitt merke over flere domener. Googles GLaM og Switch Transformer viste state-of-the-art-resultater i språkmodellering med lavere trenings- og inferenskostnader. Microsofts Z-Code MoE er operativ i sin Oversetter-verktøy, som håndterer over 100 språk med bedre nøyaktighet og effektivitet enn tidligere modeller. Disse er ikke bare forskningsprosjekter – de driver live-tjenester.

I datavisualisering har Googles V-MoE-arkitektur forbedret klassifiseringsnøyaktigheten på benchmark-tester som ImageNet, og LIMoE-modellen har vist sterk ytelse i multimodale oppgaver som involverer både bilder og tekst. Evnen til at eksperter kan spesialisere seg – noen håndterer tekst, andre bilder – legger til en ny kapabilitet til AI-systemer.

Anbefalings-systemer og multi-task-læringsplattformer har også blitt bedre takket være MoE. For eksempel har YouTubes anbefalingsmotor brukt en MoE-lignende arkitektur for å håndtere mål som se-tid og klikk-gjennom-rate mer effektivt. Ved å tildele forskjellige eksperter til forskjellige oppgaver eller bruker-atferd, hjelper MoE med å bygge mer robuste personliggjøring-motorer.

Fordeler og utfordringer

Hovedfordelen med MoE er effektivitet. De tillater massive modeller å trenes og deployes med betydelig mindre beregningskraft. For eksempel har Mistral AIs Mixtral 8×7B-modell 47 milliarder parametre, men aktiverer bare 12,9 milliarder per token, noe som gir den kostnadseffektiviteten til en 13 milliards modell samtidig som den konkurrerer med modeller som GPT-3.5 i kvalitet.

MoE fremmer også spesialisering. Fordi forskjellige eksperter kan lære distinkte mønster, blir den totale modellen bedre til å håndtere diverse inndata. Dette er spesielt nyttig i multilingvale, multi-domen eller multimodale oppgaver hvor en en-size-fits-all-tett modell kan underprestere.

Men MoE kommer med ingeniør-utfordringer. Å trene dem krever omhyggelig balansering for å sikre at alle eksperter brukes effektivt. Minne-overhead er en annen bekymring – selv om bare en brøkdel av parameterne er aktive per inferens, må alle lastes inn i minnet. Å distribuere beregning effektivt over GPUer eller TPUer er ikke trivialt og har ført til utviklingen av spesialiserte rammeverk som Microsofts DeepSpeed og Googles GShard.

Til tross for disse hindringene er ytelses- og kostnadsfordelene så store at MoE nå sees på som en kritisk komponent i stor-skala AI-design. Etterhvert som flere verktøy og infrastruktur modnes, overvinnes disse utfordringene gradvis.

Hvordan MoE sammenlignes med andre skaleringsmetoder

Tradisjonell tett skaleringsmetode øker modellstørrelse og beregningskraft proporsjonalt. MoE bryter denne lineæriteten ved å øke totalt antall parametre uten å øke beregning per inndata. Dette muliggjør at modeller med billioner av parametre kan trenes på samme maskinvare som tidligere var begrenset til titall millioner.

I sammenligning med modell-ensembling, som også introduserer spesialisering men krever flere fullstendige fremover-pass, er MoE langt mer effektiv. I stedet for å kjøre flere modeller parallelt, kjører MoE bare en – men med fordelen av flere ekspert-veier.

MoE kompletterer også strategier som skalerings-trening-data (for eksempel Chinchilla-metoden). Mens Chinchilla betoner å bruke mer data med mindre modeller, utvider MoE modell-kapasiteten samtidig som beregning holdes stabil, noe som gjør dem ideelle for tilfeller hvor beregning er flaskehalen.

Til slutt, mens teknikkene som pruning og kvantisering krymper modeller etter trening, øker MoE modell-kapasiteten under trening. De er ikke en erstatning for kompresjon, men et ortogonalt verktøy for effektiv vekst.

Selskapene som leder MoE-revolusjonen

Teknologigigantene

Google (GOOGL ) var pionerene i dagens MoE-forskning. Deres Switch Transformer og GLaM-modeller skalerte opp til 1,6 billioner og 1,2 billioner parametre henholdsvis. GLaM matchet GPT-3-ytelse samtidig som den brukte bare en tredel av energien. Google har også brukt MoE i visjon (V-MoE) og multimodale oppgaver (LIMoE), i tråd med deres bredere Pathways-visjon for universelle AI-modeller.

Microsoft (MSFT ) har integrert MoE i produksjon gjennom sin Z-Code-modell i Microsoft Oversetter. De har også utviklet DeepSpeed-MoE, som muliggjør rask trening og lav-latens-inferens for trillion-parameter-modeller. Deres bidrag inkluderer rutingsalgoritmer og Tutel-biblioteket for effektiv MoE-beregning.

Meta har utforsket MoE i store språkmodeller og anbefalings-systemer. Deres 1,1 billion MoE-modell viste at den kunne matche tett modell-kvalitet med 4 ganger mindre beregning. Selv om LLaMA-modellene er tette, informerer Metas forskning i MoE den bredere samfunnet.

Amazon (AMZN ) støtter MoE gjennom sin SageMaker-plattform og interne anstrengelser. De har fasilitert trening av Mistral’s Mixtral-modell og skal angivelig bruke MoE i tjenester som Alexa AI. AWS-dokumentasjon fremmer aktivt MoE for stor-skala modell-trening.

Huawei og BAAI i Kina har også utviklet rekord-brytende MoE-modeller som PanGu-Σ (1,085 billioner parametre). Dette viser MoE’s potensiale i språk- og multimodale oppgaver og høydepunkter dens globale appell.

Startup-selskaper og utfordrere

Mistral AI er et selskap som har innført innovasjon i MoE i åpen kilde. Deres Mixtral 8×7B- og 8×22B-modeller har bevist at MoE kan overgå tette modeller som LLaMA-2 70B samtidig som de kjører med en brøkdel av kostnaden. Med over 600 millioner euro i finansiering, satser Mistral stort på sparse-arkitekturer.

xAI, grunnlagt av Elon Musk, er angivelig å utforske MoE i sin Grok-modell. Selv om detaljene er begrenset, tilbyr MoE en måte for startup-selskaper som xAI å konkurrere med større spillere uten å trenge massive beregningsressurser.

Databricks, via sin MosaicML-erhvervelse, har lansert DBRX, en åpen MoE-modell designet for effektivitet. De tilbyr også infrastruktur og oppskrifter for MoE-trening, noe som senker terskelen for adopsjon.

Andre spillere som Hugging Face har integrert MoE-støtte i sine biblioteker, noe som gjør det enklere for utviklere å bygge på disse modellene. Selv om de ikke bygger MoE selv, er plattformene som muliggjør dem kritiske for økosystemet.

Konklusjon

Mixture-of-Experts-modeller er ikke bare en trend – de representerer en fundamental endring i hvordan AI-systemer bygges og skaleres. Ved å aktivere bare deler av et nettverk, tilbyr MoE kraften til massive modeller uten deres prohibitive kostnad. Etterhvert som programvare-infrastrukturen og rutingsalgoritmer blir bedre, er MoE godt posisjonert til å bli den standard-arkitekturen for multi-domen, multilinguale og multimodale AI.

Uansett om du er en forsker, ingeniør eller investor, tilbyr MoE et glimt inn i en fremtid hvor AI er mer kraftfull, effektiv og tilpasningsdyktig enn noensinne før.