Uppkomsten av expertmix: Hur glesa AI-modeller formar framtiden för maskininlärning

Blandning av experter (MoE) Modeller revolutionerar hur vi skalar AI. Genom att endast aktivera en delmängd av en modells komponenter vid varje given tidpunkt erbjuder MoEs en ny metod för att hantera avvägningen mellan modellstorlek och beräkningseffektivitet. Till skillnad från traditionella täta modeller som använder alla parametrar för varje indata, uppnår MoEs enorma parameterantal samtidigt som inferens- och utbildningskostnaderna hålls hanterbara. Detta genombrott har drivit på en våg av forskning och utveckling, vilket har lett till att både teknikjättar och startups har investerat kraftigt i MoE-baserade arkitekturer.

Hur expertblandningsmodeller fungerar

I grund och botten består MoE-modeller av flera specialiserade delnätverk som kallas "experter", som övervakas av en grindmekanism som avgör vilka experter som ska hantera varje inmatning. Till exempel kan en mening som matas in i en språkmodell bara engagera två av åtta experter, vilket drastiskt minskar beräkningsarbetsbelastningen.

Detta koncept blev allmänt känt med Googles Switch Transformer och GLaM-modeller, där experter ersatte traditionella feedforward-lager i Transformers. Switch Transformer, till exempel, routar tokens till en enda expert per lager, medan GLaM använder top-2-routing för förbättrad prestanda. Dessa designer visade att MoE:er kunde matcha eller överträffa täta modeller som GPT-3 samtidigt som de använde betydligt mindre energi och beräkningsförmåga.

Den viktigaste innovationen ligger i villkorlig beräkning. Istället för att starta hela modellen aktiverar MoE:er bara de mest relevanta delarna, vilket innebär att en modell med hundratals miljarder eller till och med biljoner parametrar kan köras med effektiviteten hos en som är flera storleksordningar mindre. Detta gör det möjligt för forskare att skala kapaciteten utan linjära ökningar i beräkningen, en prestation som är ouppnåelig med traditionella skalningsmetoder.

Verkliga tillämpningar av MoE

MoE-modeller har redan satt sina spår inom flera områden. Googles GLaM och Switch Transformer visade toppmoderna resultat inom språkmodellering med lägre utbildnings- och inferenskostnader. Microsofts Z-Code MoE är operativt i deras Translator-verktyg och hanterar över 100 språk med bättre noggrannhet och effektivitet än tidigare modeller. Det här är inte bara forskningsprojekt – de driver livetjänster.

Inom datorseende, Googles V-MoE-arkitektur har förbättrat klassificeringsnoggrannheten på riktmärken som ImageNet, och LIMoE-modellen har visat stark prestanda i multimodala uppgifter som involverar både bilder och text. Experternas förmåga att specialisera sig – vissa hanterar text, andra bilder – ger ett nytt lager av kapacitet till AI-system.

Rekommendationssystem och plattformar för fleruppgiftsinlärning har också gynnats av MoEs. Till exempel, YouTubes rekommendationsmotor har använt en MoE-liknande arkitektur för att hantera mål som visningstid och klickfrekvens mer effektivt. Genom att tilldela olika experter olika uppgifter eller användarbeteenden hjälper MoEs till att bygga mer robusta personaliseringsmotorer.

Fördelar och utmaningar

Den största fördelen med MoE:er är effektivitet. De gör det möjligt att träna och driftsätta massiva modeller med betydligt mindre beräkningskraft. Till exempel har Mistral AI:s Mixtral 8×7B-modell 47 miljarder parametrar totalt men aktiverar bara 12.9 miljarder per token, vilket ger den kostnadseffektiviteten hos en 13B-modell samtidigt som den konkurrerar med modeller som GPT-3.5 i kvalitet.

MoEs främjar också specialisering. Eftersom olika experter kan lära sig distinkta mönster blir den övergripande modellen bättre på att hantera olika input. Detta är särskilt användbart i flerspråkiga, multidomän- eller multimodala uppgifter där en kompakt modell som passar alla kan underprestera.

Minnesöverskott (MoEs) medför dock tekniska utmaningar. Att träna dem kräver noggrann avvägning för att säkerställa att alla experter används effektivt. Minnesöverskott är ett annat problem – medan endast en bråkdel av parametrarna är aktiva per inferens, måste alla laddas in i minnet. Att effektivt distribuera beräkningar över GPU:er eller TPU:er är inte trivialt och har lett till utvecklingen av specialiserade ramverk som Microsofts DeepSpeed ​​och Googles GShard.

Trots dessa hinder är prestanda- och kostnadsfördelarna tillräckligt betydande för att MoEs nu ses som en kritisk komponent i storskalig AI-design. I takt med att fler verktyg och infrastruktur mognar övervinns dessa utmaningar gradvis.

Hur MoE jämförs med andra skalningsmetoder

Traditionell tät skalning ökar modellstorleken och beräkningsmängden proportionellt. MoE:er bryter denna linjäritet genom att öka den totala parametren utan att öka beräkningsmängden per ingång. Detta gör det möjligt att träna modeller med biljoner parametrar på samma hårdvara, vilket tidigare var begränsat till tiotals miljarder.

Jämfört med modellsammansättning, som också introducerar specialisering men kräver flera fullständiga framåtpass, är MoE:er betydligt effektivare. Istället för att köra flera modeller parallellt kör MoE:er bara en – men med fördelen av flera expertvägar.

MoE:er kompletterar också strategier som att skala träningsdata (t.ex. Chinchilla-metoden). Medan Chinchilla betonar användningen av mer data med mindre modeller, utökar MoE:er modellkapaciteten samtidigt som de håller beräkningsförmågan stabil, vilket gör dem idealiska för fall där beräkningsförmågan är flaskhalsen.

Slutligen, medan tekniker som beskärning och kvantisering krymper modeller efter träning, ökar MoE:er modellens kapacitet under träning. De är inte en ersättning för kompression utan ett ortogonalt verktyg för effektiv tillväxt.

Företagen som leder MoE-revolutionen

Tekniska jättar

Google var pionjär i mycket av dagens MoE-forskningDeras Switch Transformer- och GLaM-modeller skalades till parametrar på 1.6 T respektive 1.2 T. GLaM matchade GPT-3-prestanda och använde bara en tredjedel av energin. Google har också tillämpat MoEs på vision (V-MoE) och multimodala uppgifter (LIMoE), vilket överensstämmer med deras bredare Pathways-vision för universella AI-modeller.

Microsoft har integrerade MoE i produktionen genom sin Z-Code-modell i Microsoft TranslatorDe utvecklade även DeepSpeed-MoE, vilket möjliggör snabb träning och inferens med låg latens för biljonparametermodeller. Deras bidrag inkluderar routingalgoritmer och Tutel-biblioteket för effektiv MoE-beräkning.

meta utforskas MoEs i storskaliga språkmodeller och rekommendationssystem. Deras 1.1T MoE-modell visade att den kunde matcha tät modellkvalitet med 4× mindre beräkningskraft. Medan LLaMA-modeller är täta fortsätter Metas forskning om MoE att informera den bredare gemenskapen.

Amazon stöder MoEs genom sin SageMaker-plattform och interna insatser. De underlättade träningen av Mistrals Mixtral-modell och det ryktas att de använder MoE:er i tjänster som Alexa AI. AWS-dokumentationen marknadsför aktivt MoE:er för storskalig modellträning.

huawei och BAAI i Kina har också utvecklat rekordbrytande MoE-modeller som PanGu-Σ (1.085T parametrar). Detta visar upp MoE:s potential inom språk och multimodala uppgifter och belyser dess globala attraktionskraft.

Startups och utmanare

Mistral AI är affischbarnet för MoE-innovation inom öppen källkodDeras Mixtral 8×7B- och 8×22B-modeller har bevisat att MoE:er kan överträffa täta modeller som LLaMA-2 70B samtidigt som de körs till en bråkdel av kostnaden. Med över 600 miljoner euro i finansiering satsar Mistral stort på glesa arkitekturer.

xAI, grundad av Elon Musk, är enligt uppgift utforskar MoEs i sin Grok-modell. Även om detaljerna är begränsade, erbjuder MoEs ett sätt för startups som xAI att konkurrera med större aktörer utan att behöva massiv beräkningskraft.

Databrickorhar, via förvärvet av MosaicML, släppt DBRX, en öppen MoE-modell utformad för effektivitet. De tillhandahåller också infrastruktur och recept för MoE-utbildning, vilket sänker barriären för implementering.

Andra aktörer som Hugging Face har integrerat stöd för MoE i sina bibliotek, vilket gör det enklare för utvecklare att bygga vidare på dessa modeller. Även om de inte själva bygger MoE:er är plattformar som möjliggör dem avgörande för ekosystemet.

Slutsats

Expertmixmodeller är inte bara en trend – de representerar ett fundamentalt skifte i hur AI-system byggs och skalas. Genom att selektivt aktivera endast delar av ett nätverk erbjuder expertmixer kraften i massiva modeller utan deras oöverkomliga kostnad. I takt med att programvaruinfrastrukturen kommer ikapp och routingalgoritmer förbättras är expertmixer redo att bli standardarkitekturen för AI med flera domäner, flerspråkig och multimodal.

Oavsett om du är forskare, ingenjör eller investerare, erbjuder MoEs en glimt av en framtid där AI är kraftfullare, effektivare och mer anpassningsbar än någonsin tidigare.