De senaste framstegen i arkitekturen och prestanda för multimodala stora språkmodeller eller MLLMs har belyst betydelsen av skalbara data och modeller för att förbättra prestandan. Även om detta tillvägagångssätt förbättrar prestandan, medför det avsevärda beräkningskostnader som begränsar det praktiska och användbarheten av sådana tillvägagångssätt. Under åren har Mixture of Expert- eller MoE-modeller dykt upp som ett framgångsrikt alternativt tillvägagångssätt för att effektivt skala bildtext- och stora språkmodeller, eftersom Mixture of Expert-modeller har betydligt lägre beräkningskostnader och bra prestanda. Men trots sina fördelar är Mixture of Models inte den idealiska metoden för att skala stora språkmodeller eftersom de ofta involverar färre experter och begränsade modaliteter, vilket begränsar tillämpningarna. 

För att motverka de vägspärrar som nuvarande tillvägagångssätt möter, och för att effektivt skala stora språkmodeller, kommer vi i den här artikeln att prata om Uni-MoE, en enhetlig multimodal storspråksmodell med en MoE eller Mixture of Expert-arkitektur som kan hantera en bred en rad metoder och experter. Uni-MoE-ramverket implementerar också en sparsam blandning av expertarkitektur inom de stora språkmodellerna i ett försök att göra tränings- och slutledningsprocessen mer effektiv genom att använda modellparallellism och dataparallellism på expertnivå. Dessutom, för att förbättra generalisering och samarbete mellan flera experter, presenterar Uni-MoE-ramverket en progressiv utbildningsstrategi som är en kombination av tre olika processer. I det första uppnår Uni-MoE-ramverket korsmodalitetsanpassning med hjälp av olika kopplingar med olika korsmodalitetsdata. För det andra aktiverar Uni-MoE-ramverket preferensen för expertkomponenterna genom att utbilda modalitetsspecifika experter med cross-modalitetsinstruktionsdata. Slutligen implementerar Uni-MoE-modellen inlärningstekniken LoRA eller Low-Rank Adaptation på blandade multimodala instruktionsdata för att ställa in modellen. När det instruktionsjusterade Uni-MoE-ramverket utvärderades på en omfattande uppsättning multimodala datamängder, framhävde de omfattande experimentella resultaten den huvudsakliga fördelen med Uni-MoE-ramverket för att reducera prestandabias vid hantering av blandade multimodala dataset avsevärt. Resultaten indikerade också en signifikant förbättring av samarbete mellan flera experter och generalisering. 

Den här artikeln syftar till att täcka Uni-MoE-ramverket på djupet, och vi utforskar mekanismen, metodiken, arkitekturen för ramverket tillsammans med dess jämförelse med toppmoderna ramverk. Så låt oss börja. 

Uni-MoE: Skala Unified Multimodal LLMs

Tillkomsten av multimodala stora språkmodeller med öppen källkod, inklusive LLama och InstantBlip, har beskrivit den anmärkningsvärda framgången och framstegen i uppgifter som involverar bild-textförståelse under de senaste åren. Dessutom arbetar AI-communityt aktivt för att bygga en enhetlig multimodal stor språkmodell som kan rymma ett brett utbud av modaliteter inklusive bild, text, ljud, video och mer, och går bortom det traditionella bild-text-paradigmet. Ett vanligt tillvägagångssätt som följs av communityn med öppen källkod för att öka förmågan hos multimodala stora språkmodeller är att öka storleken på visionbasmodeller, och integrera den med stora språkmodeller med miljarder parametrar, och att använda olika multimodala datauppsättningar för att förbättra instruktionsinställningen. Denna utveckling har belyst den ökande förmågan hos multimodala stora språkmodeller att resonera och bearbeta flera modaliteter, vilket visar vikten av att utöka multimodala instruktionsdata och modellskalbarhet. 

Även om uppskalning av en modell är ett beprövat tillvägagångssätt som ger betydande resultat, är det en beräkningsmässigt dyr process för både utbildnings- och slutledningsprocesser att skala upp en modell. 

För att motverka frågan om höga beräkningskostnader, går open source-gemenskapen mot att integrera MoE eller Mixture of Expert modellarkitektur i stora språkmodeller för att förbättra både tränings- och slutledningseffektiviteten. I motsats till multimodala stora språk- och stora språkmodeller som använder alla tillgängliga parametrar för att bearbeta varje inmatning, vilket resulterar i en tät beräkningsmetod, kräver Mixture of Expert-arkitekturen endast att användarna aktiverar en delmängd av expertparametrar för varje ingång. Som ett resultat framstår Mixture of Expert-metoden som en gångbar väg för att förbättra effektiviteten hos stora modeller utan omfattande parameteraktivering och höga beräkningskostnader. Även om befintliga arbeten har belyst den framgångsrika implementeringen och integreringen av Mixture of Expert-modeller i konstruktionen av stora modeller med enbart text och text-bild, har forskarna ännu inte helt utforskat potentialen i att utveckla Mixture of Expert-arkitekturen för att konstruera kraftfulla enhetliga multimodala stora modeller. språkmodeller. 

Uni-MoE är en multimodal storspråksmodell som utnyttjar glesa Mixture of Expert-modeller för att tolka och hantera flera modaliteter i ett försök att utforska skalning av enhetliga multimodala stora språkmodeller med MoE-arkitekturen. Som visas i följande bild, erhåller Uni-MoE-ramverket först kodningen av olika modaliteter med hjälp av modalitetsspecifika kodare, och mappar sedan dessa kodningar till språkrepresentationsutrymmet för de stora språkmodellerna med hjälp av olika designade kontakter. Dessa kontakter innehåller en träningsbar transformatormodell med efterföljande linjära projektioner för att destillera och projicera utgångsrepresentationerna från den frusna kodaren. Uni-MoE-ramverket introducerar sedan en gles blandning av expertlager inom det interna blocket av den täta stora språkmodellen. Som ett resultat har varje Mixture of Expert-baserat block ett delat självuppmärksamhetslager som är tillämpligt över alla modaliteter, en sparsam router för att tilldela expertis på tokennivå och olika experter baserade på feedforward-nätverket. Tack vare detta tillvägagångssätt kan Uni-MoE-ramverket förstå flera modaliteter inklusive tal, ljud, text, video, bild och kräver endast aktivering av partiella parametrar under slutledning. 

Dessutom, för att förbättra samarbete och generalisering av flera experter, implementerar Uni-MoE-ramverket en utbildningsstrategi i tre steg. I det första steget använder ramverket omfattande bild/ljud/tal till språkpar för att träna motsvarande koppling på grund av den enhetliga modalitetsrepresentationen i den stora språkmodellens språkrymd. För det andra utbildar Uni-MoE-modellen modalitetsspecifika experter som använder datauppsättningar över olika modaliteter separat i ett försök att förfina kompetensen hos varje expert inom dess respektive domän. I det tredje steget integrerar Uni-MoE-ramverket dessa utbildade experter i Mixture of Expert-skiktet i den stora språkmodellen, och tränar hela Uni-MoE-ramverket med blandade multimodala instruktionsdata. För att minska utbildningskostnaderna ytterligare använder Uni-MoE-ramverket LoRA-inlärningsmetoden för att finjustera dessa självuppmärksamhetslager och de förinställda experterna. 

Uni-MoE : Metodik och arkitektur

Den grundläggande motivationen bakom Uni-MoE-ramverket är den höga utbildnings- och slutledningskostnaden för att skala multimodala stora språkmodeller tillsammans med effektiviteten hos Mixture of Expert-modeller, och utforska möjligheten att skapa en effektiv, kraftfull och enhetlig multimodal storspråksmodell med användning av de MoE-arkitektur. Följande figur presenterar en representation av arkitekturen implementerad i Uni-MoE-ramverket och visar designen som inkluderar individuella kodare för olika modaliteter, t.ex. ljud, tal och bild, tillsammans med deras respektive modalitetsanslutningar. 

Uni-MoE-ramverket integrerar sedan Mixture of Expert-arkitekturen med de centrala stora språkmodellblocken, en process som är avgörande för att öka den övergripande effektiviteten av både utbildnings- och slutledningsprocessen. Uni-MoE-ramverket uppnår detta genom att implementera en gles routingmekanism. Den övergripande utbildningsprocessen för Uni-MoE-ramverket kan delas upp i tre faser: korsmodalitetsanpassning, utbildning av modalitetsspecifika experter och inställning av Uni-MoE med hjälp av en mångsidig uppsättning multimodala instruktionsdatauppsättningar. För att effektivt omvandla olika modala indata till ett språkligt format är Uni-MoE-ramverket byggt ovanpå LLaVA, ett förutbildat ramverk för visuellt språk. LLaVA-basmodellen integrerar CLIP som sin visuella kodare tillsammans med ett linjärt projektionslager som omvandlar bildegenskaper till deras motsvarande mjuka bildtokens. Dessutom, för att bearbeta videoinnehåll, väljer Uni-MoE-ramverket åtta representativa bildrutor från varje video och omvandlar dem till videotokens genom genomsnittlig pooling för att aggregera deras bild- eller rambaserade representation. För ljuduppgifter distribuerar Uni-MoE-ramverket två kodare, BEATs och Whisper-kodaren för att förbättra funktionsextraktionen. Modellen destillerar sedan ljudfunktioner med vektortal och tal med fast längd, och mappar dem till taltokens respektive mjukt ljud via ett linjärt projektionslager. 

Utbildningsstrategi

Uni-MoE-ramverket introducerar en progressiv utbildningsstrategi för den stegvisa utvecklingen av modellen. Den progressiva utbildningsstrategin introducerade försök att utnyttja olika experters distinkta kapacitet, förbättra effektiviteten i samarbetet mellan flera experter och öka ramverkets övergripande generaliserbarhet. Utbildningsprocessen är uppdelad i tre steg med ett försök att förverkliga MLLM struktur byggd ovanpå en integrerad blandning av experter. 

Steg 1: Cross Modality Alignment

I det första steget försöker Uni-MoE-ramverket skapa kopplingar mellan olika lingvistik och modaliteter. Uni-MoE-ramverket uppnår detta genom att översätta modal data till mjuka tokens genom att konstruera kontakter. Det primära syftet med det första träningssteget är att minimera den generativa entropiförlusten.  Inom Uni-MoE-ramverket är LLM optimerat för att generera beskrivningar för indata över olika modaliteter, och modellen utsätter endast anslutningarna för utbildning, en strategi som gör det möjligt för Uni-MoE-ramverket att integrera olika modaliteter inom ett enhetligt språkramverk. 

Steg 2: Utbildning av modalitetsspecifika experter

I det andra steget fokuserar Uni-MoE-ramverket på att utveckla experter på enstaka modaliteter genom att utbilda modellen dedikerat på specifik korsmodalitetsdata. Det primära målet är att förfina kompetensen hos varje expert inom dess respektive domän, och på så sätt förbättra den övergripande prestandan för Mixture of Expert-systemet på ett brett spektrum av multimodala data. Dessutom skräddarsyr Uni-MoE-ramverket feedforward-nätverken för att mer anpassas till modalitetens egenskaper samtidigt som generativ entropiförlust bibehålls som fokal metrisk träning. 

Steg 3: Tuning Uni-MoE

I det tredje och sista steget integrerar Uni-MoE-ramverket vikterna som ställts in av experter under steg 2 i blandningen av expertskikt. Uni-MoE-ramverket finjusterar sedan MLLM:erna genom att använda blandade multimodala instruktionsdata gemensamt. Förlustkurvorna i följande bild återspeglar träningsprocessens framsteg. 

Jämförande analys mellan konfigurationerna av Mixture of Expert avslöjade att experterna som modellen förfinade under det andra utbildningsstadiet visade ökad stabilitet och uppnådde snabbare konvergens på mixed-modala dataset. Vidare, för uppgifter som involverade komplexa multimodala data inklusive text, bilder, ljud, videor, visade Uni-MoE-ramverket mer konsekvent träningsprestanda och minskad förlustvariabilitet när den anställde fyra experter än när den anställde två experter. 

Uni-MoE: Experiment och resultat

Följande tabell sammanfattar de arkitektoniska specifikationerna för Uni-MoE-ramverket. Det primära målet med Uni-MoE-ramverket, byggt på LLaMA-7B-arkitektur, är att skala modellstorleken. 

Följande tabell sammanfattar designen och optimeringen av Uni-MoE-ramverket som styrs av specialiserade träningsuppgifter. Dessa uppgifter är avgörande för att förfina MLP-lagrens kapacitet och därigenom utnyttja deras specialiserade kunskap för förbättrad modellprestanda. Uni-MoE-ramverket åtar sig åtta expertuppgifter för singelmodalitet för att belysa de olika effekterna av olika utbildningsmetoder. 

Modellen utvärderar prestandan för olika modellvarianter över en mångsidig uppsättning riktmärken som omfattar två videoförståelse, tre ljudförståelse och fem talrelaterade uppgifter. Först testas modellen på dess förmåga att förstå tal-bild- och tal-text-uppgifter, och resultaten finns i följande tabell. 

Som det kan observeras ger de tidigare baslinjemodellerna sämre resultat över talförståelseuppgifter, vilket ytterligare påverkar prestandan på bild-talresonemangsuppgifter. Resultaten indikerar att införandet av Mixture of Expert-arkitektur kan förbättra generaliserbarheten av MLLMs på osynliga audi-image-resonemangsuppgifter. Följande tabell presenterar de experimentella resultaten av uppgifter om bild-textförståelse. Som det kan observeras överträffar de bästa resultaten från Uni-MoE-modellerna baslinjerna och överträffar finjusteringsuppgiften med en genomsnittlig marginal på 4 poäng. 

Avslutande tankar

I den här artikeln har vi pratat om Uni-MoE, , en enhetlig multimodal stor språkmodell med en MoE eller Mixture of Expert-arkitektur som kan hantera ett brett spektrum av modaliteter och experter. Uni-MoE-ramverket implementerar också en sparsam blandning av expertarkitektur inom de stora språkmodellerna i ett försök att göra tränings- och slutledningsprocessen mer effektiv genom att använda modellparallellism och dataparallellism på expertnivå. Dessutom, för att förbättra generalisering och samarbete mellan flera experter, presenterar Uni-MoE-ramverket en progressiv utbildningsstrategi som är en kombination av tre olika processer. I det första uppnår Uni-MoE-ramverket korsmodalitetsanpassning med hjälp av olika kopplingar med olika korsmodalitetsdata. För det andra aktiverar Uni-MoE-ramverket preferensen för expertkomponenterna genom att utbilda modalitetsspecifika experter med cross-modalitetsinstruktionsdata. Slutligen implementerar Uni-MoE-modellen inlärningstekniken LoRA eller Low-Rank Adaptation på blandade multimodala instruktionsdata för att ställa in modellen.