Viimeaikaiset edistysaskeleet monimodaalisten suurten kielen mallien (MLLM) arkkitehtuurissa ja suorituskyvyssä ovat korostaneet skaalautuvan datan ja mallien merkitystä suorituskyvyn parantamisessa. Vaikka tämä lähestymistapa parantaa suorituskykyä, se aiheuttaa merkittäviä laskennallisia kustannuksia, jotka rajoittavat näiden lähestymistapojen käytännöllisyyttä ja käytettävyyttä. Vuosien varrella Mixture of Expert (MoE) -mallit ovat nousseet menestyksekkään vaihtoehtoiseen lähestymistapaan skaalata kuva-teksti- ja suuria kielen malleja tehokkaasti, koska MoE-mallit ovat merkittävästi laskennallisesti edullisempia ja tarjoavat vahvan suorituskyvyn. Kuitenkin niiden edun vuonna, MoE-mallit eivät ole ihanteellinen lähestymistapa skaalata suuria kielen malleja, koska ne usein käyttävät vähemmän asiantuntijoita ja rajoittuneita modaaluuksia, mikä rajoittaa soveltamismahdollisuuksia.

Vastatakseen nykyisten lähestymistapojen esteisiin ja skaalatakseen suuria kielen malleja tehokkaasti, tässä artikkelissa keskitymme Uni-MoE: hen, yhdistettyyn monimodaaliseen suureen kielen malliin, joka käyttää MoE- tai Mixture of Expert -arkkitehtuuria ja pystyy käsittelemään laajan valikoiman modaaluuksia ja asiantuntijoita. Uni-MoE-kehyksessä toteutetaan myös harsomaton MoE-arkkitehtuuri suurten kielen mallien sisällä pyrkien tehostamaan koulutus- ja päätöksentekoprosessia asiantuntijatason mallin rinnakkaisuuden ja datan rinnakkaisuuden avulla. Lisäksi yleistymisen ja moniasiantuntijayhteistyön parantamiseksi Uni-MoE-kehyksessä esitetään progressiivinen koulutusstrategia, joka koostuu kolmesta eri prosessista. Ensimmäisessä vaiheessa Uni-MoE-kehyksessä saavutetaan modaalinen linjaus eri modaalidatayhteyksillä. Toisessa vaiheessa Uni-MoE-kehyksessä asiantuntijakomponenttien preferenssi aktivoituu kouluttamalla modaalikohtaisia asiantuntijoita modaalisen ohjeistusdatan avulla. Lopulta Uni-MoE-malli toteuttaa LoRA- tai matalan arvoparitekniikan sekoitetuilla monimodaalisilla ohjeistusdatilla mallin säätämiseksi. Kun ohjeistussäätöinen Uni-MoE-kehyksessä arvioitiin kattavalla joukolla monimodaalisia tietoja, laajat kokeelliset tulokset korostivat Uni-MoE-kehyksen ensisijaisen etua vähentämällä suorituskyvyn harhaa monimodaalisten sekoitetuilla tietojoukoilla merkittävästi. Tulokset osoittivat myös merkittävän parantumisen moniasiantuntijayhteistyössä ja yleistymisessä.

Tämä artikkeli pyrkii kattamaan Uni-MoE-kehyksen syvällisemmin ja tutkimaan mekanismia, metodologiaa, arkkitehtuuria ja vertailua valmiiden kehyksen kanssa. Joten aloitetaan.

Uni-MoE: Suurenmittakaavaiset yhdistetyt monimodaaliset LLM:t

Avoin monimodaalinen suuri kielen mallien, kuten LLama ja InstantBlip, kehitys on osoittanut merkittävän menestyksen ja edistysaskeleet tehtävissä, jotka liittyvät kuva-teksti-ymmärtämiseen viime vuosina. Lisäksi AI-yhteisö työskentelee aktiivisesti yhdistetyn monimodaalisen suuren kielen mallin rakentamiseksi, joka voisi sisältää laajan valikoiman modaaluuksia, kuten kuvat, tekstit, äänet, videot ja muut, siirtyen perinteisestä kuva-teksti-paradigmasta. Yleinen lähestymistapa, jota avoimen lähdekoodin yhteisö noudattaa monimodaalisten suurten kielen mallien kykyjen parantamiseksi, on suurten näkemisen perusmallien koon kasvattaminen ja niiden integroiminen suurten kielen mallien kanssa, joissa on miljardeja parametreja, ja käyttää monimodaalista tietojoukkoa ohjeistuksen parantamiseksi. Nämä kehitysaskeleet ovat korostaneet monimodaalisten suurten kielen mallien kyvyn järkeillä ja prosessoida useita modaaluuksia, osoittaen monimodaalisen ohjeistusdatan ja mallin skaalautuvuuden merkitystä.

Vaikka mallin skaalauttaminen on kokeellinen lähestymistapa, joka tuottaa merkittäviä tuloksia, mallin skaalauttaminen on laskennallisesti kallis prosessi sekä koulutuksessa että päätöksenteossa.

Vastatakseen korkeiden laskennallisten kustannusten ongelmaan, avoimen lähdekoodin yhteisö on siirtymässä MoE- eli Mixture of Expert -mallin arkkitehtuuriin suurten kielen mallien tehokkuuden parantamiseksi. Toisin kuin monimodaaliset suuret kielen mallit ja suuret kielen mallit, jotka käyttävät kaikkia saatavilla olevia parametreja kunkin syötteen prosessointiin, johtuen tiheästä laskennallisesta lähestymistavasta, MoE-arkkitehtuuri vaatii vain asiantuntijaparametrien osajoukon aktivoimista kunkin syötteen kohdalla. Tämän seurauksena MoE-lähestymistapa nousee toteuttamiskelpoiseksi reitiksi suurten mallien tehokkuuden parantamiseksi ilman laajaa parametrin aktivoimista ja korkeita laskennallisia kustannuksia. Vaikka olemassa olevat tutkimukset ovat korostaneet MoE-mallien onnistunutta integroimista tekstiä vain ja teksti-kuva suurten mallien rakentamiseen, tutkijat ovat vielä tutkimatta MoE-arkkitehtuurin kehittämisen potentiaalia voimakkaiden yhdistettyjen monimodaalisten suurten kielen mallien rakentamiseksi.

Uni-MoE on monimodaalinen suuri kielen malli, joka hyödyntää harsomattomia MoE-malleja monimodaalisten tietojen tulkintaan ja hallintaan pyrkien tutkimaan yhdistettyjen monimodaalisten suurten kielen mallien skaalautuvuutta MoE-arkkitehtuurin avulla. Kuten seuraavassa kuvassa näkyy, Uni-MoE-kehyksessä hankitaan ensin eri modaalien koodaus modaalikohtaisilla koodareilla ja sitten nämä koodaukset karttuu kielen esitystilaan suurten kielen mallien avulla eri suunnitelluilla yhdistimillä. Nämä yhdistimet sisältävät koulutettavan transformer-mallin ja seuraavat lineaariset projektiot, joilla tihennetään ja projisoidaan jäädytetyn koodarin tulosisältöjä. Uni-MoE-kehyksessä esitetään myös harsomat MoE-kerroksia suurten kielen mallien sisäisissä blokeissa. Jokainen MoE-pohjainen blokki sisältää jaetun itsehuomio-kerron, joka on sovellettavissa kaikkiin modaaluuksiin, harsoman reitittimen, joka määrittää asiantuntijuuden token-tasolla, ja monia asiantuntijoita, jotka perustuvat eteenpäin syötetyille verkoille. Tämän lähestymistavan ansiosta Uni-MoE-kehyksessä voidaan ymmärtää useita modaaluuksia, kuten puhetta, ääntä, tekstiä, videot, kuvia, ja vaaditaan vain osittaisen parametrin aktivoimista päätöksenteossa.

Lisäksi moniasiantuntijayhteistyön ja yleistymisen parantamiseksi Uni-MoE-kehyksessä toteutetaan kolmivaiheinen koulutusstrategia. Ensimmäisessä vaiheessa kehyksessä käytetään laajaa kuva/ääni/puhe-kieli-pareja kouluttamaan vastaavaa yhdistintä yhdistetyssä modaaliesityksessä suurten kielen mallien kielellisessä tilassa. Toisessa vaiheessa Uni-MoE-malli kouluttaa modaalikohtaisia asiantuntijoita modaalisen sekoitusdatan avulla erikseen pyrkien tarkentamaan kunkin asiantuntijan taitoja omassa alueessaan. Kolmannessa vaiheessa Uni-MoE-kehyksessä integroidaan koulutetut asiantuntijat MoE-kerrokseen suurten kielen malliin ja koulutetaan koko Uni-MoE-kehyksessä sekoitetuilla monimodaalisilla ohjeistusdatilla. Koulutuskustannuksen vähentämiseksi Uni-MoE-kehyksessä käytetään LoRA-opetuslähestymistapaa hienosäätäämään itsehuomio-kerroksia ja esikoulutettuja asiantuntijoita.

Uni-MoE: Metodologia ja Arkkitehtuuri

Uni-MoE-kehyksen perusmotivaatio on suurten monimodaalisten kielen mallien koulutus- ja päätöksentekokustannukset sekä MoE-mallien tehokkuus, ja tutkitaan mahdollisuutta luoda tehokas, voimakas ja yhdistetty monimodaalinen suuri kielen malli MoE-arkkitehtuurin avulla. Seuraava kuva esittää Uni-MoE-kehyksen arkkitehtuurin, joka sisältää yksittäisiä koodareita eri modaaluuksille, kuten ääni, puhe ja visuaalinen, sekä niiden vastaavat yhdistimet.

Uni-MoE-kehyksessä integroidaan MoE-arkkitehtuuri suurten kielen mallien peruslohkoihin, prosessi, joka on olennainen koko koulutus- ja päätöksentekoprosessin tehokkuuden parantamiseksi. Uni-MoE-kehyksessä tämä saavutetaan toteuttamalla harsoma reititys. Koko Uni-MoE-kehyksen koulutusprosessi voidaan jakaa kolmeen vaiheeseen: modaalinen linjaus, modaalikohtaisten asiantuntijoiden koulutus ja Uni-MoE:n säätäminen monimodaalisen ohjeistusdatan avulla. Tehokkaan muunnoksen eri modaalisen syötteen kielelliseen muotoon Uni-MoE-kehyksessä perustuu LLaVA: han, joka on esikoulutettu visuaalinen kieli kehyksessä. LLaVA-pohjamalli integroi CLIP:in visuaalisen koodarin ja lineaarisen projektiokerroksen, joka muuttaa kuvaominaisuudet vastaaviksi pehmeiksi kuva-tokaneiksi. Lisäksi videotehtävien prosessointiin Uni-MoE-kehyksessä valitaan kahdeksan edustavaa kehystä kustakin videosta ja muunnetaan ne video-tokaneiksi keskiarvo-poolauksella yhdistämällä niiden kuva- tai kehyspohjaisen esityksen. Äänitehtävissä Uni-MoE-kehyksessä käytetään kahta koodaria, BEATs ja Whisper-koodaria, ääniominaisuuksien parantamiseksi. Malli tiivistää ääniominaisuusvektorin ja kiinteän pituisen puheen ja kartoittaa ne puhe-tokaneiksi ja pehmeiksi ääniin vastaavasti lineaarisen projektiokerroksen avulla.

Koulutusstrategia

Uni-MoE-kehyksessä esitetään progressiivinen koulutusstrategia mallin asteittaiselle kehittämiselle. Progressiivinen koulutusstrategia pyrkii hyödyntämään eri asiantuntijoiden erityisiä kykyjä, parantamaan moniasiantuntijayhteistyön tehokkuutta ja lisäämään koko kehyksen yleistymistä. Koulutusprosessi on jaettu kolmeen vaiheeseen pyrkien toteuttamaan MLLM-rakennetta, joka perustuu integroiduihin MoE:hen.

Vaihe 1: Modaalinen Linjaus

Ensimmäisessä vaiheessa Uni-MoE-kehyksessä pyritään luomaan yhteys eri kielten ja modaalien välille. Uni-MoE-kehyksessä tämä saavutetaan kääntämällä modaalidata pehmeiksi tokeneiksi yhdistimien avulla. Ensimmäisen koulutusvaiheen pääasiallinen tavoite on minimoida generatiivinen entropiahäviö.Uni-MoE-kehyksessä suuri kielen malli optimoidaan generoimaan kuvauksia eri modaalien syötteille, ja malli altistetaan vain yhdistimille, strategia, joka mahdollistaa Uni-MoE-kehyksen integroida eri modaalit yhdistetyssä kielikehyksessä.

Vaihe 2: Modaalikohtaisten Asiantuntijoiden Koulutus

Toisessa vaiheessa Uni-MoE-kehyksessä keskitytään yksittäisten modaalien asiantuntijoiden kehittämiseen kouluttamalla mallia omistautuneesti modaalisen sekoitusdatan avulla. Pääasiallinen tavoite on tarkentaa kunkin asiantuntijan taitoja omassa alueessaan, parantamalla siten MoE-järjestelmän kokonaissuorituskykyä laajalla valikoimalla monimodaalisia tietoja. Lisäksi Uni-MoE-kehyksessä syötteen eteenpäin kulkevat verkkorakenteet mukautetaan paremmin modaalien ominaisuuksiin, ylläpitäen generatiivista entropiahäviötä koulutuksen tärkeänä mittarina.

Vaihe 3: Uni-MoE:n Säätäminen

Kolmannessa ja viimeisessä vaiheessa Uni-MoE-kehyksessä integroidaan asiantuntijoiden painot, jotka on säätelty toisessa vaiheessa, MoE-kerroksiin. Uni-MoE-kehyksessä säädetään sitten koko MLLM sekoitetuilla monimodaalisilla ohjeistusdatilla yhdessä. Häviökaaviot seuraavassa kuvassa heijastavat koulutusprosessin edetessä.

Vertaileva analyysi MoE-konfiguraatioiden välillä osoitti, että asiantuntijat, jotka malli tarkensi toisessa koulutusvaiheessa, osoittivat parantunutta vakautta ja saavuttivat nopeammin konvergenssin sekoitetuilla monimodaalisilla tietojoukoilla. Lisäksi tehtävissä, jotka liittyivät monimutkaisiin monimodaalisiin tietoihin, kuten tekstiin, kuviin, ääniin, videoihin, Uni-MoE-kehyksessä osoitti tasaisempaa koulutus-suorituskykyä ja vähennettiin häviön vaihtelua, kun se käytti neljää asiantuntijaa verrattuna tilanteeseen, jossa se käytti kahta asiantuntijaa.

Uni-MoE: Kokeet ja Tulokset

Seuraava taulukko tiivistää Uni-MoE-kehyksen arkkitehtuurin määritykset. Uni-MoE-kehyksen pääasiallinen tavoite, joka perustuu LLaMA-7B-arkkitehtuuriin, on skaalata mallin kokoa.

Seuraava taulukko tiivistää Uni-MoE-kehyksen suunnittelun ja optimoinnin, jota ohjaavat erikoistuneet koulutustehtävät. Nämä tehtävät ovat olennaisia MLP-kerrosten kykyjen tarkentamiseksi ja niiden erikoistuneen tiedon hyödyntämiseksi mallin suorituskyvyn parantamiseksi. Uni-MoE-kehyksessä toteutetaan kahdeksan yksittäisen modaalisen asiantuntijan tehtävää selvittämään eri koulutusmenetelmien eroja.

Malli arvioi eri mallivarianttien suorituskykyä laajalla joukolla benchmark-kohteita, jotka kattavat kaksi video-ymmärtämistehtävää, kolme ääni-ymmärtämistehtävää ja viisi puhetta koskevaa tehtävää. Ensinnäkin malli testataan sen kyvystä ymmärtää puhetta ja tekstiä, ja tulokset on esitetty seuraavassa taulukossa.

Kuten voidaan havaita, aiemmat vertailumallit toimittavat heikommin puhetta ymmärtämistehtävissä, mikä vaikuttaa heikentävästi kuva-puhe-suorituskykyyn. Tulokset osoittavat, että MoE-arkkitehtuurin käyttöönotto voi parantaa MLLM-mallien yleistymistä monimodaalisilla tietojoukoilla. Seuraava taulukko esittää kokeelliset tulokset kuva-teksti-ymmärtämistehtävissä. Kuten voidaan havaita, parhaat tulokset Uni-MoE-malleista ylittävät vertailumallit ja ylittävät säätötehtävän keskimäärin neljän prosentin marginaalilla.

Lopputulet

Tässä artikkelissa olemme keskustelleet Uni-MoE: sta, yhdistetystä monimodaalisesta suuresta kielen mallista, joka käyttää MoE- eli Mixture of Expert -arkkitehtuuria ja pystyy käsittelemään laajan valikoiman modaaluuksia ja asiantuntijoita. Uni-MoE-kehyksessä toteutetaan myös harsomaton MoE-arkkitehtuuri suurten kielen mallien sisällä pyrkien tehostamaan koulutus- ja päätöksentekoprosessia asiantuntijatason mallin rinnakkaisuuden ja datan rinnakkaisuuden avulla. Lisäksi yleistymisen ja moniasiantuntijayhteistyön parantamiseksi Uni-MoE-kehyksessä esitetään progressiivinen koulutusstrategia, joka koostuu kolmesta eri prosessista. Ensimmäisessä vaiheessa Uni-MoE-kehyksessä saavutetaan modaalinen linjaus eri modaalidatayhteyksillä. Toisessa vaiheessa Uni-MoE-kehyksessä asiantuntijakomponenttien preferenssi aktivoituu kouluttamalla modaalikohtaisia asiantuntijoita modaalisen ohjeistusdatan avulla. Lopulta Uni-MoE-malli toteuttaa LoRA- tai matalan arvoparitekniikan sekoitetuilla monimodaalisilla ohjeistusdatilla mallin säätämiseksi.