Modele și platforme AI
BlackMamba: introducere în utilizarea MoE pentru modelele în spațiul stărilor
Puncte cheieBlackMamba îmbină procesarea liniară de secvențe a Mamba cu activarea rară a MoE pentru…
Vezi mai mult
- BlackMamba îmbină procesarea liniară de secvențe a Mamba cu activarea rară a MoE pentru inferență mai rapidă.
- Această arhitectură înlocuiește mecanismul de atenție al transformatorului cu straturi Mamba și înlocuiește MLP-urile cu straturi de experți dirijate.
- BlackMamba depășește atât Mamba cât și modelele de bază bazate pe transformatoare, atât în ceea ce privește FLOP-urile de antrenament, cât și viteza de inferență.
Dezvoltarea modelelor lingvistice mari (LLM) bazate pe transformere care folosesc doar decodorul a transformat procesarea limbajului natural și a contribuit la numeroase aplicații de învățare profundă, inclusiv învățarea prin întărire, analiza seriilor temporale și procesarea imaginilor. În ciuda scalabilității și a performanțelor lor, aceste modele au însă limite importante. Mecanismul de atenție este expresiv, dar necesită resurse de calcul considerabile atât la antrenare, cât și la inferență: memoria necesară crește odată cu lungimea secvenței, iar numărul operațiilor în virgulă mobilă (FLOPs) crește pătratic. Aceste cerințe limitează lungimea contextului, măresc costul generării autoregresive pe măsură ce sistemul se extinde și îngreunează învățarea din fluxuri continue de date și procesarea secvențelor cu lungime nelimitată.
Recent, modelele în spațiul stărilor (SSM) au obținut rezultate competitive cu transformerele în testele de modelare la scară largă, cu cerințe de memorie dependente de lungimea secvenței și complexitate temporală liniară. Mamba, un astfel de model, a demonstrat performanțe foarte bune în modelarea limbajului și procesarea secvențelor lungi. În paralel, modelele cu amestec de experți (MoE) au redus latența și costul de calcul al inferenței, în schimbul unui consum mai mare de memorie. Acest articol prezintă BlackMamba, o arhitectură care combină Mamba cu MoE pentru a valorifica avantajele ambelor. Experimentele arată că BlackMamba poate depăși Mamba și modelele transformer de referință atât în privința operațiilor de antrenare, cât și a inferenței. Arhitectura reunește inferența rapidă și economică oferită de MoE cu generarea de complexitate liniară oferită de Mamba.
În continuare analizăm mecanismele, metodologia și arhitectura BlackMamba, precum și rezultatele comparațiilor cu alte modele.
BlackMamba: introducere în utilizarea MoE pentru modelele în spațiul stărilor
Progresul modelelor lingvistice mari, în special al celor bazate pe transformere cu decodor, a influențat puternic procesarea limbajului natural (NLP) și aplicații precum învățarea prin întărire, analiza seriilor temporale și procesarea imaginilor. Totuși, aceste modele scalabile și performante întâmpină dificultăți importante. Mecanismul de atenție al LLM-urilor bazate pe transformere cere mult calcul la antrenare și inferență. Memoria crește odată cu lungimea secvenței, iar numărul de operații crește pătratic. Acest lucru limitează contextul, scumpește generarea autoregresivă la scară mare și îngreunează învățarea din fluxuri continue sau procesarea eficientă a secvențelor nelimitate.
În ultimii ani, cercetătorii au căutat alternative la transformerele dense cu atenție, iar SSM și MoE se numără printre cele mai promițătoare arhitecturi. Avantajul principal al SSM este complexitatea de calcul liniară în raport cu lungimea secvenței de intrare, față de complexitatea pătratică a transformerelor. Teoretic, pentru același buget de calcul, SSM pot procesa secvențe mai lungi și pot realiza fiecare pas al generării autoregresive cu un cost de calcul constant, fără cache KV. Modele recente, precum Mamba și RetNet, oferă antrenare și inferență eficiente pentru secvențe lungi, cu rezultate competitive în modelarea limbajului. MoE reprezintă, la rândul său, o alternativă la transformerele dense deoarece reduce operațiile necesare pentru o calitate comparabilă. La fiecare trecere înainte, un model MoE activează doar o parte restrânsă din parametri. O funcție de rutare decide ce experți să folosească în funcție de context. Astfel, costul inferenței este separat de numărul total de parametri: performanța poate crește în cadrul unui buget fix de inferență, cu prețul unui număr mai mare de parametri și al unui consum mai ridicat de memorie.
Aceste progrese arhitecturale oferă avantaje față de transformerele tradiționale și o direcție promițătoare de cercetare. Integrarea lor într-un model Mamba–MoE ar putea îmbunătăți capacitățile și eficiența modelării limbajului. Avantajele preconizate față de un transformer dens sunt următoarele:
Mamba: complexitate de calcul liniară în raport cu lungimea secvenței, atât la antrenare, cât și la inferență. Generarea autoregresivă poate folosi timp și memorie constante pentru fiecare pas.
MoE: viteză de inferență și eficiență de antrenare comparabile cu ale unui model dens mai mic, păstrând o calitate apropiată de cea a unui model dens cu un număr total echivalent de parametri.
Transformerele rămân însă modele de vârf, cu rezultate constant bune în modelarea limbajului și procesarea secvențelor. Arhitectura lor folosește autoatenția pentru a compara toate perechile de tokenuri prin produse scalare între încorporările acestora, cu complexitate pătratică, apoi aplică o transformare liniară către vectorul de ieșire. Modelul alternează blocuri de autoatenție și perceptroni multistrat (MLP), aceștia din urmă având două straturi și o funcție de activare.
BlackMamba: arhitectură și metodologie
Modele în spațiul stărilor
Modelele în spațiul stărilor sunt modele de secvență cu complexitate liniară în raport cu lungimea intrării. Arhitectura lor se apropie mai mult de rețelele neuronale recurente și convoluționale decât de modelele cu atenție. Ea pornește de la un sistem dinamic continuu care transformă o funcție unidimensională printr-un spațiu latent implicit. Un sistem dinamic liniar permite calcul paralel eficient prin scanare asociativă sau convoluțională. În practică, natura recurentă a SSM a îngreunat utilizarea pe hardware puternic paralelizat, precum GPU-urile. Modele precum RWKV și Mamba folosesc însă nuclee de scanare paralelă pentru a executa eficient operațiile recurente pe GPU, permițând antrenarea cu o eficiență comparabilă cu a transformerelor.
Complexitatea pătratică a transformerelor în raport cu lungimea secvenței limitează raționamentul și înțelegerea contextelor foarte lungi. Tehnici recente permit antrenarea pe contexte de dimensiune fezabilă, urmată de utilizarea unor contexte mult mai lungi la inferență. Chiar și așa, inferența consumă mult calcul și memorie, mai ales pentru păstrarea cache-ului cheie–valoare (KV). Cercetările recente încearcă să sporească expresivitatea modelelor în spațiul stărilor prin mecanisme de control dependente de intrare, asemănătoare matricelor interogare, cheie și valoare (QKV) din atenție.
Scopul este păstrarea evoluției liniare a recurenței în spațiul stărilor, astfel încât aceasta să poată fi executată eficient prin convoluție sau scanare selectivă. Abordarea reduce diferența de performanță față de transformere în aplicații practice. Mamba se remarcă prin rezultate comparabile cu ale transformerelor la scări de până la 2,8 miliarde de parametri. El aplică mecanisme de control dependente de intrare asupra recurenței SSM și menține calculul eficient prin nuclee specializate de scanare selectivă.
Modele cu amestec de experți
Modelele MoE separă costul inferenței de numărul total de parametri prin activarea selectivă a acestora la trecerea înainte. În loc să utilizeze toți parametrii, ele trimit tokenurile către experți MLP specifici. În mod ideal, fiecare expert se specializează într-un tip de intrare, iar un mecanism de rutare — o rețea neuronală compactă — selectează expertul potrivit pentru fiecare token. Scopul este păstrarea expresivității unui model dens cu un număr echivalent de parametri, la un cost de calcul mult mai mic. De regulă, routerul folosește o transformare liniară de la tokenuri la indicii experților, iar fiecare expert este un MLP standard de transformer. Metoda optimă de antrenare a routerului rămâne dificilă, deoarece atribuirea experților nu este diferențiabilă. Echilibrarea încărcării și stabilitatea antrenării între experți sunt, de asemenea, provocări pentru utilizarea eficientă a hardware-ului.
Arhitectură
Punctul de plecare pentru BlackMamba este un transformer standard, cu blocuri MLP și blocuri de atenție intercalate de-a lungul unui flux rezidual. Majoritatea modelelor MoE înlocuiesc doar blocurile MLP cu un strat de experți selectați prin rutare. BlackMamba înlocuiește atât blocul MLP cu un strat de experți, cât și stratul de atenție cu un strat Mamba în spațiul stărilor.
Antrenare și set de date
BlackMamba este antrenat pe peste 300 de miliarde de tokenuri dintr-un set de date personalizat și folosește activarea SwiGLU pentru perceptronii multistrat ai experților. Modelul are opt experți, număr considerat de dezvoltatori un compromis potrivit între consumul de memorie și costul inferenței. Setul personalizat combină surse deschise existente, inclusiv Starcoder, SlimPajama și Pile. În total, setul de date conține 1,8 trilioane de tokenuri.
BlackMamba: rezultate
Pentru o comparație echitabilă, Mamba și BlackMamba au fost antrenate pe aceleași date, cu aceiași parametri de antrenare. BlackMamba depășește atât Mamba, cât și transformerele la aceeași dimensiune a modelului activat într-o trecere înainte, în ceea ce privește inferența și operațiile de antrenare. Figura următoare arată timpul necesar pentru generarea autoregresivă a unei secvențe pornind de la un prompt de un singur token, în funcție de lungimea secvenței.

BlackMamba combină avantajele de latență ale MoE și Mamba, obținând inferență semnificativ mai rapidă decât transformerele, modelele Mamba simple și modelele MoE. Avantajul crește odată cu lungimea secvenței, ceea ce face arhitectura eficientă pentru generarea secvențelor lungi. Figura următoare prezintă numărul de tokenuri atribuite experților în modelele BlackMamba cu 340 de milioane, respectiv 640 de milioane de parametri. Majoritatea straturilor au o distribuție bine echilibrată între experți datorită algoritmului Sinkhorn îmbunătățit.

Tabelul următor compară scorurile BlackMamba cu cele ale mai multor modele lingvistice preantrenate cu sursă deschisă. BlackMamba este competitiv și depășește majoritatea modelelor de referință. Modelele care îl depășesc au considerabil mai mulți parametri, iar diferențele de performanță sunt mici, ceea ce evidențiază eficiența arhitecturii cu mai puțini parametri.

Concluzii
BlackMamba combină modelul Mamba în spațiul stărilor cu amestecul de experți pentru a beneficia de avantajele ambelor arhitecturi. Experimentele arată rezultate mai bune decât Mamba și transformerele de referință în privința operațiilor de antrenare și a inferenței. Arhitectura reunește inferența rapidă și economică a MoE cu generarea de complexitate liniară a Mamba. Analiza a prezentat modul în care BlackMamba poate depăși modele lingvistice mari bine antrenate, Mamba și MoE în privința costurilor de calcul, păstrând avantajele ambelor componente la antrenare și generare.












