AI-modeller och plattformar
Mamba: Omdefinierar sekvensmodellering och överträffar Transformers-arkitektur
Lägg till Unite.AI bland dina föredragna källor på Google
I den här artikeln om Mamba kommer vi att utforska hur denna innovativa tillståndsrummodell (SSM) revolutionerar sekvensmodellering. Utvecklad av Albert Gu och Tri Dao, är Mamba känd för sin effektivitet i att bearbeta komplexa sekvenser inom områden som språkbehandling, genetik och ljudanalys. Dess linjära tidssekvensmodellering med selektiva tillståndsrum säkerställer exceptionell prestanda över dessa olika modaliteter.
Vi kommer att dyka in i Mambas förmåga att övervinna de beräkningsmässiga utmaningar som traditionella Transformers står inför, särskilt med långa sekvenser. Dess selektiva tillvägagångssätt i tillståndsrummodeller möjliggör snabbare inferens och linjär skalning med sekvenslängd, vilket betydligt förbättrar genomströmningen.
Mambas unikhet ligger i dess snabba bearbetningsförmåga, selektiva SSM-lager och hårdvaruvänlig design inspirerad av FlashAttention. Dessa funktioner möjliggör för Mamba att överträffa många existerande modeller, inklusive de som baseras på transformer-approachen, vilket gör den till en betydande framsteg inom maskinlärning.
Transformers vs Mamba
Transformers, som GPT-4, har satt benchmark inom naturlig språkbehandling. Men deras effektivitet sjunker med längre sekvenser. Här är där Mamba hoppar fram, med dess förmåga att bearbeta långa sekvenser mer effektivt och dess unika arkitektur som förenklar hela processen.
Transformers är skickliga på att hantera sekvenser av data, såsom text för språkmodeller. Till skillnad från tidigare modeller som bearbetade data sekventiellt, bearbetar Transformers hela sekvenser samtidigt, vilket möjliggör för dem att fånga komplexa relationer inom data.
De använder uppmärksamhetsmekanism, som tillåter modellen att fokusera på olika delar av sekvensen när de gör förutsägelser.
Denna uppmärksamhet beräknas med hjälp av tre uppsättningar vikter: frågor, nycklar och värden, som härrör från indata. Varje element i en sekvens jämförs med varje annat element, vilket ger en vikt som anger betydelsen, eller “uppmärksamhet”, som varje element bör få när man förutsäger nästa element i sekvensen.
Transformers har två huvudsakliga block: en encoder, som bearbetar indata, och en decoder, som genererar utdata. Encodern består av flera lager, var och ett innehållande två underlager: en multi-huvud självuppmärksamhetsmekanism och ett enkelt, positionsvist fullständigt anslutet feed-forward-nätverk. Normalisering och restanslutningar används vid varje underlager för att hjälpa till vid utbildning av djupa nätverk.
Decodern har också lager med två underlager liknande encodern, men lägger till ett tredje underlager som utför multi-huvuduppmärksamhet över encoderns utdata. Den sekventiella naturen hos decodern säkerställer att förutsägelser för en position endast kan överväga tidigare positioner, vilket bevarar den autoregressiva egenskapen.
Till skillnad från Transformers, tar Mamba-modellen en annan approach. Medan Transformers hanterar problemet med långa sekvenser genom att använda mer komplexa uppmärksamhetsmekanismer, använder Mamba selektiva tillståndsrum, vilket ger en mer effektiv metod för att bearbeta sekvenser.
Här är en översikt av hur en transformer fungerar:
- Indata bearbetning: Transformers kodar först indata i ett format som modellen kan förstå, ofta med hjälp av inbäddningar som också inkorporerar positionen för varje element i sekvensen.
- Uppmärksamhetsmekanism: I dess kärna beräknar uppmärksamhetsmekanismen en poäng som representerar hur mycket fokus som ska läggas på andra delar av indata sekvensen när man förstår ett aktuellt element.
- Encoder-decoder-arkitektur: Transformer-modellen består av en encoder för att bearbeta indata och en decoder för att generera utdata. Båda består av flera lager som raffinerar modellens förståelse av indata.
- Multi-huvuduppmärksamhet: Inom både encodern och decodern tillåter multi-huvuduppmärksamhet modellen att samtidigt fokusera på olika delar av sekvensen från olika representativa utrymmen, vilket förbättrar dess förmåga att lära sig från olika sammanhang.
- Positionsvist feed-forward-nätverk: Efter uppmärksamhet bearbetar ett enkelt neuronnätverk utdata från varje position separat och identiskt. Detta kombineras med indata genom en restanslutning och följs av lager normalisering.
- Utdata generering: Decodern förutsäger sedan en utdata sekvens, påverkad av encoderns sammanhang och vad den har genererat hittills.
Transformers förmåga att hantera sekvenser parallellt och dess robusta uppmärksamhetsmekanism gör den kraftfull för uppgifter som översättning och textgenerering.
Till skillnad från detta, fungerar Mamba-modellen annorlunda genom att använda selektiva tillståndsrum för att bearbeta sekvenser. Denna approach hanterar den beräkningsmässiga ineffektiviteten i Transformers när det gäller långa sekvenser. Mambas design möjliggör snabbare inferens och skalar linjärt med sekvenslängd, vilket sätter en ny paradigm för sekvensmodellering som kan vara mer effektiv, särskilt när sekvenser blir allt längre.
Mamba
Vad som gör Mamba unik är dess avvikelse från traditionell uppmärksamhet och MLP-block. Denna förenkling leder till en lättare, snabbare modell som skalar linjärt med sekvenslängden – en bedrift som inte har setts tidigare.
Mambas nyckelfunktioner inkluderar:
- Selektiva SSM: Dessa tillåter Mamba att filtrera irrelevant information och fokusera på relevant data, vilket förbättrar dess hantering av sekvenser. Denna selektivitet är avgörande för effektiv innehållsbaserad resonemang.
- Hårdvaru-medveten algoritm: Mamba använder en parallell algoritm som är optimerad för modern hårdvara, särskilt GPU:er. Denna design möjliggör snabbare beräkning och minskar minneskraven jämfört med traditionella modeller.
- Förenklad arkitektur: Genom att integrera selektiva SSM och eliminera uppmärksamhets- och MLP-block, erbjuder Mamba en enklare, mer homogen struktur. Detta leder till bättre skalbarhet och prestanda.
Mamba har visat överlägsen prestanda inom olika områden, inklusive språk, ljud och genetik, och excellerar i både förträning och domänspecifika uppgifter. Till exempel, i språkmodellering, matchar eller överträffar Mamba prestandan hos större Transformer-modeller.
Mambas kod och förtränade modeller är öppet tillgängliga för communityn på GitHub.
Standard Copying tasks är enkla för linjära modeller. Selektiv Copying och Induction Heads kräver dynamisk, innehållsmedveten minne för LLM.
Strukturerade tillståndsrummodeller (S4) har nyligen dykt upp som en lovande klass av sekvensmodeller, som omfattar egenskaper från RNN, CNN och klassiska tillståndsrummodeller. S4-modeller hämtar inspiration från kontinuerliga system, särskilt en typ av system som kartar en-dimensionella funktioner eller sekvenser genom en implicit latent tillstånd. I sammanhanget med djupinlärning representerar de en betydande innovation, som ger en ny metodik för design av sekvensmodeller som är effektiva och högt anpassningsbara.
Tillståndsrummodellens dynamik
SSM (S4) Detta är den grundläggande strukturerade tillståndsrummodellen. Den tar en sekvens x och producerar en utdata y med hjälp av lärd parametrar A, B, C och en fördröjningsparameter Δ. Transformationen involverar diskretisering av parametrarna (omvandling av kontinuerliga funktioner till diskreta) och tillämpning av SSM-åtgärden, som är tidsinvariant – den förändras inte över olika tidssteg.
Discretiseringens betydelse
Discretisering är en nyckelprocess som omvandlar kontinuerliga parametrar till diskreta genom fasta formler, vilket möjliggör för S4-modellerna att upprätthålla en koppling till kontinuerliga tidsystem. Detta ger modellerna ytterligare egenskaper, såsom upplösningsinvarians, och säkerställer korrekt normalisering, vilket förbättrar modellens stabilitet och prestanda. Discretisering liknar också gating-mekanismerna som finns i RNN, som är avgörande för att hantera informationsflödet genom nätverket.
Linjär tidsinvarians (LTI)
En kärnegenskap hos S4-modellerna är deras linjära tidsinvarians. Denna egenskap innebär att modellens dynamik förblir konstant över tiden, med parametrarna fasta för alla tidssteg. LTI är en hörnsten i återkommande och konvolutioner, som erbjuder en förenklad men kraftfull ram för att bygga sekvensmodeller.
Övervinna grundläggande begränsningar
S4-ramverket har traditionellt begränsats av sin LTI-natur, som ställer utmaningar i modellering av data som kräver adaptiva dynamik. Den senaste forskningsartikeln presenterar en metod som övervinner dessa begränsningar genom att införa tidsvariabler parametrar, vilket tar bort LTI-begränsningen. Detta möjliggör för S4-modellerna att hantera en mer varierad uppsättning sekvenser och uppgifter, vilket betydligt utvidgar deras tillämpbarhet.
Termen “tillståndsrummodell” täcker i allmänhet varje återkommande process som involverar ett latent tillstånd och har använts för att beskriva olika koncept inom flera discipliner. I sammanhanget med djupinlärning refererar S4-modeller, eller strukturerade SSM, till en specifik klass av modeller som har optimerats för effektiv beräkning samtidigt som de behåller förmågan att modellera komplexa sekvenser.
S4-modeller kan integreras i slutna neurala nätverksarkitekturer, fungerande som fristående sekvensomvandlingar. De kan ses som analoger till konvolutionslager i CNN, som ger ryggraden för sekvensmodellering i en mängd olika neurala nätverksarkitekturer.
SSM vs SSM + Selektion
Motivation för selektivitet i sekvensmodellering
Strukturerade SSM
Artikeln hävdar att en grundläggande aspekt av sekvensmodellering är komprimering av sammanhang till en hanterbar tillstånd. Modeller som kan selektivt fokusera på eller filtrera indata tillhandahåller ett mer effektivt sätt att upprätthålla denna komprimerade tillstånd, vilket leder till mer effektiva och kraftfulla sekvensmodeller. Denna selektivitet är avgörande för modeller att adaptivt kontrollera hur information flödar längs sekvensdimensionen, en avgörande förmåga för att hantera komplexa uppgifter i språkmodellering och bortom.
Selektiva SSM förbättrar konventionella SSM genom att tillåta deras parametrar att vara indata-beroende, vilket introducerar en grad av adaptivitet som tidigare inte var möjlig med tidsinvarianta modeller. Detta resulterar i tidsvariabler SSM som inte längre kan använda konvolutioner för effektiv beräkning, utan istället förlitar sig på en linjär återkommande mekanism, en betydande avvikelse från traditionella modeller.
SSM + Selektion (S6) Denna variant innehåller en selektionsmekanism, som lägger till indata-beroende till parametrarna B och C, och en fördröjningsparameter Δ. Detta tillåter modellen att selektivt fokusera på vissa delar av indata sekvensen x. Parametrarna diskretiseras med hänsyn till selektionen, och SSM-åtgärden tillämpas på ett tidsvariabelt sätt med hjälp av en skanningsoperation, som bearbetar element sekventiellt, anpassar fokus dynamiskt över tiden.
Mambas prestanda
Mamba är bäst i klassen på varje enskild utvärderingsresultat
Vad gäller prestanda, överträffar Mamba i både inferenshastighet och noggrannhet. Dess design möjliggör bättre utnyttjande av längre sammanhang, vilket visas i både DNA- och ljudmodellering, och överträffar tidigare modeller på komplexa uppgifter som kräver långväga beroenden. Dess mångsidighet framhävs också i zero-shot-utvärderingar över flera uppgifter, vilket sätter en ny standard för sådana modeller i termer av effektivitet och skalbarhet.
Komma igång med Mamba
För de som är intresserade av att utnyttja Mamba, inkluderar de tekniska kraven en Linux-OS, en NVIDIA-GPU, PyTorch 1.12+ och CUDA 11.6+. Installationen innefattar enkla pip-kommandon för att installera nödvändiga paket från Mamba-repositoriet. Om kompatibilitetsproblem uppstår med PyTorch-versioner, kan användning av –no-build-isolation-flaggan med pip hjälpa. Dessa modeller, tränade på omfattande dataset som Pile och SlimPajama-datasetet, är utformade för att möta olika beräknings- och prestandabehov.
Mamba erbjuder olika gränssnitt, från det selektiva SSM-lagret till Mamba-blocket och kompletta språkmodellsstrukturer. Mamba-blocket, som är arkitekturens huvudmodul, använder ett kausalt Conv1d-lager och kan enkelt integreras i neurala nätverksdesigner. Det tillhandahållna användningsexemplet i Python visar hur man kan instansiera en Mamba-modell och bearbeta data genom den, vilket framhäver systemets enkelhet och flexibilitet.
Förtränade Mamba-modeller är tillgängliga på Hugging Face, med storlekar som sträcker sig från 130M till 2,8B parametrar, tränade på det omfattande Pile-datasetet och SlimPajama-datasetet. Dessa modeller är utformade för att möta olika beräknings- och prestandakrav, och följer de dimensionella standarderna för GPT-3. Användare kan förvänta sig hög genomströmning och noggrannhet från dessa modeller, vilket gör Mamba till ett konkurrenskraftigt val för olika tillämpningar, inklusive men inte begränsat till språkmodellering.
Mambas påverkan
Mamba representerar ett stort steg framåt i sekvensmodellering, och erbjuder en kraftfull alternativ till Transformer-arkitekturer för att bearbeta informationsrika data. Dess design är anpassad till modern hårdvaras krav, och optimerar både minnesanvändning och parallellbearbetningsförmåga. Den öppna tillgängligheten av Mambas kodbas och förtränade modeller gör det till ett tillgängligt och robust verktyg för forskare och utvecklare inom området AI och djupinlärning.
