I moderna maskinlärnings- och artificiell intelligensramverk är transformerar en av de mest använda komponenterna inom olika områden, inklusive GPT-serien och BERT i naturligt språkbehandling, samt Vision Transformers i datorseendeuppgifter. Även om inkludering av transformerar i modellarkitekturen ger en betydande förbättring av modellens prestanda, skalar uppmärksamhetsmodulen i Transformerar kvadratiskt med sekvenslängden, vilket leder till stora beräkningsutmaningar. Under åren har olika modeller utforskat olika strategier för att hantera de beräkningsmässiga utmaningarna, inklusive metoder som kernelisering, historikminneskomprimering, tokenblandningsområdesbegränsning och låg-rankmetoder. Nyligen har Recurrent Neural Networks som Mamba och RWKV samlat på sig betydande uppmärksamhet på grund av deras lovande resultat i stora språkmodeller.

Mamba, en familj av modeller, har en arkitektur med en Recurrent Neural Network-liknande tokenblandare av en tillståndsrummodell som nyligen introducerades för att hantera den kvadratiska komplexiteten hos uppmärksamhetsmekanismerna och tillämpades sedan på visionuppgifter. Forskare har redan utforskat sätt att inkorporera Mamba och SSM eller State Space Model i visuella igenkänningsuppgifter, och Vision Mamba som inkorporerar Mamba för att utveckla isotropa visionmodeller liknande Vision Transformer är ett exempel på detta. Å andra sidan inkorporerar LocalMamba lokala induktiva fördomar för att förbättra visuella Mambamodeller, och VMamba-ramverket använder den grundläggande Mambamodellen för att konstruera hierarkiska modeller liknande ResNet och AlexNet. Men är Mamba-ramverket verkligen nödvändigt för visuella igenkänningskontextuppgifter? Frågan uppstår eftersom prestandan hos Mambafamiljen av modeller för visionuppgifter har varit underwhelming hittills när de jämförs med traditionella uppmärksamhetsbaserade och konvolutionsbaserade modeller.

MambaOut försöker besvara om Mamba är idealiskt lämpat för uppgifter med autoregressiva och långa sekvenser. MambaOut-ramverket antar att Mamba inte är nödvändigt för visionuppgifter eftersom bildklassificering inte överensstämmer med antingen långa sekvenser eller autoregressiva egenskaper. Även om segmenterings- och detektionsuppgifter inte heller är autoregressiva, visar de långa sekvensegenskaper, vilket leder MambaOut-ramverket att anta den potentiella fördelen med Mamba för dessa uppgifter. MambaOut-ramverket konstrueras genom att stapla Mambablock ovanpå varandra medan den tar bort tillståndsrummodellen, dess kärntokenblandare. De experimentella resultaten stöder hypotesen som presenteras av MambaOut-ramverket, eftersom det kan överträffa alla visuella Mambamodeller på ImageNet-bildklassificeringsramverket, vilket indikerar att Mamba inte är nödvändigt för visionuppgifter. Å andra sidan kan MambaOut-ramverket inte replikera prestandan som erbjuds av den mest avancerade Mambamodellen för detektions- och segmenteringsuppgifter, vilket visar den potentiella fördelen med Mambafamiljen av modeller för långa sekvenser visuella uppgifter.

Den här artikeln syftar till att täcka MambaOut-ramverket i detalj, och vi utforskar mekanismen, metodiken, arkitekturen i ramverket samt dess jämförelse med de mest avancerade ramverken. Så låt oss komma igång.

MambaOut: Behövs Mamba verkligen för vision?

Med framstegen inom maskinlärningsapplikationer och kapaciteter har Transformerar uppstått som det mest använda ryggraden för en mängd uppgifter, som driver framstående modeller inklusive Vision Transformers, GPT-serien av modeller, BERT och några fler. Men tokenblandaren i Transformerar medför en kvadratisk komplexitet i förhållande till sekvenslängden och utgör betydande utmaningar för längre sekvenser. För att hantera detta problem har många tokenblandare med linjär komplexitet i förhållande till tokenlängd som Linformer, Longformer, Performer, Dynamisk convolution och Big Bird introducerats. Men nyligen har Recurrent Neural Network-liknande modeller blivit framträdande på grund av deras förmåga att kunna utbildas parallellt och leverera effektiv prestanda på längre sekvenser. Guidade av de remarkabla resultaten som erbjuds av RNN-liknande modeller, försöker forskare att introducera och använda Mambafamiljen av modeller i visuella igenkänningsuppgifter, eftersom tokenblandaren i Mambamodellerna är den strukturerade tillståndsrummodellen under den återkommande neurala nätverksandan. Men experimentella resultat indikerar att tillståndsrummodellbaserade ramverk för vision presterar underwhelmingt över verkliga visionuppgifter när de jämförs med uppmärksamhetsbaserade och de mest avancerade konvolutionsbaserade modellerna.

MambaOut är ett försök att undersöka naturen hos Mamba-familjen av modeller och sammanfattar att Mamba är lämpat för uppgifter som antingen är autoregressiva eller har långa sekvenser, eftersom tillståndsrummodellen har en inbyggd RNN-mekanism. Men de flesta visionuppgifter har inte båda dessa egenskaper, och baserat på några experiment, föreslår MambaOut följande två hypoteser. Först, är tillståndsrummodellen inte nödvändig för bildklassificering, eftersom bildklassificeringsuppgiften inte överensstämmer med antingen autoregressiva eller långa sekvensegenskaper. Andra, kan tillståndsrummodeller vara hypotetiskt fördelaktiga för instanssegmentering och semantisk segmentering, liksom objektdetektion, eftersom de följer långa sekvensegenskaper, även om de inte är autoregressiva. Experimentella resultat som utfördes för att analysera den återkommande neurala nätverksliknande mekanismen i tillståndsrummodellen slutsatsen att Mamba-ramverket är lämpat för uppgifter med autoregressiva eller långa sekvensegenskaper och är onödigt för bildklassificeringsuppgifter. När det gäller MambaOut-ramverket i sig är det en serie Mambamodeller baserade på Gated Convolutional Neural Network-block utan tillståndsrummodellen, och experimentella resultat indikerar att MambaOut-ramverket kan överträffa Mambamodellerna i bildklassificeringsuppgifter, men misslyckas med att replikera prestandan på bild-detektions- och segmenteringsuppgifter.

Vilka uppgifter är Mamba lämpat för?

Tokenblandaren i Mamba-ramverket är en selektiv tillståndsrummodell som definierar fyra indataberoende parametrar. Den återkommande egenskapen hos ramverket skiljer RNN-liknande tillståndsrummodeller från causal uppmärksamhet. Den dolda tillstånden kan ses som ett faststorleksminne som lagrar historisk information. Den fasta storleken innebär att minnet är förlorat, men det säkerställer också att den beräkningsmässiga komplexiteten för att integrera minnet med den aktuella inmatningen förblir konstant. Omvänt lagrar causal uppmärksamhetslager alla nycklar och värden från tidigare token och expanderar genom att lägga till nyckeln och värdet på den aktuella token med varje ny inmatning, och detta minne är förlorat, teoretiskt. Men minnesstorleken växer när fler token matas in, vilket ökar komplexiteten för att integrera minnet med den aktuella inmatningen. Skillnaden mellan minnesmekanismerna mellan causal uppmärksamhet och RNN-liknande modeller illustreras i följande figur.

Eftersom minnet i tillståndsrummodellen är inneboende förlorat, kommer det kort för det förlorade minnet i causal uppmärksamhet, och som ett resultat kan Mamba-modellerna inte demonstrera sin styrka i hantering av korta sekvenser, ett område där causal uppmärksamhetsmekanismen presterar bra med lätthet. Men i scenarier som involverar långa sekvenser, misslyckas den causal uppmärksamhetsbaserade ansatsen på grund av den kvadratiska komplexiteten. I detta scenario visar Mamba-ramverket sin effektivitet i att kombinera minnet med den aktuella inmatningen och kan hantera långa sekvenser smidigt, vilket indikerar att Mambafamiljen av modeller är lämpad för att bearbeta långa sekvenser.

Det är också värt att notera att den återkommande naturen hos tillståndsrummodellen tillåter Mamba-modellerna att effektivt hantera långa sekvenser, men den introducerar också en viss begränsning, eftersom den bara kan komma åt information från den aktuella och tidigare tidsstegen, och denna typ av tokenblandning kallas causal läge, och illustreras i följande figur. På grund av dess causal natur är denna metod lämpad för autoregressiv generering av uppgifter.

Det fullständigt synliga läget är lämpat för förståelseuppgifter där modellen kan komma åt alla indata på en gång. Dessutom är uppmärksamhet i fullständigt synligt läge som standard, och den kan enkelt omvandlas till causal läge genom att applicera causal masker på uppmärksamhetskartor, och RNN-liknande modeller opererar inneboende i causal läge på grund av deras återkommande egenskaper. För att sammanfatta, är Mamba-ramverket lämpat för uppgifter som antingen involverar bearbetning av långa sekvenser eller uppgifter som kräver causal tokenblandningsläge.

Visuell igenkänning, causal tokenblandning och mycket stora sekvenser

Som diskuterats tidigare tillåter det fullständigt synliga tokenblandningsläget en obegränsad blandningsområde, medan det causal läget begränsar den aktuella token till att bara komma åt information från föregående token. Dessutom är visuell igenkänning kategoriserad som en förståelseuppgift där modellen kan se hela bilden på en gång, och detta eliminerar behovet av begränsningar på tokenblandning, och påförande av ytterligare begränsningar på tokenblandning kan potentiellt försämra modellens prestanda. Allmänt är det fullständigt synliga läget lämpligt för förståelseuppgifter, medan det causal läget passar autoregressiva uppgifter bättre. Dessutom stöds detta påstående ytterligare av det faktum att BeRT- och ViT-modeller används för förståelseuppgifter mer än GPT-modeller.

Experimentell verifikation och resultat

Nästa steg är att verifiera hypoteserna som presenteras av MambaOut-ramverket experimentellt. Som visas i följande bild är Mamba-blocket baserat på Gated Convolutional Neural Network-block, och meta-arkitekturen för Mamba- och Gated CNN-block kan behandlas som en förenklad integration av tokenblandaren i MetaFormer-ramverket och en MLP.

Mamba-blocket utökar Gated Convolutional Neural Network med en ytterligare tillståndsrummodell, och närvaron av en SSm är vad som skiljer Gated CNN och Mamba-blocket. Dessutom, för att förbättra den praktiska hastigheten, genomför MambaOut-ramverket endast djupvise convolution på delkanaler, och som visas i följande algoritm, är implementeringen av Gated CNN-blocket enkel, men effektiv och elegant.

Bildklassificeringsuppgift

ImageNet fungerar som en benchmark för bildklassificeringsuppgifter, eftersom den består av över tusen vanliga klasser, över 1,3 miljoner träningsbilder och över 50 000 valideringsbilder. Dataförstoringen som används för experimentet består av slumpmässig omstorlekning, Mixup, färgförvrängning, slumpmässig utplåning, CutMix och Rand Augment. Följande tabell sammanfattar prestandan hos Mambafamiljen av modeller, MambaOut-modellen och andra uppmärksamhetsbaserade och konvolutionsbaserade modeller på ImageNet-datasetet. Som kan ses, överträffar MambaOut-ramverket utan tillståndsrummodellen konsekvent visuella Mambamodeller med SSM över alla modellstorlekar.

Till exempel returnerar MambaOut-Small-modellen en top-1-accuracypoäng på över 84%, 0,4% högre än dess närmaste Mamba-konkurrent. Detta resultat stöder starkt den första hypotesen som hävdar att introduktionen av en tillståndsrummodell för bildklassificeringsuppgifter inte är nödvändig.

Objektdetektion och instanssegmenteringsuppgifter

COCO fungerar som en benchmark för objektdetektions- och instanssegmenteringsuppgifter. Även om MambaOut-ramverket kan överträffa prestandan hos vissa visuella Mambamodeller, misslyckas det fortfarande med att replikera prestandan som erbjuds av de mest avancerade visuella Mambamodellerna, inklusive LocalVMamba och VMamba. Dispariteten i prestanda mellan MambaOut och de mest avancerade visuella modellerna betonar den potentiella fördelen med att integrera Mambafamiljen av modeller i långa sekvenser visuella uppgifter. Men det är värt att notera att en betydande prestandagap fortfarande finns mellan de mest avancerade konvolutions-uppmärksamhets-hybridmodellerna och visuella Mambamodeller.

Slutliga tankar

Mambafamiljen av modeller verkar vara lämpad för uppgifter som involverar autoregressiva och långa sekvensegenskaper. MambaOut-ramverket antar att Mamba inte är nödvändigt för visionuppgifter, eftersom bildklassificering inte överensstämmer med antingen långa sekvenser eller autoregressiva egenskaper. Även om segmenterings- och detektionsuppgifter inte heller är autoregressiva, visar de långa sekvensegenskaper, vilket leder MambaOut-ramverket att anta den potentiella fördelen med Mamba för dessa uppgifter. MambaOut-ramverket konstrueras genom att stapla Mambablock ovanpå varandra medan den tar bort tillståndsrummodellen, dess kärntokenblandare. De experimentella resultaten stöder hypotesen som presenteras av MambaOut-ramverket, eftersom det kan överträffa alla visuella Mambamodeller på ImageNet-bildklassificeringsramverket, vilket indikerar att Mamba inte är nödvändigt för visionuppgifter. Å andra sidan kan MambaOut-ramverket inte replikera prestandan som erbjuds av den mest avancerade Mambamodellen för detektions- och segmenteringsuppgifter, vilket visar den potentiella fördelen med Mambafamiljen av modeller för långa sekvenser visuella uppgifter.