I moderne maskinlærings- og kunstig intelligens-rammer er transformatorer en av de mest brukte komponentene over ulike domener, inkludert GPT-serien og BERT i naturlig språkbehandling, og Vision Transformers i visuelle oppgaver. Selv om inkludering av transformatorer i modellarkitekturen gir en betydelig forbedring av modellens ytelse, skalerer oppmerksomhetsmodulen i Transformatorer kvadratisk med sekvenslengden, noe som fører til store beregningsmessige utfordringer. Over årene har ulike modeller utforsket ulike strategier for å takle de beregningsmessige utfordringene, inkludert metoder som kernelisering, historisk minnehåndtering, tokenblandingsområdesbegrensning og lav-rangmetoder. Nylig har rekursive neurale nettverk som Mamba og RWKV samlet betydelig oppmerksomhet på grunn av deres lovende resultater i store språkmodeller.

Mamba, en familie av modeller, har en arkitektur med en rekursiv neural nettverks-liknende tokenblander i en tilstandsmengde-modell, som nylig ble introdusert for å løse den kvadratiske kompleksiteten i oppmerksomhetsmekanismene, og ble deretter brukt i visuelle oppgaver. Forskere har allerede utforsket måter å inkorporere Mamba og SSM eller Tilstandsmengde-modell i visuelle gjenkjenningsoppgaver, og Vision Mamba, som inkorporerer Mamba for å utvikle isotrope visuelle modeller lik Vision Transformer, er et godt eksempel på dette. På den andre siden inkorporerer LocalMamba lokale induktive fordommer for å forbedre visuelle Mamba-modeller, og VMamba-ramverket bruker basis-Mamba-modellen til å konstruere hierarkiske modeller lik ResNet og AlexNet. Men, er Mamba-ramverket virkelig essensielt for visuelle gjenkjenningskontekstoppaver? Spørsmålet oppstår fordi ytelsen til Mamba-familien av modeller for visuelle oppgaver har vært skuffende så langt sammenlignet med tradisjonelle oppmerksomhetsbaserte og konvolusjonsmodeller.

MambaOut forsøker å svare på om Mamba er ideelt egnet for oppgaver med autoregressive og langsekvens-egenskaper. MambaOut-ramverket antar at Mamba ikke er nødvendig for visuelle oppgaver siden bildeklassifisering ikke stemmer overens med langsekvens- eller autoregressive egenskaper. Selv om segmenterings- og detekteringsoppgaver ikke heller er autoregressive, viser de langsekvens-egenskaper, noe som fører MambaOut-ramverket til å anta potensialet for Mamba for disse oppgavene. MambaOut-ramverket er konstruert ved å stable Mamba-blokker på toppen av hverandre mens de fjerner tilstandsmengde-modellen, dens kjerne tokenblander. De eksperimentelle resultatene støtter hypotesen fremmet av MambaOut-ramverket, siden det er i stand til å overgå alle visuelle Mamba-modeller på ImageNet-bildeklassifiseringsramverket, noe som indikerer at Mamba ikke er nødvendig for visuelle oppgaver. På den andre siden er MambaOut-ramverket ikke i stand til å gjengi ytelsen tilknyttet statens kunstige Mamba-modell for detekterings- og segmenteringsoppgaver, noe som demonstrerer potensialet for Mamba-familien av modeller for langsekvens-visuelle oppgaver.

Dette dokumentet har som mål å dekke MambaOut-ramverket i dybden, og vi utforsker mekanismen, metoden, arkitekturen til ramverket sammen med dens sammenligning med statens kunstige ramverk. Så la oss begynne.

MambaOut: Er Mamba virkelig nødvendig for visjon?

Med fremgangen i maskinlæringsapplikasjoner og -evner, har Transformatorer oppstått som det mest brukte fundamentet for en rekke oppgaver, og driver fremtredende modeller inkludert Vision Transformers, GPT-serien av modeller, BERT og noen flere. Likevel, tokenblanderen til transformatorer medfører en kvadratisk kompleksitet i forhold til sekvenslengden, og stiller betydelige utfordringer for lengre sekvenser. For å løse dette problemet, har ulike tokenblandere med lineær kompleksitet i forhold til tokenlengden som Linformer, Longformer, Performer, Dynamisk konvolusjon og Big Bird blitt introdusert. Likevel, i nyere tid, har rekursive neurale nettverks-liknende modeller blitt mer fremtredende på grunn av deres evne til parallell trening og levering av effektiv ytelse på lengre sekvenser. Guidet av de bemerkelsesverdige resultater tilbudt av RNN-liknende modeller, forsøker forskere å introdusere og bruke Mamba-familien av modeller i visuelle gjenkjenningsoppgaver, siden tokenblanderen til Mamba-modellene er den strukturerte tilstandsmengde-modellen under ånden av rekursive neurale nettverk. Likevel, indikerer eksperimentelle resultater at tilstandsmengde-modell-baserte ramverk for visjon utfører under gjennomsnittlig over virkelige visuelle oppgaver sammenlignet med oppmerksomhetsbaserte og statens kunstige konvolusjonsmodeller.

MambaOut er et forsøk på å undersøke naturen til Mamba-familien av modeller, og summerer at Mamba er egnet for oppgaver som er enten autoregressive eller langsekvens, siden tilstandsmengde-modellen har en innebygd RNN-mekanisme. Likevel, siden de fleste visuelle oppgaver ikke har begge disse egenskapene, og basert på noen eksperimenter, foreslår MambaOut følgende to hypoteser. Først, er tilstandsmengde-modellen ikke nødvendig for bildeklassifisering, siden bildeklassifiseringsoppgaven ikke stemmer overens med autoregressive eller langsekvens-egenskaper. Andre, kan tilstandsmengde-modeller være hypotetisk nyttige for instanssegmentering og semantisk segmentering, samt objekt-detektering, siden de følger langsekvens-egenskaper, selv om de ikke er autoregressive. Eksperimentelle resultater utført for å analysere den rekursive neurale nettverks-liknende mekanismen til tilstandsmengde-modellen konkluderer med at Mamba-ramverket er egnet for oppgaver med autoregressive eller langsekvens-egenskaper, og er unødvendig for bildeklassifiseringsoppgaver. Når det gjelder MambaOut-ramverket selv, er det en serie av Mamba-modeller basert på Gated Convolutional Neural Network-blokker uten tilstandsmengde-modellen, og eksperimentelle resultater indikerer at MambaOut-ramverket er i stand til å overgå Mamba-modellene i bildeklassifiseringsoppgaver, men ikke kan gjengi ytelsen på bilde-detekterings- og segmenteringsoppgaver.

Hvilke oppgaver er Mamba egnet for?

Tokenblanderen til Mamba-ramverket er en selektiv tilstandsmengde-modell som definerer fire inndata-avhengige parametre. Den rekursive egenskapen til ramverket skiller RNN-liknende tilstandsmengde-modeller fra kausale oppmerksomhetsmodeller. Den skjulte tilstanden kan sees på som en fast-størrelse-minne som lagrer historisk informasjon. Den faste størrelsen betyr at minnet er tapende, men det sikrer også at den beregningsmessige kompleksiteten til å integrere minne med nåværende inndata forblir konstant. Omvendt, lagrer kausale oppmerksomhetslag alle nøkler og verdier fra tidligere token, og utvides ved å legge til nøkkelen og verdien til nåværende token med hver ny inndata, og dette minnet er tapfritt, teoretisk sett. Likevel, vokser minnestørrelsen når flere token blir innmatet, og øker kompleksiteten til å integrere minne med nåværende inndata. Forskjellen mellom minnemekanismene mellom kausale oppmerksomhetsmodeller og RNN-liknende modeller er illustrert i følgende figur.

Siden minnet til tilstandsmengde-modellen er innebygd tapende, kommer det til kort i forhold til det tapfrie minnet til kausale oppmerksomhetsmodeller, og som resultat, kan Mamba-modellene ikke demonstrere sin styrke i å håndtere korte sekvenser, et område hvor kausale oppmerksomhetsmekanismer utfører godt med lettighet. Likevel, i scenarioer som involverer lange sekvenser, feiler den kausale oppmerksomhets-tilnærmingen på grunn av den kvadratiske kompleksiteten. I dette scenarioet, viser Mamba-ramverket sin effektivitet i å kombinere minne med nåværende inndata, og er i stand til å håndtere lange sekvenser jevnt, noe som indikerer at Mamba-familien av modeller er egnet for å prosessere lange sekvenser.

Det er også verdt å merke seg at på den ene siden, hvor den rekursive naturen til tilstandsmengde-modellen tillater Mamba-modellene å håndtere lange sekvenser effektivt, introduserer det en bestemt begrensning, siden det bare kan aksessere informasjon fra nåværende og tidligere tidssteg, og denne type tokenblanding kalles kausalt modus, og er illustrert i følgende figur. På grunn av sin kausale natur, er denne metoden egnet for autoregressive genereringsoppgaver.

Fullt-synlig modus er egnet for å forstå oppgaver hvor modellen kan aksessere alle inndata på en gang. Videre, er oppmerksomhet i fullt-synlig modus som standard, og kan bli omgjort til kausalt modus lett ved å bruke kausale masker til oppmerksomhetskart, og RNN-liknende modeller opererer innebygd i kausalt modus på grunn av deres rekursive egenskaper. For å summerer ting, er Mamba-ramverket egnet for oppgaver som enten involverer å prosessere lange sekvenser eller oppgaver som krever kausalt tokenblandingsmodus.

Visuelle gjenkjenningsoppgaver, kausale tokenblandingskoder og meget lange sekvenser

Som diskutert tidligere, tillater fullt-synlig tokenblandingsmodus ubegrenset rekkevidde av blanding, mens den kausale modus begrenser nåværende token til å bare aksessere informasjon fra forutgående token. Videre, er visuell gjenkjenningsoppgave kategorisert som en forståelsesoppgave hvor modellen kan se hele bildet på en gang, og dette eliminerer behovet for begrensninger på tokenblanding, og påfører ytterligere begrensninger på tokenblanding kan potensielt degradere modellens ytelse. Generelt, er fullt-synlig modus egnet for forståelsesoppgaver, mens den kausale modus passer bedre for autoregressive oppgaver. Videre, støttes dette kravet ytterligere av faktumet at BeRT- og ViT-modeller brukes mer for forståelsesoppgaver enn GPT-modeller.

Eksperimentell verifisering og resultater

Neste steg er å verifisere hypotesene fremmet av MambaOut-ramverket eksperimentelt. Som demonstrert i følgende bilde, er Mamba-blokken basert på Gated Convolutional Neural Network-blokken, og meta-arkitekturen til Mamba- og Gated CNN-blokkene kan behandles som en forenklet integrasjon av tokenblanderen til MetaFormer-ramverket og en MLP.

Mamba-blokken utvider Gated Convolutional Neural Network med en ekstra Tilstandsmengde-modell, og tilstedeværelsen av en SSm er det som skiller Gated CNN og Mamba-blokken. Videre, for å forbedre den praktiske hastigheten, gjennomfører MambaOut-ramverket bare dybdevis konvolusjon på delkanaler, og som demonstrert i følgende algoritme, er implementeringen av Gated CNN-blokken enkel, men likevel effektiv og elegant.

Bildeklassifiseringsoppgave

ImageNet tjener som benchmark for bildeklassifiseringsoppgaver, siden det består av over tusen vanlige klasser, over 1,3 millioner treningsbilder og over 50 000 valideringsbilder. Dataforstørkningen brukt i eksperimentet består av tilfeldig størrelsesendring, Mixup, fargejustering, Random Erasing, CutMix og Rand Augment. Følgende tabell summerer ytelsen til Mamba-familien av modeller, MambaOut-modellen og andre oppmerksomhetsbaserte og konvolusjonsmodeller på ImageNet-datasettet. Som det kan ses, overgår MambaOut-ramverket uten tilstandsmengde-modellen visuelle Mamba-modeller med SSM konsekvent over alle modellstørrelser.

For eksempel returnerer MambaOut-Small-modellen en top-1 nøyaktighetspoeng på over 84%, 0,4% høyere enn sin nærmeste Mamba-konkurrent. Dette resultatet støtter sterkt den første hypotesen som hevder at å introdusere en tilstandsmengde-modell for bildeklassifiseringsoppgaver ikke er nødvendig.

Objekt-detekterings- og instanssegmenteringsoppgaver

COCO tjener som benchmark for objekt-detekterings- og instanssegmenteringsoppgaver. Selv om MambaOut-ramverket er i stand til å overgå ytelsen til noen visuelle Mamba-modeller, kommer det likevel til kort sammenlignet med statens kunstige visuelle Mamba-modeller, inkludert LocalVMamba og VMamba. Forskjellen i ytelse til MambaOut mot statens kunstige visuelle modeller understreker fordelene med å integrere Mamba-familien av modeller i langsekvens-visuelle oppgaver. Likevel, er det verdt å merke seg at en betydelig ytelsesforskjell fortsatt eksisterer mellom statens kunstige konvolusjons-oppmerksomhets-hybridmodeller og visuelle Mamba-modeller.

Slutt tanker

Mamba-familien av modeller synes å være egnet for oppgaver som involverer autoregressive og langsekvens-egenskaper. MambaOut-ramverket antar at Mamba ikke er nødvendig for visuelle oppgaver, siden bildeklassifisering ikke stemmer overens med langsekvens- eller autoregressive egenskaper. Selv om segmenterings- og detekteringsoppgaver ikke heller er autoregressive, viser de langsekvens-egenskaper, noe som fører MambaOut-ramverket til å anta potensialet for Mamba for disse oppgavene. MambaOut-ramverket er konstruert ved å stable Mamba-blokker på toppen av hverandre mens de fjerner tilstandsmengde-modellen, dens kjerne tokenblander. De eksperimentelle resultatene støtter hypotesen fremmet av MambaOut-ramverket, siden det er i stand til å overgå alle visuelle Mamba-modeller på ImageNet-bildeklassifiseringsramverket, noe som indikerer at Mamba ikke er nødvendig for visuelle oppgaver. På den andre siden, er MambaOut-ramverket ikke i stand til å gjengi ytelsen tilknyttet statens kunstige Mamba-modell for detekterings- og segmenteringsoppgaver, noe som demonstrerer potensialet for Mamba-familien av modeller for langsekvens-visuelle oppgaver.