V moderních rámcích strojového učení a umělé inteligence jsou transformátory jedním z nejčastěji používaných komponentů napříč různými doménami, včetně série GPT a BERT v zpracování přirozeného jazyka a Vision Transformers v úkolech počítačového vidění. Ačkoli zařazení transformátorů do architektury modelu poskytuje významný impuls výkonu modelu, modul pozornosti v transformátorech škáluje se čtvercem délky sekvence, což vede k vysokým výpočetním výzvám. Během let různé modely prozkoumaly různé strategie, aby řešily výpočetní výzvy, včetně metod, jako je kernelizace, komprese historické paměti, omezení rozsahu míchání tokenů a nízkorozměrové přístupy. Nedávno získaly rekurentní neuronové sítě, jako jsou metody Mamba a RWKV, značnou pozornost díky svým slibným výsledkům v velkých jazycových modelech.

Mamba, rodina modelů, má architekturu s rekurentní neuronovou sítí podobným mixérem tokenů ve stavu prostoru, který byl nedávno uveden, aby řešil kvadratickou složitost mechanismů pozornosti a byl následně aplikován na úkoly vidění. Výzkumníci již prozkoumali způsoby, jak začlenit Mamba a SSM nebo model stavu prostoru do úkolů vizuálního rozpoznávání, a Vision Mamba, který začleňuje Mamba pro vývoj izotropních modelů vidění podobných Vision Transformer, je skvělým příkladem toho. Na druhé straně LocalMamba začleňuje lokální induktivní předpojatosti, aby vylepšil vizuální modely Mamba, a rámec VMamba využívá základní model Mamba k vytvoření hierarchických modelů podobných ResNet a AlexNet. Ovšem, je rámec Mamba opravdu nezbytný pro kontext vizuálního rozpoznávání? Tato otázka vzniká, protože výkon rodiny modelů Mamba pro úkoly vidění byl dosud mdlý ve srovnání s tradičními modely založenými na pozornosti a konvolučními modely.

MambaOut se pokouší odpovědět na otázku, zda je Mamba ideálně vhodný pro úkoly s autoregresivními a dlouhými sekvencemi. Rámec MambaOut předpokládá, že Mamba není nutný pro úkoly vidění, jelikož klasifikace obrazů nesouhlasí ani s autoregresivními, ani s dlouhými sekvencemi. Ačkoli úkoly segmentace a detekce nejsou také autoregresivní, vykazují charakteristické dlouhé sekvence, což vede rámec MambaOut k hypotéze o potenciálu Mamba pro tyto úkoly. Rámec MambaOut je konstruován tak, že se skládá z bloků Mamba nad sebou, přičemž se odstraňuje model stavu prostoru, jeho jádrový mixér tokenů. Experimentální výsledky podporují hypotézu, kterou rámec MambaOut navrhuje, jelikož je schopen překonat všechny vizuální modely Mamba na rámci ImageNet pro klasifikaci obrazů, což naznačuje, že Mamba není nutný pro úkoly vidění. Na druhé straně pro úkoly detekce a segmentace rámec MambaOut není schopen replikovat výkon, který nabízí nejmodernější model Mamba, což demonstruje potenciál rodiny modelů Mamba pro úkoly vidění s dlouhými sekvencemi.

Tento článek si klade za cíl pokrýt rámec MambaOut do hloubky a prozkoumává mechanismus, metodologii, architekturu rámce spolu s jeho srovnáním se stávajícími rámci. Takže pojďme začít.

MambaOut: Je Mamba opravdu potřeba pro vidění?

S pokrokem aplikací strojového učení a jejich možností se transformátory staly hlavní součástí širokého spektra úkolů, pohánějí význačné modely, jako jsou Vision Transformers, série modelů GPT, BERT a další. Nicméně, modul mixéru tokenů v transformátoru má kvadratickou složitost vzhledem k délce sekvence, což představuje značné výpočetní výzvy. Aby se tato otázka řešila, byly představeny různé mixéry tokenů s lineární složitostí vůči délce tokenů, jako jsou Linformer, Longformer, Performer, Dynamický konvoluční a Big Bird. Nicméně, v nedávné době získávají modely podobné rekurentním neuronovým sítím, jako jsou metody Mamba a RWKV, značnou pozornost díky své schopnosti paralelního tréninku a efektivnímu výkonu na delších sekvencích. Vedeni pozoruhodnými výsledky, které nabízí modely RNN, se výzkumníci snaží zavést a využít rodinu modelů Mamba v úkolech vizuálního rozpoznávání, jelikož mixér tokenů modelů Mamba je strukturovaný model stavu prostoru v duchu rekurentních neuronových sítí. Ovšem, experimentální výsledky ukazují, že rámce založené na modelu stavu prostoru pro vidění vykazují podprůměrný výkon napříč reálnými úkoly vidění ve srovnání s modely založenými na pozornosti a stávajícími konvolučními modely.

MambaOut je pokus prozkoumat povahu rodiny modelů Mamba a shrnuje, že Mamba je vhodný pro úkoly, které jsou buď autoregresivní, nebo mají dlouhé sekvence, jelikož model stavu prostoru má vrozený mechanismus RNN. Nicméně, většina úkolů vidění nevykazuje obě tyto charakteristiky, a na základě některých experimentů, MambaOut navrhuje dvě hypotézy. První, model stavu prostoru není nutný pro klasifikaci obrazů, jelikož úkol klasifikace obrazů nesouhlasí ani s autoregresivními, ani s dlouhými sekvencemi. Druhá, modely stavu prostoru mohou být hypoteticky prospěšné pro segmentaci instancí a semantickou segmentaci spolu s detekcí objektů, jelikož tyto úkoly vykazují charakteristické dlouhé sekvence, i když nejsou autoregresivní. Experimentální výsledky provedené za účelem analýzy mechanismu RNN modelu stavu prostoru uzavírají, že rámec Mamba je vhodný pro úkoly s autoregresivními nebo dlouhými sekvencemi a není nutný pro úkoly klasifikace obrazů. Pokud jde o samotný rámec MambaOut, jedná se o řadu modelů Mamba založených na blocích Gated Convolutional Neural Network bez modelu stavu prostoru, a experimentální výsledky ukazují, že rámec MambaOut je schopen překonat modely Mamba v úkolech klasifikace obrazů, ale není schopen replikovat výkon na úkolech detekce a segmentace obrazů.

Pro které úkoly je Mamba vhodný?

Mixér tokenů rámce Mamba je selektivní model stavu prostoru, který definuje čtyři vstupně závislé parametry. Rekurentní vlastnost rámce odlišuje modely RNN podobné modely stavu prostoru od kauzální pozornosti. Skrytý stav lze chápat jako pevně velikou paměť, která uchovává historické informace. Pevná velikost znamená, že paměť je ztrátová, ale také zajišťuje, že výpočetní složitost integrace paměti se současným vstupem zůstává konstantní. Naopak, kauzální vrstvy pozornosti uchovávají všechny klíče a hodnoty z předchozích tokenů a rozšiřují se přidáním klíče a hodnoty současného tokenu s každým novým vstupem, a tato paměť je bezztrátová, teoreticky. Nicméně, velikost paměti roste s tím, jak je zpracováno více tokenů, což zvyšuje složitost integrace paměti se současným vstupem. Rozdíl mezi mechanismy paměti mezi kauzální pozorností a modely RNN je ilustrován v následující figurce.

Jelikož paměť modelu stavu prostoru je vrozeně ztrátová, nedosahuje bezztrátové paměti kauzální pozornosti, a jako výsledek, modely Mamba nemohou prokázat svou sílu v zpracování krátkých sekvencí, oblast, ve které kauzální mechanismus pozornosti funguje snadno. Nicméně, v scénářích, které zahrnují dlouhé sekvence, přístup kauzální pozornosti selhává kvůli kvadratické složitosti. V tomto scénáři rámec Mamba prokazuje svou efektivitu při slučování paměti se současným vstupem a je schopen zpracovat dlouhé sekvence hladce, což naznačuje, že rodina modelů Mamba je vhodná pro zpracování dlouhých sekvencí.

Je také důležité poznamenat, že na jedné straně, kde rekurentní povaha modelu stavu prostoru umožňuje modelům Mamba efektivně zpracovat dlouhé sekvence, zavádí určitá omezení, jelikož může přístupovat pouze informace z aktuálního a předchozích časových kroků, a tento typ míchání tokenů se nazývá kauzální mód, ilustrovaný v následující figurce. Díky své kauzální povaze je tento přístup vhodný pro autoregresivní generativní úkoly.

Plně viditelný mód je vhodný pro úkoly porozumění, kde model může přístupovat všechny vstupy najednou. Kromě toho, pozornost je ve výchozím nastavení v plně viditelném módu, a lze ji snadno převést do kauzálního módu aplikací kauzálních masek na mapy pozornosti, a modely RNN fungují vrozeně v kauzálním módu díky svým rekurentním vlastnostem. Shrnutí, rámec Mamba je vhodný pro úkoly, které zahrnují zpracování dlouhých sekvencí nebo úkoly, které vyžadují kauzální mód míchání tokenů.

Úkoly vizuálního rozpoznávání, kauzální míchání tokenů a velmi dlouhé sekvence

Jak bylo diskutováno dříve, plně viditelný mód míchání tokenů umožňuje neomezený rozsah míchání, zatímco kauzální mód omezuje aktuální token na přístup pouze k informacím z předchozích tokenů. Kromě toho, vizuální rozpoznávání se kategorizuje jako úkol porozumění, kde model může vidět celý obraz najednou, a to eliminuje potřebu omezení míchání tokenů a zavádění dalších omezení na míchání tokenů, což potenciálně může zhoršit výkon modelu. Obecně, plně viditelný mód je vhodný pro úkoly porozumění, zatímco kauzální mód je vhodnější pro autoregresivní úkoly. Kromě toho, tato tvrzení jsou podporována skutečností, že modely BeRT a ViT se používají pro úkoly porozumění častěji než modely GPT.

Experimentální ověření a výsledky

Dalším krokem je experimentální ověření hypotéz navrženým rámcem MambaOut. Jak je demonstrováno v následující obrazové ukázce, blok Mamba je založen na bloku Gated Convolutional Neural Network, a meta-architektura bloků Mamba a Gated CNN lze chápat jako zjednodušenou integraci mixéru tokenů rámce MetaFormer a MLP.

Blok Mamba rozšiřuje blok Gated Convolutional Neural Network o další model stavu prostoru, a přítomnost modelu stavu prostoru je tím, co odlišuje blok Gated CNN a blok Mamba. Kromě toho, aby se zlepšila praktická rychlost, rámec MambaOut provádí pouze hloubkovou konvoluci na částečné kanály, a jak je demonstrováno v následující algoritmu, implementace bloku Gated CNN je jednoduchá, efektivní a elegantní.

Úkol klasifikace obrazů

ImageNet slouží jako benchmark pro úkoly klasifikace obrazů, jelikož se skládá z více než tisíce běžných tříd, více než 1,3 milionu trénovacích obrazů a více než 50 000 validačních obrazů. Data augmentace použitá pro experiment zahrnuje náhodné ořezání, Mixup, barevnou jasu, Random Erasing, CutMix a Rand Augment. Následující tabulka shrnuje výkon rodiny modelů Mamba, modelu MambaOut a dalších modelů založených na pozornosti a konvolučních modelech na datové sadě ImageNet. Jak je vidět, rámec MambaOut bez modelu stavu prostoru překonává vizuální modely Mamba se SSM konzistentně napříč všemi velikostmi modelů.

Například model MambaOut-Small vrátí skóre přesné třídy 1 přes 84%, o 0,4% vyšší než jeho nejbližší konkurent Mamba. Tento výsledek silně podporuje první hypotézu, která tvrdí, že zavedení modelu stavu prostoru pro úkoly klasifikace obrazů není nutné.

Úkoly detekce a segmentace objektů

COCO slouží jako benchmark pro úkoly detekce a segmentace objektů. Ačkoli rámec MambaOut je schopen překonat výkon některých vizuálních modelů Mamba, stále zaostává za stávajícími vizuálními modely Mamba, včetně LocalVMamba a VMamba. Rozdíl ve výkonu mezi rámcem MambaOut a stávajícími vizuálními modely zdůrazňuje výhody integrace rodiny modelů Mamba do úkolů vidění s dlouhými sekvencemi. Nicméně, je důležité poznamenat, že významný rozdíl ve výkonu stále existuje mezi stávajícími konvolučními a pozornostními hybridními modely a vizuálními modely Mamba.

Závěrečné myšlenky

Rodina modelů Mamba se zdá být vhodná pro úkoly, které zahrnují autoregresivní a dlouhé sekvence. Rámec MambaOut předpokládá, že Mamba není nutný pro úkoly vidění, jelikož klasifikace obrazů nesouhlasí ani s autoregresivními, ani s dlouhými sekvencemi. Ačkoli úkoly segmentace a detekce nejsou také autoregresivní, vykazují charakteristické dlouhé sekvence, což vede rámec MambaOut k hypotéze o potenciálu Mamba pro tyto úkoly. Rámec MambaOut je konstruován tak, že se skládá z bloků Mamba nad sebou, přičemž se odstraňuje model stavu prostoru, jeho jádrový mixér tokenů. Experimentální výsledky podporují hypotézu, kterou rámec MambaOut navrhuje, jelikož je schopen překonat všechny vizuální modely Mamba na rámci ImageNet pro klasifikaci obrazů, což naznačuje, že Mamba není nutný pro úkoly vidění. Na druhé straně pro úkoly detekce a segmentace rámec MambaOut není schopen replikovat výkon, který nabízí nejmodernější model Mamba, což demonstruje potenciál rodiny modelů Mamba pro úkoly vidění s dlouhými sekvencemi.