W nowoczesnych ramach uczenia maszynowego i sztucznej inteligencji, transformery są jednym z najczęściej używanych komponentów w różnych dziedzinach, w tym w serii GPT, BERT w przetwarzaniu języka naturalnego oraz w transformatorach wizualnych w zadaniach związanych z widzeniem. Chociaż включenie transformatorów w architekturę modelu daje znaczny przyrost wydajności modelu, moduł uwagi w transformatorach skaluje się kwadratowo z długością sekwencji, co prowadzi do znacznych wyzwań obliczeniowych. Na przestrzeni lat, różne modele eksperymentowały z różnymi strategiami, aby pokonać te wyzwania obliczeniowe, w tym metody takie jak kernelizacja, kompresja pamięci historycznej, ograniczenie zakresu mieszania tokenów i podejścia niskiego rzędu. Ostatnio, sieci neuronowe rekurencyjne, takie jak metody Mamba i RWKV, zebrały znaczącą uwagę ze względu na ich obiecujące wyniki w dużych modelach językowych.

Mamba, rodzina modeli, ma architekturę z rekurencyjnym modelem neuronowym, podobnym do mieszania tokenów w modelu przestrzennym, który został niedawno wprowadzony, aby rozwiązać kwadratową złożoność mechanizmów uwagi i został zastosowany w zadaniach związanych z widzeniem. Naukowcy już zbadali sposoby, aby włączyć Mamba i SSM (State Space Model) do zadań rozpoznawania wizualnego, a Vision Mamba, który włącza Mamba, aby rozwijać izotropowe modele wizualne, podobne do transformatora wizualnego, jest doskonałym przykładem. Z drugiej strony, LocalMamba włącza lokalne uprzedzenia indukcyjne, aby poprawić wizualne modele Mamba, a framework VMamba wykorzystuje podstawowy model Mamba, aby budować hierarchiczne modele, podobne do ResNet i AlexNet. Czy jednak framework Mamba jest naprawdę niezbędny dla zadań związanych z kontekstem wizualnym? Pytanie to pojawia się, ponieważ wydajność rodziny modeli Mamba w zadaniach związanych z widzeniem była dotychczas niezadowalająca w porównaniu z tradycyjnymi modelami uwagi i konwolucyjnymi.

MambaOut próbuje odpowiedzieć na pytanie, czy Mamba jest idealnie dopasowana do zadań o charakterze autoregresyjnym i długiej sekwencji. Framework MambaOut stawia hipotezę, że Mamba nie jest niezbędna dla zadań związanych z widzeniem, ponieważ klasyfikacja obrazów nie zgadza się z cechami długiej sekwencji ani autoregresyjnymi. Chociaż zadania segmentacji i wykrywania obiektów również nie są autoregresyjne, wykazują one cechy długiej sekwencji, co prowadzi framework MambaOut do hipotezy o potencjale Mamba dla tych zadań. Framework MambaOut składa się z wielu bloków Mamba, bez modelu przestrzennego, a wyniki eksperymentalne potwierdzają hipotezę postawioną przez framework MambaOut, ponieważ jest on w stanie przewyższyć wszystkie wizualne modele Mamba na frameworku klasyfikacji obrazów ImageNet, co wskazuje, że Mamba nie jest niezbędna dla zadań związanych z widzeniem. Z drugiej strony, dla zadań wykrywania i segmentacji obiektów, framework MambaOut nie jest w stanie powtórzyć wyników oferowanych przez najnowsze modele Mamba, co demonstruje potencjał rodziny modeli Mamba dla zadań wizualnych o długiej sekwencji.

Artykuł ten ma na celu przedstawienie frameworku MambaOut w detalach, a my będziemy eksplorować mechanizm, metodologię, architekturę frameworku wraz z porównaniem z najnowszymi frameworkami. Zatem zacznijmy.

MambaOut: Czy Mamba jest naprawdę potrzebna do zadań związanych z widzeniem?

Wraz z postępem aplikacji i możliwości uczenia maszynowego, transformery stały się głównym elementem dla wielu zadań, napędzając wybitne modele, w tym transformatory wizualne, serie modeli GPT, BERT i kilka innych. Jednakże, moduł mieszania tokenów w transformatorze powoduje kwadratową złożoność w stosunku do długości sekwencji i stwarza znaczne wyzwania obliczeniowe. Aby rozwiązać ten problem, wprowadzono wiele modyfikacji modułu mieszania tokenów o liniowej złożoności w stosunku do długości tokena, takich jak Linformer, Longformer, Performer, Dynamic Convolution i Big Bird. Jednakże, w ostatnich czasach, modele sieci neuronowych rekurencyjnych, takie jak Mamba i RWKV, zyskały na znaczeniu ze względu na ich zdolność do równoległego treningu i efektywnej wydajności na dłuższych sekwencjach. Pod wpływem imponujących wyników modeli RNN, naukowcy próbują wprowadzić i wykorzystać rodziny modeli Mamba w zadaniach rozpoznawania wizualnego, ponieważ moduł mieszania tokenów w modelach Mamba jest uporządkowanym modelem przestrzennym w duchu sieci neuronowych rekurencyjnych. Jednakże, wyniki eksperymentalne wskazują, że frameworki oparte na modelu przestrzennym dla zadań wizualnych wykonują poniżej oczekiwań w porównaniu z tradycyjnymi modelami uwagi i najnowszymi modelami konwolucyjnymi.

MambaOut jest próbą zbadania natury rodziny modeli Mamba i stwierdza, że Mamba jest odpowiednia dla zadań, które są albo autoregresyjne, albo mają długą sekwencję, ponieważ model przestrzenny ma wewnętrzny mechanizm sieci neuronowych rekurencyjnych. Jednakże, większość zadań wizualnych nie posiada obu tych cech, a na podstawie niektórych eksperymentów, MambaOut stawia dwie hipotezy. Po pierwsze, model przestrzenny nie jest niezbędny dla klasyfikacji obrazów, ponieważ zadanie klasyfikacji obrazów nie zgadza się z cechami długiej sekwencji ani autoregresyjnymi. Po drugie, modele przestrzenne mogą być potencjalnie korzystne dla segmentacji instancji i semantycznej, a także dla wykrywania obiektów, ponieważ wykazują one cechy długiej sekwencji, chociaż nie są autoregresyjne. Wyniki eksperymentalne przeprowadzone w celu analizy mechanizmu sieci neuronowych rekurencyjnych modelu przestrzennego wskazują, że framework Mamba jest odpowiedni dla zadań o długiej sekwencji lub autoregresyjnych, i nie jest niezbędny dla zadań klasyfikacji obrazów. Jeśli chodzi o sam framework MambaOut, jest to seria modeli Mamba opartych na blokach sieci neuronowych z bramkami bez modelu przestrzennego, a wyniki eksperymentalne wskazują, że framework MambaOut jest w stanie przewyższyć modele Mamba w zadaniach klasyfikacji obrazów, ale nie jest w stanie powtórzyć wyników na zadaniach wykrywania i segmentacji obrazów.

Jakie zadania są odpowiednie dla Mamba?

Moduł mieszania tokenów w frameworku Mamba jest wybiórczym modelem przestrzennym, który definiuje cztery parametry wejściowe zależne od danych wejściowych. Właściwość rekurencyjna frameworku odróżnia modele przestrzenne RNN od uwagi przyczynowej. Stan ukryty można traktować jako pamięć o stałym rozmiarze, która przechowuje informacje historyczne. Stały rozmiar oznacza, że pamięć jest utratna, ale również zapewnia, że złożoność obliczeniowa integracji pamięci z bieżącym wejściem pozostaje stała. Odwrotnie, warstwy uwagi przyczynowej przechowują wszystkie klucze i wartości z poprzednich tokenów i rozwijają się przez dodanie klucza i wartości bieżącego tokenu z każdym nowym wejściem, a ta pamięć jest bezstratna, teoretycznie. Jednakże, rozmiar pamięci rośnie wraz z ilością tokenów wejściowych, co zwiększa złożoność obliczeniową integracji pamięci z bieżącym wejściem. Różnica między mechanizmami pamięci w uwadze przyczynowej i modelach RNN jest ilustrowana na poniższym rysunku.

Ponieważ pamięć modelu przestrzennego jest wewnętrznie utratna, nie dorównuje bezstratnej pamięci uwagi przyczynowej, a w rezultacie, modele Mamba nie mogą zademonstrować swojej siły w radzeniu sobie z krótkimi sekwencjami, obszarem, w którym mechanizm uwagi przyczynowej działa dobrze. Jednakże, w scenariuszach, które obejmują długie sekwencje, podejście uwagi przyczynowej zawodzi ze względu na kwadratową złożoność. W tym scenariuszu, framework Mamba pokazuje swoją wydajność w łączeniu pamięci z bieżącym wejściem i jest w stanie radzić sobie z długimi sekwencjami gładko, co wskazuje, że rodzina modeli Mamba jest dobrze dopasowana do przetwarzania długich sekwencji.

Warto również zauważyć, że z jednej strony, gdzie rekurencyjna natura modelu przestrzennego pozwala modelom Mamba na efektywne radzenie sobie z długimi sekwencjami, wprowadza pewne ograniczenia, ponieważ może dostępować informacje tylko z bieżącego i poprzednich kroków czasowych, a ten rodzaj mieszania tokenów jest określany jako tryb przyczynowy, i jest ilustrowany na poniższym rysunku. Ze względu na swój przyczynowy charakter, ta metoda jest odpowiednia dla zadań generacyjnych autoregresyjnych.

Tryb w pełni widoczny jest odpowiedni dla zadań zrozumienia, gdzie model może dostępować wszystkie dane wejściowe na raz. Ponadto, uwaga jest w trybie w pełni widocznym domyślnie i może być łatwo przekształcona w tryb przyczynowy przez zastosowanie masek przyczynowych do map uwagi, a modele RNN działały wewnętrznie w trybie przyczynowym ze względu na ich rekurencyjne właściwości. Podsumowując, framework Mamba jest odpowiedni dla zadań, które obejmują przetwarzanie długich sekwencji lub zadania, które wymagają trybu mieszania tokenów przyczynowych.

Zadania rozpoznawania wizualnego, kod mieszania tokenów przyczynowych i bardzo długie sekwencje

Jak omówiono wcześniej, tryb mieszania tokenów w pełni widoczny pozwala na nieograniczone mieszanie, podczas gdy tryb przyczynowy ogranicza bieżący token do dostępu tylko do informacji z poprzednich tokenów. Ponadto, rozpoznawanie wizualne jest klasyfikowane jako zadanie zrozumienia, gdzie model może zobaczyć cały obraz na raz, co eliminuje potrzebę ograniczeń na mieszanie tokenów i nakładania dodatkowych ograniczeń na mieszanie tokenów może potencjalnie pogorszyć wydajność modelu. Ogólnie, tryb w pełni widoczny jest odpowiedni dla zadań zrozumienia, podczas gdy tryb przyczynowy lepiej nadaje się do zadań autoregresyjnych. Ponadto, twierdzenie to jest dodatkowo poparte faktem, że modele BeRT i ViT są używane częściej do zadań zrozumienia niż modele GPT.

Weryfikacja eksperymentalna i wyniki

Następnym krokiem jest weryfikacja hipotez proponowanych przez framework MambaOut eksperymentalnie. Jak pokazano na poniższym obrazie, blok Mamba jest oparty na bloku sieci neuronowej z bramką, a meta-architektura bloków Mamba i Gated CNN może być traktowana jako uproszczona integracja modułu mieszania tokenów frameworku MetaFormer i MLP.

Blok Mamba rozszerza sieć neuronową z bramką o dodatkowy model przestrzenny, a obecność modelu przestrzennego jest tym, co odróżnia bloki Gated CNN i Mamba. Ponadto, aby poprawić praktyczną szybkość, framework MambaOut prowadzi tylko konwolucję wzdłuż części kanałów, a jak pokazano na poniższym algorytmie, implementacja bloku Gated CNN jest prosta, ale efektywna i elegancka.

Zadanie klasyfikacji obrazów

ImageNet służy jako benchmark dla zadań klasyfikacji obrazów, ponieważ składa się z ponad tysiąca wspólnych klas, ponad 1,3 miliona obrazów treningowych i ponad 50 000 obrazów walidacyjnych. Użycie danych augmentacyjnych w eksperymencie składa się z losowego przycięcia, Mixup, zmiany koloru, losowego kasowania, CutMix i Rand Augment. Poniższa tabela podsumowuje wyniki rodziny modeli Mamba, modelu MambaOut i innych modeli uwagi i konwolucyjnych na zbiorze danych ImageNet. Jak widać, framework MambaOut bez modelu przestrzennego przewyższa modele wizualne Mamba z SSM w sposób ciągły we wszystkich rozmiarach modeli.

Na przykład, model MambaOut-Small zwraca wynik dokładności top-1 powyżej 84%, o 0,4% wyższy niż jego najbliższy konkurent Mamba. Ten wynik silnie wspiera pierwszą hipotezę, która twierdzi, że wprowadzenie modelu przestrzennego do zadań klasyfikacji obrazów nie jest potrzebne.

Zadania wykrywania i segmentacji obiektów

COCO służy jako benchmark dla zadań wykrywania i segmentacji obiektów. Chociaż framework MambaOut jest w stanie przewyższyć wyniki niektórych wizualnych modeli Mamba, nadal nie dorównuje najnowszym wizualnym modelom Mamba, w tym LocalVMamba i VMamba. Różnica w wydajności frameworku MambaOut w porównaniu z najnowszymi modelami wizualnymi podkreśla korzyści z integracji rodziny modeli Mamba w zadaniach wizualnych o długiej sekwencji. Jednakże, warto zauważyć, że znacząca luka wydajności nadal istnieje między najnowszymi modelami hybrydowymi uwagi i konwolucyjnymi a modelami wizualnymi Mamba.

Końcowe myśli

Rodzina modeli Mamba wydaje się być odpowiednia dla zadań o charakterze autoregresyjnym i długiej sekwencji. Framework MambaOut stawia hipotezę, że Mamba nie jest niezbędna dla zadań związanych z widzeniem, ponieważ klasyfikacja obrazów nie zgadza się z cechami długiej sekwencji ani autoregresyjnymi. Chociaż zadania segmentacji i wykrywania obiektów również nie są autoregresyjne, wykazują one cechy długiej sekwencji, co prowadzi framework MambaOut do hipotezy o potencjale Mamba dla tych zadań. Framework MambaOut składa się z wielu bloków Mamba, bez modelu przestrzennego, a wyniki eksperymentalne potwierdzają hipotezę postawioną przez framework MambaOut, ponieważ jest on w stanie przewyższyć wszystkie wizualne modele Mamba na frameworku klasyfikacji obrazów ImageNet, co wskazuje, że Mamba nie jest niezbędna dla zadań związanych z widzeniem. Z drugiej strony, dla zadań wykrywania i segmentacji obiektów, framework MambaOut nie jest w stanie powtórzyć wyników oferowanych przez najnowsze modele Mamba, co demonstruje potencjał rodziny modeli Mamba dla zadań wizualnych o długiej sekwencji.