Mamba: Redefining Sequence Modeling and Outperforming Transformers Architecture

Kluczowe cechy Mamba obejmują:

1. Wybiórcze SSM: Pozwalają one Mamba filtrować nieistotne informacje i koncentrować się na istotnych danych, poprawiając jej radzenie sobie z sekwencjami. Ta wybiórczość jest kluczowa dla efektywnejinferencji opartej na treści.
2. Algorytm zorientowany na sprzęt: Mamba używa równoległego algorytmu zoptymalizowanego dla nowoczesnego sprzętu, szczególnie GPU. Ten projekt umożliwia szybsze obliczenia i zmniejsza wymagania pamięciowe w porównaniu z tradycyjnymi modelami.
3. Uproszczona architektura: Poprzez integrację wybiórczych SSM i eliminację bloków uwagi i MLP, Mamba oferuje prostszą, bardziej jednorodną strukturę. To prowadzi do lepszej skalowalności i wydajności.

Mamba wykazała się lepszą wydajnością w różnych dziedzinach, w tym języku, dźwięku i genomice, wyróżniając się zarówno w pre-trenowaniu, jak i w zadaniach specyficznych dla dziedziny. Na przykład w modelowaniu języka Mamba dorównuje lub przewyższa wydajność większych modeli Transfocatora.

Kod i wstępnie wytrenowane modele Mamba są dostępne w GitHub.

Standardowe zadania kopiowania są proste dla liniowych modeli. Wybiórcze kopiowanie i indukcyjne głowy wymagają dynamicznej, świadomej treści pamięci dla LLM.

Modele przestrzeni stanu (S4) niedawno wyłoniły się jako obiecująca klasa modeli sekwencji, obejmująca cechy z RNN, CNN i klasycznych modeli przestrzeni stanu. Modele S4 czerpią inspirację z systemów ciągłych, konkretnie z rodzaju systemu, który mapuje funkcje jednowymiarowe lub sekwencje przez niejawne stan ukryty. W kontekście głębokiego uczenia się reprezentują one znaczący postęp, dostarczając nową metodologię projektowania modeli sekwencji, które są wydajne i bardzo elastyczne.

Dynamika modeli S4

SSM (S4) To jest podstawowy model przestrzeni stanu strukturalizowany. Przyjmuje sekwencję x i wytwarza wyjście y przy użyciu nauczonych parametrów A, B, C i parametru opóźnienia Δ. Przekształcenie obejmuje dyskretyzację parametrów (zmianę ciągłych funkcji w dyskretne) i zastosowanie operacji SSM, która jest niezmienna w czasie—co oznacza, że nie zmienia się w różnych krokach czasowych.

Znaczenie dyskretyzacji

Dyskretyzacja jest kluczowym procesem, który przekształca parametry ciągłe w dyskretne za pomocą ustalonych formuł, umożliwiając modelom S4 utrzymanie połączenia z systemami ciągłymi w czasie. To nadaje modelom dodatkowe właściwości, takie jak niezależność rozdzielczości, i zapewnia odpowiednią normalizację, poprawiając stabilność i wydajność modelu. Dyskretyzacja również nawiązuje do mechanizmów bramkowych znalezionych w RNN, które są kluczowe dla zarządzania przepływem informacji przez sieć.

Liniowa niezmiennica czasowa (LTI)

Kluczową cechą modeli S4 jest ich liniowa niezmiennica czasowa. Właściwość ta implikuje, że dynamika modelu pozostaje spójna w czasie, z parametrami ustalonymi dla wszystkich kroków czasowych. LTI jest kamieniem węgielnym rekurencji i konwolucji, oferując uproszczoną, lecz potężną ramę dla budowania modeli sekwencji.

Pokonywanie podstawowych ograniczeń

Ramówka S4 była tradycyjnie ograniczona przez jej naturę LTI, co stwarza wyzwania w modelowaniu danych, które wymagają adaptacyjnej dynamiki. Najnowszy artykuł przedstawia podejście, które pokonuje te ograniczenia, wprowadzając parametry zależne od czasu, usuwając ograniczenie LTI. To pozwala modelom S4 radzić sobie z bardziej zróżnicowanym zestawem sekwencji i zadań, znacznie rozszerzając ich zastosowanie.

Termin “model przestrzeni stanu” ogólnie obejmuje każdy proces rekurencyjny zaangażowany w stan ukryty i był używany do opisu różnych pojęć w wielu dziedzinach. W kontekście głębokiego uczenia się modele S4, lub strukturalizowane SSM, odnoszą się do określonej klasy modeli, które zostały zoptymalizowane pod kątem wydajnego obliczania, jednocześnie zachowując możliwość modelowania złożonych sekwencji.

Modele S4 mogą być zintegrowane z architekturami sieci neuronowych jako samodzielne transformacje sekwencji. Mogą być traktowane jako analogiczne do warstw konwolucyjnych w CNN, zapewniając podstawę modelowania sekwencji w różnych architekturach sieci neuronowych.

SSM vs SSM + Selekcja

Motywacja dla wybiórczości w modelowaniu sekwencji

Strukturalizowane SSM

Artykuł argumentuje, że podstawowym aspektem modelowania sekwencji jest kompresja kontekstu do zarządzalnego stanu. Modele, które mogą wybiórczo koncentrować się na danych wejściowych lub je filtrować, zapewniają bardziej efektywny sposób utrzymania tego skompresowanego stanu, prowadząc do bardziej wydajnych i potężnych modeli sekwencji. Ta wybiórczość jest niezbędna, aby modele mogły adaptacyjnie kontrolować, jak informacje przepływają wzdłuż wymiaru sekwencji, co jest niezbędne do radzenia sobie z złożonymi zadaniami w modelowaniu języka i poza nim.

Wybiórcze SSM rozszerzają konwencjonalne SSM, pozwalając ich parametrym być zależnymi od danych wejściowych, co wprowadza stopień adaptacyjności, który wcześniej nie był osiągalny z modelem czasowo niezmiennym. To prowadzi do modeli SSM zależnych od czasu, które nie mogą już używać konwolucji do wydajnego obliczania, lecz zamiast tego polegają na mechanizmie rekurencji liniowej, co stanowi znaczące odejście od tradycyjnych modeli.