Mamba: Переопределение моделирования последовательностей и превосходство архитектуры трансформеров

В этой статье о Mamba мы исследуем, как эта инновационная модель состояния-пространства (SSM) революционизирует моделирование последовательностей. Разработанная Альбертом Гу и Три Дао, Mamba отличается своей эффективностью при обработке сложных последовательностей в областях, таких как обработка языка, геномика и аудиоанализ. Ее моделирование последовательностей в линейном времени с избирательными пространствами состояний обеспечивает исключительную производительность во всех этих разнообразных модальностях.

Мы углубимся в способность Mamba преодолевать вычислительные проблемы, с которыми сталкиваются традиционные трансформеры, особенно при работе с длинными последовательностями. Ее избирательный подход в моделях состояния-пространства позволяет выполнять быстрое вывод и линейное масштабирование с длиной последовательности, что значительно улучшает пропускную способность.

Уникальность Mamba заключается в ее быстром потенциале обработки, избирательном слое SSM и конструкции, дружественной к аппаратному обеспечению, вдохновленной FlashAttention. Эти функции позволяют Mamba превосходить многие существующие модели, включая те, которые основаны на подходе трансформера, что делает ее заметным достижением в области машинного обучения.

Трансформеры vs Mamba

Трансформеры, такие как GPT-4, установили эталон в обработке естественного языка. Однако их эффективность снижается при работе с более длинными последовательностями. Именно здесь Mamba опережает их, благодаря своей способности более эффективно обрабатывать длинные последовательности и своей уникальной архитектуре, которая упрощает весь процесс.

Трансформеры хорошо справляются с обработкой последовательностей данных, таких как текст для языковых моделей. В отличие от предыдущих моделей, которые обрабатывали данные последовательно, трансформеры обрабатывают всю последовательность одновременно, что позволяет им捕ывать сложные отношения внутри данных.

Они используют механизм внимания, который позволяет модели сосредоточиться на разных частях последовательности при предсказании.

Это внимание вычисляется с помощью трех наборов весов: запросов, ключей и значений, полученных из входных данных. Каждый элемент в последовательности сравнивается с каждым другим элементом, предоставляя вес, который указывает на важность или “внимание”, которое каждый элемент должен получить при предсказании следующего элемента в последовательности.

Трансформеры содержат два основных блока: кодировщик, который обрабатывает входные данные, и декодировщик, который генерирует выходные данные. Кодировщик состоит из нескольких слоев, каждый из которых содержит два подслоя: механизм само-внимания с несколькими головками и простую, позиционно-независимую полносвязную сеть прямого распространения. Нормализация и остаточные соединения используются на каждом подслое, чтобы помочь в обучении глубоких сетей.

Декодировщик также имеет слои с двумя подслоями, подобными кодировщику, но добавляет третий подслой, который выполняет много-головое внимание над выходом кодировщика. Последовательная природа декодировщика обеспечивает, что предсказания для позиции могут учитывать только предыдущие позиции, сохраняя автoregressивное свойство.

В отличие от трансформеров, модель Mamba использует другой подход. В то время как трансформеры решают проблему длинных последовательностей с помощью более сложных механизмов внимания, Mamba использует избирательные пространства состояний, обеспечивая более эффективный подход.