Модели и платформы ИИ
Мамба: переопределение моделирования последовательностей и превосходство архитектуры трансформеров
Добавьте Unite.AI в избранные источники в Google
В этой статье о Мамбе мы рассмотрим, как эта инновационная модель состояния-пространства (SSM) революционизирует моделирование последовательностей. Разработанная Альбертом Гу и Три Дао, Мамба отличается своей эффективностью в обработке сложных последовательностей в таких областях, как обработка языка, геномика и анализ аудио. Ее линейное время моделирования последовательностей с избирательными пространствами состояний обеспечивает исключительную производительность во всех этих разнообразных модальностях.
Мы углубимся в способность Мамбы преодолевать вычислительные проблемы, с которыми сталкиваются традиционные трансформеры, особенно при работе с длинными последовательностями. Ее избирательный подход в моделях состояния позволяет осуществлять более быстрое вывод и линейное масштабирование с длиной последовательности, что значительно улучшает пропускную способность.
Уникальность Мамбы заключается в ее быстрой способности обработки, избирательном слое SSM и конструкции, вдохновленной FlashAttention. Эти особенности позволяют Мамбе превосходить многие существующие модели, включая те, которые основаны на подходе трансформера, что делает ее заметным достижением в области машинного обучения.
Трансформеры vs Мамба
Трансформеры, такие как GPT-4, установили эталон в обработке естественного языка. Однако их эффективность снижается при работе с более длинными последовательностями. Именно здесь Мамба выходит вперед, с ее способностью более эффективно обрабатывать длинные последовательности и уникальной архитектурой, которая упрощает весь процесс.
Трансформеры хорошо справляются с обработкой последовательностей данных, таких как текст для языковых моделей. В отличие от предыдущих моделей, которые обрабатывали данные последовательно, трансформеры обрабатывают всю последовательность одновременно, что позволяет им捕ывать сложные отношения внутри данных.
Они используют механизм внимания, который позволяет модели сосредоточиться на разных частях последовательности при предсказании.
Это внимание вычисляется с помощью трех наборов весов: запросов, ключей и значений, полученных из входных данных. Каждый элемент в последовательности сравнивается с каждым другим элементом, что дает вес, который указывает на важность или “внимание”, которое каждый элемент должен получить при предсказании следующего элемента в последовательности.
Трансформеры содержат два основных блока: кодировщик, который обрабатывает входные данные, и декодировщик, который генерирует выходные данные. Кодировщик состоит из нескольких слоев, каждый из которых содержит два подслоя: механизм многоголового само-внимания и простую, позиционно-независимую полносвязную нейронную сеть. Нормализация и остаточные связи используются на каждом подслое, чтобы помочь в обучении глубоких сетей.
Декодировщик также имеет слои с двумя подслоями, подобными кодировщику, но добавляет третий подслой, который выполняет многоголовое внимание над выходом кодировщика. Последовательная природа декодировщика обеспечивает, что предсказания для позиции могут учитывать только предыдущие позиции, сохраняя автoregressive свойство.
В отличие от трансформеров, модель Мамбы использует другой подход. Хотя трансформеры решают проблему длинных последовательностей с помощью более сложных механизмов внимания, Мамба использует избирательные пространства состояний, что обеспечивает более эффективный подход.
Вот общий обзор того, как работает трансформер:
- Обработка входных данных: Трансформеры сначала кодируют входные данные в формат, который может понять модель, часто используя вложения, которые также включают положение каждого элемента в последовательности.
- Механизм внимания: В своей основе механизм внимания вычисляет оценку, которая представляет, насколько нужно сосредоточиться на других частях входной последовательности при понимании текущего элемента.
- Архитектура кодировщика-декодировщика: Модель трансформера состоит из кодировщика для обработки входных данных и декодировщика для генерации выходных данных. Каждый из них состоит из нескольких слоев, которые уточняют понимание модели входных данных.
- Многоголовое внимание: В кодировщике и декодировщике многоголовое внимание позволяет модели одновременно сосредоточиться на разных частях последовательности из разных представительных пространств, что улучшает ее способность учиться из различных контекстов.
- Позиционно-независимые полносвязные нейронные сети: После внимания простая нейронная сеть обрабатывает выход каждого положения отдельно и идентично. Это объединяется с входными данными через остаточную связь и за которым следует нормализация слоя.
- Генерация выходных данных: Декодировщик затем предсказывает выходную последовательность, под влиянием контекста кодировщика и того, что он сгенерировал до сих пор.
Способность трансформера обрабатывать последовательности параллельно и его прочный механизм внимания делают его мощным для задач, таких как перевод и генерация текста.
В отличие от этого, модель Мамбы работает по-другому, используя избирательные пространства состояний для обработки последовательностей. Этот подход решает вычислительную неэффективность трансформеров при работе с длинными последовательностями. Конструкция Мамбы обеспечивает более быстрое вывод и линейное масштабирование с длиной последовательности, что устанавливает новый парадигму для моделирования последовательностей, которая может быть более эффективной, особенно когда последовательности становятся все длиннее.
Мамба
Что делает Мамбу действительно уникальной, так это ее отклонение от традиционного внимания и блоков MLP. Это упрощение приводит к более легкой и быстрой модели, которая масштабируется линейно с длиной последовательности – это достижение, не превзойденное ее предшественниками.
Ключевые особенности Мамбы включают:
- Избирательные SSM: Они позволяют Мамбе фильтровать нерелевантную информацию и сосредоточиться на релевантных данных, улучшая ее обработку последовательностей. Эта избирательность имеет решающее значение для эффективного контекстно-зависимого рассуждения.
- Алгоритм, осведомленный о аппаратуре: Мамба использует параллельный алгоритм, оптимизированный для современной аппаратуры, особенно GPU. Эта конструкция обеспечивает более быструю вычислительную обработку и снижает требования к памяти по сравнению с традиционными моделями.
- Упрощенная архитектура: Интегрируя избирательные SSM и исключая блоки внимания и MLP, Мамба предлагает более простую и однородную структуру. Это приводит к лучшей масштабируемости и производительности.
Мамба продемонстрировала превосходную производительность в различных областях, включая язык, аудио и геномику, превосходя в обоих предварительных обучениях и задачах, специфичных для области. Например, в языковом моделировании Мамба соответствует или превосходит производительность более крупных моделей трансформера.
Код и предварительно обученные модели Мамбы открыты для использования сообществом на GitHub.
Стандартные задачи копирования просты для линейных моделей. Избирательное копирование и индуктивные головки требуют динамической, контекстно-зависимой памяти для LLM.
Структурированные модели пространства состояний (S4) недавно появились как перспективный класс моделей последовательностей, включающий черты RNN, CNN и классических моделей пространства состояний. S4 модели получают вдохновение от непрерывных систем, в частности, от типа системы, которая сопоставляет одномерные функции или последовательности через неявное скрытое состояние. В контексте глубокого обучения они представляют собой значительное нововведение, предоставляя новый метод для проектирования моделей последовательностей, которые являются эффективными и высоко адаптируемыми.
Динамика моделей S4
SSM (S4) Это базовая структурированная модель пространства состояний. Она принимает последовательность x и производит выход y с помощью обученных параметров A, B, C и задержки параметра Δ. Преобразование включает дискретизацию параметров (превращение непрерывных функций в дискретные) и применение операции SSM, которая является временно-неизменной – это означает, что она не меняется с течением времени.
Значимость дискретизации
Дискретизация является ключевым процессом, который преобразует непрерывные параметры в дискретные через фиксированные формулы, что позволяет моделям S4 сохранять связь с непрерывными системами во времени. Это наделяет модели дополнительными свойствами, такими как инвариантность разрешения, и обеспечивает правильную нормализацию, что повышает стабильность и производительность модели. Дискретизация также проводит параллели с механизмами шлюзования, найденными в RNN, которые являются важными для управления потоком информации через сеть.
Линейная временная неизменность (LTI)
Основной особенностью моделей S4 является их линейная временная неизменность. Это свойство подразумевает, что динамика модели остается последовательной во времени, с фиксированными параметрами для всех временных шагов. LTI является краеугольным камнем рекуррентности и сверток, предлагая упрощенный, но мощный каркас для построения моделей последовательностей.
Преодоление фундаментальных ограничений
Фреймворк S4 традиционно ограничивался его LTI-природой, что создавало проблемы при моделировании данных, требующих адаптивной динамики. Недавняя исследовательская работа представляет подход, который преодолевает эти ограничения, вводя параметры, меняющиеся во времени, тем самым удаляя ограничение LTI. Это позволяет моделям S4 обрабатывать более широкий набор последовательностей и задач, значительно расширяя их применимость.
Термин “модель пространства состояний” в широком смысле охватывает любой рекуррентный процесс, включающий скрытое состояние, и был использован для описания различных концепций в нескольких дисциплинах. В контексте глубокого обучения модели S4, или структурированные SSM, относятся к конкретному классу моделей, которые были оптимизированы для эффективных вычислений, сохраняя при этом способность моделировать сложные последовательности.
Модели S4 могут быть интегрированы в архитектуры нейронных сетей от конца до конца, функционируя как самостоятельные преобразования последовательностей. Они могут быть рассмотрены как аналогичные сверточным слоям в CNN, обеспечивая основу для моделирования последовательностей в различных архитектурах нейронных сетей.
SSM vs SSM + Selection
Мотивация для избирательности в моделировании последовательностей
Структурированные SSM
Статья утверждает, что фундаментальным аспектом моделирования последовательностей является сжатие контекста в управляемое состояние. Модели, которые могут избирательно сосредоточиться на или отфильтровать входные данные, обеспечивают более эффективный способ поддержания этого сжатого состояния, что приводит к более эффективным и мощным моделям последовательностей. Эта избирательность имеет решающее значение для моделей, чтобы адаптивно контролировать, как информация течет вдоль размерности последовательности, что является важной возможностью для обработки сложных задач в языковом моделировании и за его пределами.
Избирательные SSM улучшают традиционные SSM, позволяя их параметрам быть зависимыми от входных данных, что вводит степень адаптивности, ранее недостижимой с временно-неизменными моделями. Это приводит к моделям SSM, меняющимся во времени, которые больше не могут использовать свертки для эффективных вычислений, а вместо этого полагаются на линейный рекуррентный механизм, что является значительным отклонением от традиционных моделей.
SSM + Selection (S6) Этот вариант включает механизм выбора, добавляя зависимость от входных данных к параметрам B и C, и задержку параметра Δ. Это позволяет модели сосредоточиться на определенных частях входной последовательности x. Параметры дискретизируются с учетом выбора, и операция SSM применяется во временно-зависимом порядке с помощью операции сканирования, которая обрабатывает элементы последовательно, регулируя фокус динамически во времени.
Выдающиеся результаты Мамбы
Мамба является лучшей в каждом отдельном результате оценки
В плане производительности Мамба превосходит как в скорости вывода, так и в точности. Ее конструкция обеспечивает лучшее использование более длинных контекстов, что демонстрируется как в моделировании ДНК, так и в аудиомоделировании, превосходя предыдущие модели на сложных задачах, требующих длинных зависимостей. Ее универсальность также подчеркивается в нулевых оценках по нескольким задачам, устанавливая новый стандарт для таких моделей в плане эффективности и масштабируемости.
Начало работы с Мамбой
Для тех, кто заинтересован в использовании Мамбы, технические требования включают операционную систему Linux, GPU NVIDIA (NVDA ), PyTorch 1.12+ и CUDA 11.6+. Установка включает простые команды pip для установки необходимых пакетов из репозитория Мамбы. Если возникают проблемы с совместимостью с версиями PyTorch, использование флага –no-build-isolation с pip может помочь. Эти модели, обученные на обширных наборах данных, таких как Pile и SlimPajama, предназначены для удовлетворения различных вычислительных потребностей и показателей производительности.
Мамба предлагает различные уровни интерфейсов, от избирательного слоя SSM до блока Мамбы и полных структур языковых моделей. Блок Мамбы, который является основным модулем архитектуры, использует каузальный слой Conv1d и может быть легко интегрирован в дизайны нейронных сетей. Предоставленный пример использования на Python демонстрирует создание экземпляра модели Мамбы и обработку данных через нее, подчеркивая простоту и гибкость системы.
Предварительно обученные модели Мамбы доступны на Hugging Face, с размерами от 130M до 2,8B параметров, обученных на обширных наборах данных Pile и SlimPajama. Эти модели предназначены для удовлетворения различных вычислительных и производственных требований, соответствуя стандартам размерности GPT-3. Пользователи могут ожидать высокой пропускной способности и точности от этих моделей, что делает Мамбу конкурентоспособным выбором для различных приложений, включая, но не ограничиваясь, языковое моделирование.
Влияние Мамбы
Мамба представляет собой значительный шаг вперед в моделировании последовательностей, предлагая мощную альтернативу архитектурам трансформера для обработки информационно-насыщенных данных. Ее конструкция соответствует требованиям современной аппаратуры, оптимизируя как использование памяти, так и возможности параллельной обработки. Открытая доступность кодовой базы Мамбы и ее предварительно обученных моделей делает ее доступным и прочным инструментом для исследователей и разработчиков в области ИИ и глубокого обучения.
