Модели и платформы ИИ

data2vec: Веха в обучении с самоконтролем

Kunal Kejriwal
Добавьте Unite.AI в избранные источники в Google
Ключевые моментыMeta AI data2vec — это первый самообучающийся алгоритм, работающий с изображениями…
Показать больше
  • Meta AI data2vec — это первый самообучающийся алгоритм, работающий с изображениями, текстом и речью.
  • Он предсказывает полные контекстуализированные представления данных из маскированных входных данных, используя единую архитектуру Transformer.
  • Модель избегает специфичных для модальности смещений, применяя единую цель обучения для всех типов данных.

Модели машинного обучения во многом полагались на размеченные данные, и обучение на них традиционно давало точные результаты. Однако их главный недостаток — высокая стоимость аннотирования, возрастающая вместе с объёмом обучающего набора. Для разработчиков, особенно крупных проектов с большим количеством данных, это серьёзное препятствие.

Чтобы решить проблему аннотирования, разработчики предложили концепцию SSL, или обучения с самоконтролем. Это процесс машинного обучения, при котором модель учится восстанавливать одну часть входных данных по другой их части. Он использует взаимосвязи внутри данных вместо сигналов надзора из размеченных примеров.

Есть и другие способы обучения без размеченных данных. Но у большинства таких методов и моделей имеются две основные проблемы:

  1. Они часто специализированы на одной модальности, например изображениях или тексте.
  2. Им требуется большая вычислительная мощность.

Эти ограничения помогают объяснить, почему человеческий разум способен гораздо эффективнее учиться на одном типе данных, чем модель ИИ, использующая отдельные модели и обучающие наборы для изображений, текста и речи.

Для преодоления ограничения одной модальностью Meta AI представила data2vec — новый высокопроизводительный алгоритм обучения с самоконтролем , изучающий закономерности в трёх модальностях: изображениях, тексте и речи. С его помощью понимание текста можно было бы применить к сегментации изображений либо использовать алгоритм для распознавания речи.

В этой статье мы подробно рассмотрим метод, связанные исследования, архитектуру и результаты data2vec, чтобы стало понятно, как работает алгоритм.

Введение в data2vec: основная идея

Хотя общий принцип обучения с самоконтролем применяется к разным модальностям, конкретные цели и алгоритмы различаются, поскольку обычно создавались для одной из них. Поэтому один алгоритм не всегда эффективно работает с разными видами обучающих данных.

Meta AI предложила data2vec, который использует одинаковую методику обучения для компьютерного зрения, NLP и речи.

Основная идея — по замаскированному представлению входа предсказывать латентные представления полного входа в схеме самодистилляции с помощью стандартной архитектуры Transformer. Вместо локальных целей, специфичных для изображений, текста или голоса, алгоритм предсказывает латентные представления с информацией обо всём обучающем входе.

Зачем отрасли ИИ нужен data2vec?

Модели обучения с самоконтролем строят представления обучающих данных с помощью аннотаций, созданных людьми. Эти представления стали одной из важных причин прогресса в обработке естественного языка и компьютерном зрении. Они также связаны с использованием обучения без учителя в таких задачах, как распознавание речи.

До сих пор подобные алгоритмы часто концентрировались на отдельных модальностях, что приводило к определённым индуктивным предпосылкам и специфическим конструкциям моделей. Такая специализация создаёт сложности для приложений компьютерного зрения и NLP.

Например, при обработке речи словари речевых единиц могут определять задачу обучения с самоконтролем. В компьютерном зрении можно регрессией предсказывать вход, изучать дискретные визуальные токены или представления, инвариантные к аугментации данных. Такие предпосылки полезны, но трудно подтвердить, что они обобщаются на другие модальности.

data2vec — важный шаг, поскольку направлен на улучшение нескольких модальностей, а не только одной. При этом он не опирается на реконструкцию входа или контрастивное обучение.

Алгоритм может ускорить прогресс ИИ и помочь создавать модели, изучающие разные аспекты своего окружения. Исследователи надеются получить более адаптивные модели ИИ и машинного обучения, способные решать задачи, выходящие за возможности нынешних систем.

Что такое алгоритм data2vec?

Это единый подход к обучению с самоконтролем для разных модальностей, включая изображения, речь и текст.

Он сохраняет общую цель обучения для всех модальностей, чтобы модели лучше усваивали общие закономерности. Алгоритм обучения объединён, но представления каждой модальности по-прежнему изучаются отдельно.

Meta AI надеется сделать мультимодальное обучение эффективнее и проще.

Как работает data2vec?

Алгоритм сочетает обучение латентным целевым представлениям с прогнозированием по замаскированному входу. Для обобщения представлений целями служат несколько слоёв сети. Обучается стандартная сеть Transformer , которая затем используется в режиме учителя или ученика .

В режиме учителя модель сначала строит представления входных данных, служащие целями задачи обучения. В режиме ученика она кодирует замаскированный вход и предсказывает представления полных данных.

На рисунке показан единый процесс для разных модальностей. Сначала модель создаёт представления входа (режим учителя), а затем учится предсказывать их регрессией по замаскированной версии входных данных.

Использование латентных представлений можно рассматривать как упрощение модально-специфичных решений, таких как создание подходящих целей нормализацией входа или изучение фиксированного набора визуальных токенов. Но ключевое отличие заключается в применении самовнимания, благодаря которому целевые представления становятся контекстуализированными и непрерывными. Другие модели используют фиксированные цели, основанные на локальном контексте.

data2vec: метод модели

Модель учится предсказывать представления входа по его частичному виду. На рисунке замаскированы морда собаки, участок речевой записи и слово «with» в тексте.

Сначала кодируется замаскированный обучающий пример (режим ученика), затем полный вход для построения обучающих целей. Используется та же модель, но её параметры являются экспоненциальным скользящим средним весов (режим учителя). Целевые представления содержат информацию из примера, а ученик должен предсказать их по частичному виду входа.

Архитектура модели

data2vec использует стандартную архитектуру Transformer с кодированием входа, специфичным для каждой модальности. Для компьютерного зрения применяется подход ViT: изображение разбивается на участки 16 × 16 пикселей, которые линейно преобразуются в последовательность представлений.

Для речи используется многослойная одномерная свёрточная сеть, переводящая сигнал с частотой 16 кГц в представления с частотой 50 Гц. Текст предварительно разбивается на подсловные единицы, которые помещаются в пространство представлений с помощью векторов эмбеддинга.

Маскирование

После преобразования входа в последовательность токенов часть единиц заменяется маскирующим эмбеддингом, и последовательность поступает в Transformer . В компьютерном зрении маскируются блоки, в латентных представлениях речи — последовательные участки, а в языковых задачах — токены.

Обучающие цели

Модель предсказывает представления полного обучающего примера по кодированию замаскированного входа, причём только для замаскированных временных шагов.

Она предсказывает контекстуализированные представления , кодирующие не только конкретный шаг, но и другую информацию из примера благодаря самовниманию в Transformer. Именно это отличает data2vec от моделей BERT, wav2vec, BEiT, SimMIM, MAE и MaskFeat , предсказывающих цели без контекстной информации.

Ниже описана параметризация учителя, создающего представления сети, которые служат целями.

Параметризация учителя

Для кодирования полного примера используется EMA — экспоненциальное скользящее среднее параметров модели (θ). Веса в целевом режиме (△) обновляются следующим образом:

                                           ∆ ← τ∆ + (1 − τ ) θ

 

Параметр τ линейно увеличивается от τ0 до τe (целевого значения) за первые τn обновлений, после чего остаётся постоянным до конца обучения. Стратегия EMA обновляет учителя чаще в начале, когда модель ещё случайна. По мере обучения хорошим параметрам учитель обновляется реже.

Результаты показывают большую эффективность и точность, когда учитель и ученик совместно используют параметры кодировщика признаков и позиционного кодировщика.

Цели

Обучающие цели строятся по выходам верхних K блоков учителя для шагов, замаскированных у ученика. Выход блока l на шаге t обозначается как alt. Каждый блок нормализуется для получения âlt , после чего верхние K блоков усредняются

  

 

для получения цели yt на шаге t в сети с общим числом блоков L .

Ученик предсказывает эти цели регрессией. В ранних экспериментах отдельное предсказание каждого блока с собственной проекцией также давало хорошие результаты и было существенно эффективнее.

Нормализация целей предотвращает схлопывание в одинаковые постоянные представления для всех шагов и доминирование слоёв с большими значениями. Для речи используется нормализация экземпляра по текущему входному примеру без обучаемых параметров. Это связано прежде всего с малым шагом по входу, из-за которого соседние представления сильно коррелируют.

Для компьютерного зрения и NLP нормализация без обучаемых параметров оказалась достаточной. Возможна также регуляризация Variance-Invariance-Covariance , но описанная нормализация работает достаточно хорошо и не требует дополнительных параметров.

Целевая функция

Для контекстуализированных целей yt применяется функция потерь Smooth L1 для регрессионного предсказания целей согласно следующей формуле.

Здесь β управляет переходом от квадратичных потерь к L1 в зависимости от разницы между предсказанием модели ft(x) на шаге t. Преимущество этой функции — относительно меньшая чувствительность к выбросам, хотя β необходимо подбирать.

Экспериментальная конфигурация

Используются два размера модели: data2vec Large и data2vec Base. Для численной устойчивости EMA обновляется в fp32. Модели содержат L = 12 или L = 24 блока Transformer со скрытой размерностью H = 768 или H = 1024. Рассмотрим настройки для разных модальностей и задач.

Компьютерное зрение

Изображения 224 × 224 пикселя разбиваются на участки 16 × 16 пикселей. Каждый линейно преобразуется, и последовательность из 196 представлений поступает в Transformer.

Маскирование следует подходу BEiT : блоки смежных участков содержат не менее 16 участков со случайным соотношением сторон. Вместо исходных 40 % у BEiT data2vec маскирует 60 % участков для повышения точности.

Применяются случайное масштабирование вырезок, горизонтальное отражение и изменение цветов. Учитель и ученик получают одно и то же изменённое изображение.

ViT-B предварительно обучается 800 эпох. Размер пакета составляет 8192 для ViT-L и 2048 для ViT-B. Применяются Adam и косинусное расписание с одним циклом: скорость обучения разогревается до 0,001 за 80 эпох у ViT-L и 40 эпох у ViT-B.

Для обеих моделей β = 2, K = 6 и постоянное τ = 0,9998 без изменения по расписанию. Уровень стохастической глубины — 0,2.

ViT-L обучается 1600 эпох. Для первых 800 эпох указана скорость обучения 0,9998, затем расписание запускается заново и следуют ещё 800 эпох со скоростью 0,9999.

Для классификации изображений выход последнего блока усредняется и передаётся классификатору с нормализацией softmax. ViT-L дообучается 50 эпох, ViT-B — 100, с Adam и косинусным расписанием с разогревом.

Обработка речи

Для речи используется Fairseq — набор средств моделирования последовательностей для обучения собственных моделей суммаризации, перевода и генерации текста. Сигнал 16 кГц обрабатывается кодировщиком признаков с временными свёртками с 512 каналами, размерами ядер (10, 3, 3, 3, 3, 2, 2) и шагами (5, 2, 2, 2, 2, 2, 2).

Частота выхода составляет 50 Гц, шаг между представлениями — 20 мс. Рецептивное поле охватывает 400 входных отсчётов, или 25 мс звука. Исходный сигнал нормализуется до единичной дисперсии и нулевого среднего.

Маскирование Base напоминает подход Баевского к обучению распознаванию речи с самоконтролем. Для каждого шага выбирается начальная позиция с вероятностью p = 0,065, после чего маскируются следующие десять шагов. В обычной последовательности так скрывается около 49 % шагов.

При обучении τ линейно изменяется с параметрами τo = 0,999, τe = 0,9999 и τn = 30 000. Для Base используется Adam с максимальной скоростью 5 × 10-4 . Трёхэтапное расписание линейно повышает скорость в первых 3 % обновлений, сохраняет её в следующих 90 % и линейно снижает в последних 7 %.

Обработка естественного языка

Вход токенизируется кодированием пар байтов с 50 000 типами, для каждого изучается эмбеддинг. Затем к 15 % равномерно выбранных токенов применяется маскирование BERT: 80 % заменяются обучаемым токеном маски, 10 % — случайным токеном словаря, а 10 % остаются неизменными.

При предварительном обучении используются τo = 0,999, τe = 0,9999 и τn = 100 000, K = 10 и β = 4. Adam работает с трёхэтапным расписанием: разогрев в первых 5 % обновлений, постоянная скорость в следующих 80 % и линейное снижение в последних 15 %. Максимальная скорость — 2 × 10-4.

Обучение проводится на 16 GPU с пакетами по 256 последовательностей примерно по 512 токенов. Для последующих задач проверяются четыре скорости: 1 × 10-4, 2 × 10-4, 3 × 10-4 и 4 × 10-4. Выбирается вариант с лучшим результатом для дальнейших NLP-задач.

Результаты

Рассмотрим результаты применения описанных стратегий к разным модальностям.

Компьютерное зрение

Модель предварительно обучается на изображениях из набора ImageNet-1K и дообучается на размеченных данных того же теста. Затем по стандартной процедуре измеряется точность top-1 на валидационных данных.

Результаты различаются по использованию одной модели обучения с самоконтролем, отдельного визуального токенизатора на дополнительных данных либо других методов такого обучения.

Таблица сравнивает результаты компьютерного зрения с существующими моделями для ViT-L и ViT-B.

Результаты можно обобщить следующим образом:

  • data2vec превосходит предыдущие работы с ViT-L и ViT-B в конфигурации с одной моделью.
  • Предсказание контекстуализированных латентных представлений по замаскированному входу работает лучше, чем предсказание локальных целей: специально разработанных признаков, входных пикселей или визуальных токенов.
  • Алгоритм также превосходит методы самодистилляции, регрессирующие последний слой ученика по двум различным аугментированным версиям изображения.

Обработка звука и речи

Модель обучается примерно на 960 часах аудио из набора LibriSpeech (LS-960) . Он содержит чистые речевые записи английских аудиокниг и считается стандартным тестом для обработки звука и речи.

Для разных условий доступности данных модель дообучают распознаванию речи на размеченных наборах от нескольких минут до нескольких часов. Её сравнивают с HuBERT и wav2vec 2.0— популярными алгоритмами изучения речевых и звуковых представлений, использующими дискретные речевые единицы.

Таблица сопоставляет результаты распознавания речи на уровне слов с другими моделями. LM обозначает языковую модель для декодирования. Основные результаты:

  • data2vec улучшает показатели для большинства объёмов размеченных данных; у Base наибольшая выгода наблюдается при десяти минутах разметки.
  • Большие модели заметно лучше работают на малых размеченных наборах и сопоставимо — на богатых наборах со 100 или 960 часами размеченных данных. При больших объёмах разметки большинство моделей уже приближаются к пределу улучшения.
  • Результаты позволяют предположить, что при богатых контекстуализированных целях изучать дискретные единицы необязательно.
  • Изучение контекстуализированных целей заметно повышает общую эффективность.

Для дополнительной проверки подхода модель обучают на тестовом наборе AudioSet . Настройки похожи на LibriSpeech, но используются K = 12, более 200 000 обновлений и 94,5 минуты аудио в пакете.

Для стабилизации обучения к целям применяются подход DeepNorm и нормализация слоёв . На сбалансированных подмножествах проводится дообучение с пакетами по 21,3 минуты в течение 13 000 обновлений. Также используются Linear Softmax Pooling и mixup с вероятностью 0,7. Затем добавляется одна линейная проекция в 527 звуковых классов, а скорость обучения проекции устанавливается равной 2e-4.

Предварительно обученные параметры используют скорость 3e-5, при дообучении применяется маскирование. Таблица показывает, что data2vec может превосходить сопоставимую конфигурацию с теми же данными для предварительного обучения и дообучения.

Обработка естественного языка

Для текста используются те же настройки, что у BERT . Предварительное обучение на английской Википедии проводится более миллиона обновлений с пакетами по 256 последовательностей. Оценка выполняется на GLUE (General Language Understanding Evaluation) , включающем задачи вывода на естественном языке (MNLI, или Multi-Genre Natural Language Inference), сходства предложений (QQP, или Quora Question Pairs; MRPC, или Microsoft (MSFT ) Research Paragraph Corpus; STS-B, или Semantic Textual Similarity Benchmark), анализа тональности (SST-2, или Stanford Sentiment Treebank), и грамматической приемлемости (CoLA).

Для дообучения используются размеченные данные каждой задачи. Сообщается средняя точность на проверочных наборах по пяти запускам дообучения. Следующая таблица сравнивает NLP-результаты с другими моделями.

  • data2vec превосходит базовый RoBERTa; его стратегия не использует случайные цели.
  • Это первая успешная предварительно обученная NLP-модель без дискретных целей вроде символов, слов или подслов. Вместо них она предсказывает контекстуализированные латентные представления всей незамаскированной текстовой последовательности.
  • Таким образом, требуется предсказывать цели со свойствами текущей последовательности, а не общие представления каждой отдельной текстовой единицы.
  • Набор обучающих целей не фиксирован: модель может определять новые цели и не привязана к неизменному словарю.

data2vec: абляционные исследования

Абляция — удаление компонента из системы ИИ или машинного обучения. Исследование производительности после исключения важных частей позволяет понять их вклад в работу системы.

Цели, усреднённые по слоям

Важное отличие data2vec — цели на основе среднего нескольких слоёв учителя. Идея связана с тем, что верхние слои wav2vec 2.0 хуже средних работают в последующих задачах.

В эксперименте результаты трёх модальностей измеряются при усреднении K = 1, 2, …, 12 слоёв. K = 1 означает только верхний слой. Для ускорения экспериментов используется Base с двенадцатью слоями. Для речи проводится более 200 000 обновлений на LibriSpeech и дообучение на десяти часах размеченных данных Libri-light. Для NLP сообщается средний GLUE на валидационном наборе. Для зрения проводится 300 эпох предварительного обучения и измеряется top-1 на ImageNet.

Рисунок показывает, что цели из нескольких слоёв обычно лучше использования только верхнего слоя K = 1 для всех модальностей. Полезно применять все доступные слои, поскольку разные слои нейронной сети создают разные признаки, которые можно использовать как цели.

Признаки из нескольких слоёв повышают точность и обогащают обучение с самоконтролем.

Тип целевых признаков

Блоки Transformer содержат несколько слоёв, каждый из которых может служить целью. Их влияние изучают, предварительно обучая речевые модели на LibriSpeech с разными слоями в качестве целевых признаков.

Рисунок показывает, что выход сети прямого распространения (FFN) работает хорошо, тогда как выходы блоков самовнимания не дают пригодной модели.

Контекстуализация целей

Учитель использует самовнимание по всему входу, формируя контекстуализированные цели. Это отличает data2vec от моделей, восстанавливающих или предсказывающих локальные части входа. Возникает вопрос: нужны ли data2vec контекстуализированные цели для хорошей работы?

Исследователи создают цели с доступом лишь к заранее определённой части входа. Самовнимание учителя ограничивается частью окружающего контекста. После обучения модель дообучается с доступом к полному контексту.

Больший контекст обычно улучшает результат, а полная видимость примера даёт лучшую точность. Это подтверждает, что более богатые целевые представления могут улучшать результаты.

Модально-специфичные извлечение признаков и маскирование

Основная цель data2vec — простой механизм обучения для разных модальностей. Современные модели могут иметь общий режим обучения, но всё ещё используют специфичные для модальности маскирование и извлечение признаков.

Специализация понятна, поскольку входные данные сильно различаются. Например, распознавание речи использует сигнал высокого разрешения, такой как 10 кГц с тысячами отсчётов. Многослойная свёрточная сеть переводит его в последовательность признаков с частотой 50 Гц.

Структурированные и контекстуализированные цели

Основное отличие от других моделей маскированного предсказания — контекстуализированные признаки обучающих целей. В режиме учителя они создаются самовниманием по всему замаскированному входу.

Подходы BYOL (Bootstrap Your Own Latent) и DINO тоже используют латентные представления, но главным образом ориентируются на инвариантность к преобразованиям.

Заключительные замечания

Недавние исследования показывают, что единая архитектура может эффективно работать с несколькими модальностями. data2vec использует обучение с самоконтролем для речи, изображений и языка.

Главная идея — регрессией предсказывать контекстную информацию о входе по его частичному виду. Подход эффективен: отдельные модели ViT-B и ViT-L превосходят прежние методы обучения с самоконтролем на ImageNet-1K.

data2vec — важная веха, поскольку показывает, что единый метод обучения для нескольких модальностей действительно облегчает работу моделей с разными типами данных.

Kunal Kejriwal — backend‑инженер, специализирующийся на Python, PostgreSQL, Redis и облачной инфраструктуре в GCP и AWS. Имея три года опыта в построении и масштабировании программных систем в рабочей среде, он пишет об инфраструктуре ИИ, распределённых системах и архитектуре развертывания нагрузок машинного обучения.