Модели и платформы ИИ

Текст-в-музыку Генеративный ИИ: Stability Audio, Google’s MusicLM и многое другое

Aayush Mittal
Добавьте Unite.AI в избранные источники в Google
Ключевые моментыStable Audio использует временные эмбеддинги, позволяя пользователям контролировать…
Показать больше
  • Stable Audio использует временные эмбеддинги, позволяя пользователям контролировать точную длительность генерируемых аудиотреков.
  • MusicLM преобразует напеваемые мелодии в полноценные песни, соответствующие заданным текстовым описаниям стиля.
  • Генерация музыки с помощью ИИ сталкивается с дискуссиями о легитимности в индустрии, что иллюстрируется отказом в номинации на Грэмми.

Музыка — искусство, созвучное человеческой душе, — неизменно сопровождает нас. Создавать музыку с помощью искусственного интеллекта начали несколько десятилетий назад. Первые попытки были простыми и интуитивными: базовые алгоритмы выдавали однообразные мелодии. По мере развития технологий росли сложность и возможности музыкальных генераторов ИИ, а глубокое обучение и обработка естественного языка (NLP) стали играть в них важнейшую роль.

Сегодня такие платформы, как Spotify, используют ИИ для настройки впечатлений слушателя. Алгоритмы глубокого обучения анализируют индивидуальные предпочтения по темпу, настроению и другим музыкальным характеристикам, чтобы рекомендовать песни. Они также исследуют общие закономерности прослушивания и обсуждения музыки в интернете, формируя подробные профили композиций.

Истоки ИИ в музыке: от алгоритмической композиции к генеративному моделированию

На раннем этапе, с 1950-х по 1970-е годы, основное внимание уделялось алгоритмической композиции: компьютеры создавали музыку по заданным правилам. Первым заметным произведением стала «Иллиакская сюита» для струнного квартета 1957 года. В ней использовался алгоритм Монте-Карло: случайные числа определяли высоту звука и ритм в рамках традиционной музыкальной теории и статистических вероятностей.

Image generated by the author using Midjourney

Изображение создано автором с помощью Midjourney

Другой пионер того времени, Янис Ксенакис, использовал для сочинения музыки стохастические процессы, основанные на случайных распределениях вероятностей. С помощью компьютеров и языка FORTRAN он связывал несколько вероятностных функций, создавая структуру, в которой разным графическим представлениям соответствовали разные звуковые пространства.

Сложность преобразования текста в музыку

Музыка хранится в насыщенном многомерном формате данных, включающем мелодию, гармонию, ритм и темп. Поэтому преобразование текста в музыку чрезвычайно сложно. Обычная песня представлена в компьютере почти миллионом чисел — значительно больше, чем другие форматы данных, например изображения и текст.

Для создания реалистичного звука разрабатываются новые подходы. Один из них состоит в генерации спектрограммы с последующим преобразованием обратно в аудио.

Другой использует символическое представление музыки, например ноты, которые музыкант может прочитать и исполнить. Этот подход успешно оцифрован: Chamber Ensemble Generator проекта Magenta создает музыку в формате MIDI — протоколе обмена данными между компьютерами и музыкальными инструментами.

Эти подходы продвинули область вперед, но каждый имеет ограничения, подчеркивающие сложность генерации аудио.

Авторегрессионные модели на основе Transformer и диффузионные модели на основе U-Net находятся на переднем крае технологий и дают передовые результаты (SOTA) в генерации аудио, текста, музыки и других данных. Серия GPT от OpenAI и почти все современные большие языковые модели используют трансформеры с архитектурой кодировщика, декодировщика либо обоих компонентов. В генерации изображений MidJourney, Stability AI и DALL-E 2 используют диффузионные подходы. Эти две технологии также обеспечили передовые результаты в аудио. В статье мы рассмотрим MusicLM от Google (GOOGL ) и Stable Audio, демонстрирующие их возможности.

MusicLM от Google

MusicLM вышел в мае этого года. Он создает высококачественную музыку, соответствующую настроению, описанному в тексте. Иерархическое моделирование последовательностей позволяет преобразовывать текстовые описания в продолжительные музыкальные фрагменты с частотой дискретизации 24 кГц.

Модель ориентируется не только на текст, но и на мелодию. Она может взять напетый или насвистанный мотив и преобразовать его в соответствии со стилем, заданным в текстовом описании.

Технические подробности

MusicLM использует принципы AudioLM — системы генерации аудио, представленной в 2022 году. AudioLM рассматривает синтез звука как задачу языкового моделирования в пространстве дискретных представлений, применяя иерархию аудиотокенов от грубых к более подробным. Это обеспечивает высокое качество и согласованность на протяжении длительного времени.

MusicLM расширяет AudioLM текстовым обусловливанием, согласующим звук с нюансами входного текста. Оно реализовано через общее пространство эмбеддингов MuLan — совместной музыкально-текстовой модели, обученной располагать музыку и ее описание рядом в этом пространстве. Такой подход устраняет необходимость текстовых описаний при обучении MusicLM, позволяя использовать огромные корпуса только аудиоданных.

В качестве аудиотокенизатора MusicLM использует SoundStream. Он восстанавливает музыку с частотой 24 кГц при потоке 6 кбит/с с высоким качеством, применяя остаточное векторное квантование (RVQ) для эффективного и качественного сжатия.

An illustration of the independent pretraining process for the foundational models of MusicLM: SoundStream, w2v-BERT, and MuLan,

Предварительное обучение компонентов MusicLM: SoundStream, w2v-BERT и MuLan. Источник: здесь

Обусловливание мелодией дополнительно расширяет возможности MusicLM. Даже простой напетый мотив может стать основой впечатляющего звука, точно соответствующего текстовому описанию стиля.

Разработчики также открыли набор MusicCaps: 5,5 тысячи пар «музыка — текст» с подробными описаниями, подготовленными экспертами. Он доступен на Hugging Face.

Чтобы начать создавать музыку с MusicLM:

  1. Откройте официальный сайт MusicLM и нажмите «Get Started».
  2. Выберите «Register your interest», чтобы записаться в список ожидания.
  3. Войдите в учетную запись Google.
  4. Получив доступ, нажмите «Try Now».

Вот несколько запросов, с которыми я экспериментировал:

«Медитативная песня, спокойная и умиротворяющая, с флейтами и гитарами. Медленная музыка, создающая ощущение покоя и безмятежности».

«Джаз с саксофоном».

При качественном сравнении с предыдущими передовыми моделями, например Riffusion и Mubert, участники чаще предпочитали MusicLM, положительно оценивая соответствие текстовых описаний десятисекундным аудиоклипам.

MusicLM Performance comparision

Результаты MusicLM. Источник: здесь

Stable Audio

На прошлой неделе Stability AI представила Stable Audio — архитектуру латентной диффузионной модели, обусловленной текстовыми метаданными, продолжительностью аудиофайла и временем начала. Как и MusicLM, она позволяет управлять содержанием и длиной звука, создавая клипы заданной продолжительности в пределах обучающего окна.

Технические подробности

Stable Audio состоит из вариационного автокодировщика (VAE) и обусловленной диффузионной модели на основе U-Net, работающих вместе с текстовым кодировщиком.

An illustration showcasing the integration of a variational autoencoder (VAE), a text encoder, and a U-Net-based conditioned diffusion model

Архитектура Stable Audio. Источник: здесь

VAE ускоряет генерацию и обучение, сжимая стереозвук в устойчивое к шуму латентное представление с потерями, из которого можно восстановить аудио. Это избавляет от необходимости работать непосредственно с необработанными аудиосэмплами.

Текстовый кодировщик на основе CLAP помогает понимать сложные связи между словами и звуками и создает информативное представление токенизированного текста. Признаки извлекаются из предпоследнего слоя текстового кодировщика CLAP и поступают в диффузионную U-Net через слои перекрестного внимания.

Важен и учет временных эмбеддингов. Они рассчитываются по секунде начала аудиофрагмента и общей длительности исходного файла. Эти значения превращаются в обученные дискретные эмбеддинги для каждой секунды, объединяются с токенами запроса и передаются в слои перекрестного внимания U-Net. Так пользователь управляет общей продолжительностью результата.

Stable Audio обучали на более чем 800 000 аудиофайлов в сотрудничестве с поставщиком стоковой музыки AudioSparx.

Stable audio commercials

Коммерческие тарифы Stable Audio

Бесплатная версия позволяет создавать 20 фрагментов длительностью до 20 секунд в месяц. Тариф Pro за 12 долларов в месяц дает 500 генераций длительностью до 90 секунд.

Ниже — аудиофрагмент, который я создал с помощью Stable Audio.

Image generated by the author using Midjourney

Изображение создано автором с помощью Midjourney

«Кинематографический саундтрек, легкий дождь, эмбиент, успокаивающий, далекий лай собак, умиротворяющий шелест листвы, слабый ветер, 40 ударов в минуту».

Применений у таких тщательно созданных аудиофрагментов множество. Кинематографисты могут создавать насыщенные, захватывающие звуковые пейзажи, а рекламодатели — использовать индивидуально подобранные дорожки. Инструмент также открывает возможности экспериментов и инноваций для независимых авторов и художников: звук может рассказывать истории, вызывать эмоции и создавать атмосферу с глубиной, ранее труднодостижимой без значительного бюджета или технического опыта.

Советы по составлению запросов

Краткое руководство по созданию нужного звука с помощью текстовых запросов:

  • Добавляйте подробности: указывайте жанр, настроение и инструменты, например: кинематографический, Дикий Запад, перкуссия, напряженный, атмосферный.
  • Задавайте настроение: сочетайте музыкальные и эмоциональные термины.
  • Выбирайте инструменты: дополняйте названия прилагательными, например «гитара с реверберацией» или «мощный хор».
  • BPM: согласуйте темп с жанром, например «170 ударов в минуту» для драм-н-бейса.

Заключение

Image generated by the author using Midjourney

Изображение создано автором с помощью Midjourney

Мы рассмотрели музыку и аудио, создаваемые ИИ: от алгоритмических композиций до современных генеративных систем, таких как MusicLM и Stable Audio. Глубокое обучение и передовые модели сжатия не только улучшают генерацию музыки, но и помогают настраивать впечатления слушателей.

Область постоянно развивается. Сохранение долгосрочной согласованности и споры о подлинности музыки ИИ остаются вызовами для ее пионеров. Всего неделю назад обсуждали созданную ИИ песню в стиле Дрейка и The Weeknd, которая стала популярна в интернете ранее в этом году. Однако ее исключили из списка номинаций «Грэмми», что отражает продолжающиеся споры о легитимности такой музыки в индустрии (источник). Сближая музыку и слушателей, ИИ способствует экосистеме, где технология сосуществует с искусством, поддерживая инновации и уважая традиции.

Я провел последние пять лет, погружаясь в увлекательный мир машинного обучения и глубокого обучения. Моя страсть и экспертиза привели меня к участию в более чем 50 различных проектах программной инженерии, с особым акцентом на ИИ/МО. Мое непрекращающееся любопытство также привело меня к обработке естественного языка, области, которую я с нетерпением жду возможности изучить дальше.