Google представляет модель музыки на основе ИИ, создающую музыку быстрее, чем проигрывание

Представьте себе следующую сцену: музыкант сидит за компьютером, не сочиняя ноту за нотой, а управляя ИИ-сотрудником в режиме реального времени — меняя жанры, смешивая инструменты и исследуя звуковые территории, существующие между устоявшимися музыкальными стилями. Это происходит сейчас с Google’s Magenta RealTime (RT) (GOOGL ), открытой моделью, которая приносит интерактивность в режиме реального времени в генерацию музыки на основе ИИ.

Только что выпущенная Magenta RT заставляет нас изменить наш подход к музыке, сгенерированной ИИ. В отличие от предыдущих моделей, которые требовали от пользователей ожидания полных треков, Magenta RT генерирует музыку быстрее, чем проигрывает, обеспечивая真正е взаимодействие в режиме реального времени. Для музыкальной индустрии — уже борющейся с разрушительным влиянием ИИ — эта технология открывает двери к совершенно новым формам творческого выражения, а также поднимает глубокие вопросы об авторстве, исполнении и будущем человеческого музыкантства.

Понимание Magenta RealTime

В своей основе Magenta RT представляет собой автoreгрессивную трансформерную модель с 800 миллионами параметров, но то, что отличает ее, — это подход к задаче генерации в режиме реального времени. Модель генерирует непрерывные потоки музыки в 2-секундных фрагментах, каждый из которых зависит от предыдущих 10 секунд аудио-выхода и динамически настраиваемого стиля. Эта архитектура позволяет музыкантам манипулировать стилем в режиме реального времени, эффективно управляя музыкальным выходом по мере его развития.

Техническое достижение здесь невозможно переоценить. На бесплатном Google Colab TPU Magenta RT генерирует 2 секунды аудио за всего 1,25 секунды — реальный фактор 1,6. Эта скорость достигается благодаря нескольким инновациям:

• Блоковая автoreгрессия: Вместо генерации целых треков сразу модель работает в небольших, управляемых фрагментах, которые можно быстро обработать
• SpectroStream Codec: Преемник SoundStream, который обеспечивает высококачественное 48kHz стерео-аудио
• MusicCoCa Embeddings: Новая совместная музыкально-текстовая модель, которая позволяет осуществлять семантический контроль над процессом генерации

Что делает это особенно впечатляющим, так это то, что в отличие от API-ориентированных решений или моделей генерации в пакетном режиме Magenta RT поддерживает синтез в потоке с коэффициентом реального времени больше 1. Это означает, что модель может фактически опережать проигрывание, создавая буфер, который обеспечивает гладкий, непрерывный музыкальный поток.

От пассивной генерации к активному исполнению

Последствия генерации музыки в режиме реального времени на основе ИИ распространяются далеко за пределы технических спецификаций. Как отмечает команда Magenta, “Живое взаимодействие требует больше от исполнителя, но может предложить больше в ответ. Непрерывный цикл восприятия-действия между человеком и моделью обеспечивает доступ к творческому потоку, центрируя опыт на радости процесса, а не на конечном продукте.”

Этот сдвиг от пассивного к активному взаимодействию решает одну из основных критических замечаний к контенту, сгенерированному ИИ: его потенциал наводнить рынок бездушной, массово произведенной музыкой. Модели в режиме реального времени “естественным образом избегают создания потока пассивного контента, поскольку они внутренне балансируют прослушивание с генерацией в соотношении 1:1”. Каждый момент созданной музыки требует момента человеческого внимания и принятия решений.

Рассмотрите возможности, которые это открывает:

• Живое исполнение: DJ и электронные музыканты могут включать ИИ в качестве отзывчивого инструмента в своих выступлениях, добавляя к расширяющемуся набору инструментов ИИ для музыкантов, которые улучшают, а не заменяют человеческое творчество
• Интерактивные инсталляции: Художники могут создавать среды, в которых музыка реагирует на движение аудитории или факторы окружающей среды
• Образовательные инструменты: Студенты могут исследовать музыкальные концепции через непосреденную, осязаемую обратную связь
• Саундтреки игр: Динамические саундтреки, которые адаптируются к действиям игрока в режиме реального времени

Разрушение и возможность

Музыкальная индустрия стоит на перекрестке. Выручка в музыкальной индустрии ожидается увеличиться на 17,2%, частично благодаря музыке, сгенерированной ИИ, с глобальным рынком музыки ИИ, оцененным в 2,9 миллиарда долларов в 2024 году. Однако этот рост сопровождается значительными опасениями со стороны артистов и профессионалов индустрии.

Исследование Goldmedia предсказывает, что без надлежащих систем компенсации музыканты могут потерять до 27% своей выручки к 2028 году, поскольку контент, сгенерированный ИИ, будет расти. Страх ощутим — заменит ли ИИ человеческих музыкантов? Будет ли уменьшена ценность человеческого творчества в мире, где любой может создавать профессионально звучащую музыку?

Magenta RT предлагает тонкий ответ на эти опасения. Позиционируя себя как открытый инструмент, который улучшает, а не заменяет человеческое творчество, она обеспечивает модель того, как ИИ и музыканты могут сосуществовать. Требование реального времени человеческого ввода гарантирует, что технология усиливает человеческое творчество, а не работает автономно.

Демократизация против девальвации

Одним из наиболее значительных влияний Magenta RT является ее потенциал демократизировать создание музыки. Модель предназначена для запуска на потребительском оборудовании и уже функционирует на бесплатных Colab TPU. Эта доступность означает, что начинающие музыканты без дорогого оборудования или формального образования могут экспериментировать с сложными музыкальными идеями, присоединяясь к растущей экосистеме генераторов музыки ИИ, которые преобразуют творческие рабочие процессы.

Однако эта демократизация несет риски. Как композитор Марк Генри Филлипс отмечает в своих экспериментах с генерацией музыки ИИ, он подозревает, что “ему скоро придется отказаться от работы музыкантом, поскольку компании начнут использовать технологию напрямую”. Легкость, с которой ИИ может создавать коммерчески качественную музыку, угрожает традиционным потокам доходов профессиональных музыкантов.

Однако есть и другая точка зрения. Как и цифровая фотография не исключила профессиональных фотографов, а изменила природу их работы, генерация музыки ИИ может изменить, а не заменить музыкальные карьеры. Ключом является то, как музыканты адаптируются и интегрируют эти инструменты в свой творческий процесс.

Рост генерации музыки ИИ в режиме реального времени также поднимает насущные этические вопросы. Авторское право, владение и справедливая компенсация остаются спорными вопросами. 90% музыкантов считают, что компании ИИ должны запрашивать разрешение перед использованием защищенной авторским правом музыки для обучения, подчеркивая напряжение между технологической инновацией и художественными правами.

Открытый подход Magenta RT предлагает один из возможных путей вперед. Сделав технологию свободно доступной и обучив ее примерно 190 000 часов инструментальной фоновой музыки из нескольких источников, Google попыталась обойти некоторые опасения по поводу авторского права, создав при этом способную модель.

Ограничения модели также отражают этические соображения. Хотя она способна генерировать нелексические вокализации и напевы, Magenta RT не обучена на текстах и вряд ли сгенерирует фактические слова. Этот дизайнерский выбор помогает избежать потенциальных проблем с генерацией неподходящего лирического контента, одновременно фокусируя инструмент на инструментальной композиции.

Будущее человеческого сотрудничества с ИИ в музыке

Когда мы стоим на пороге этой новой эры в создании музыки, несколько тенденций появляются:

1. Гибридные модели создания: Вместо замены музыкантов инструменты, такие как Magenta RT, становятся сотрудниками. Недавние разработки в системах отслеживания ритма с нулевой задержкой и повышенной управляемостью показывают, как ИИ может синхронизироваться с человеческими исполнителями в режиме реального времени.
2. Новые парадигмы исполнения: Концепция “исполнения” с ИИ открывает совершенно новые художественные возможности. Музыканты учатся “играть” на этих системах как на инструментах, развивая техники для получения конкретных звуков и навигации по скрытым музыкальным пространствам.
3. Революция в образовании: Технология генерации музыки ИИ революционизировала музыкальное образование, с платформами, которые предоставляют интерактивные trải nghiệm, которые слушают выступления пользователей и предлагают мгновенную обратную связь.Техническая конвергенция: С инновациями в нейронных аудио-кодеках и оптимизированных архитектурах инструменты, такие как MusicFX DJ, теперь могут передавать производственно-качественное 48kHz стерео-аудио в режиме реального времени, привнося музыку ИИ к профессиональным стандартам.

Принятие сотрудничества в будущем

Magenta RealTime предлагает взгляд в будущее, где границы между человеческим и машинным творчеством становятся все более жидкими. Требуя реального времени человеческого ввода и фокусируясь на процессе, а не только на выходе, она предлагает модель ИИ, который улучшает, а не заменяет человеческое творчество.

Технология открытого характера и доступности на потребительском оборудовании демократизирует создание музыки, а ограничения реального времени гарантируют, что человеческая инициатива остается центральной в творческом процессе. Как подчеркивает команда Magenta, улучшение человеческого творчества — всегда было в центре их миссии.

Для музыкантов, продюсеров и любителей музыки послание ясно: будущее музыки заключается не в выборе между человеческим или ИИ-созданием, а в исследовании огромных творческих возможностей, которые возникают, когда два работают вместе в режиме реального времени. Magenta RT — это приглашение переосмыслить, что может быть создание музыки в эпоху ИИ.

Когда мы движемся вперед, музыкальная индустрия должна столкнуться с важными вопросами о справедливой компенсации, авторском праве и ценности человеческого творчества. Но если инструменты, такие как Magenta RT, являются любым указанием, будущее музыки будет сотрудничеством, экспериментированием и новыми формами выражения, которые мы только начинаем представлять.