Google представляє музичну модель AI, яка створює музику швидше, ніж відтворення

Представьте собі: музикант сидить за комп’ютером, не складає ноти одну за одною, а керує співпрацею AI через живе виконання – змінює жанри, змішує інструменти та досліджує звукові території, які існують між усталеними музичними стилями. Це відбувається зараз з Google’s Magenta RealTime (RT), відкритою моделлю, яка привносить інтерактивність у реальному часі в генерацію музики AI.

Відразу після випуску Magenta RT змушує нас змінити спосіб мислення про музику, згенеровану AI. На відміну від попередніх моделей, які вимагали від користувачів чекати повних треків для рендерингу, Magenta RT генерує музику швидше, ніж вона відтворюється, що дозволяє справжню інтерактивність у реальному часі. Для музичної індустрії – вже боротьби з деструктивним впливом AI – ця технологія відкриває двері до зовсім нових форм творчого вираження, одночасно піднімаючи глибокі питання про авторство, виконання та майбутнє людської музикантності.

Розуміння Magenta RealTime

У своєму ядрі Magenta RT – це модель автoregresивного трансформера з 800 мільйонами параметрів, але те, що відрізняє її, – це підхід до завдання генерації у реальному часі. Модель генерує безперервні потоки музики у 2-секундних фрагментах, кожен з яких умовний на попередніх 10 секундах аудіових даних та динамічно налаштовуваному стилістичному вкладенні. Ця архітектура дозволяє музикантам маніпулювати стилістичним вкладенням у реальному часі, ефективно керуючи музичним виходом, коли він розвивається.

Технічне досягнення тут не можна переоцінити. На безкоштовному рівні Google Colab TPU Magenta RT генерує 2 секунди аудіо всього за 1,25 секунди – реальний фактор 1,6. Ця швидкість досягається завдяки кільком інноваціям:

• Блокова автoregresія: Натомість генерації цілого треку одразу, модель працює у малих, керованих фрагментах, які можуть бути оброблені швидко
• SpectroStream Codec: Наступник SoundStream, який дозволяє високоякісне 48kHz стерео аудіо
• MusicCoCa Embeddings: Нова спільна музично-текстова модель вкладення, яка дозволяє семантичний контроль над процесом генерації

Що робить це особливо вражаючим, так це те, що на відміну від рішень, заснованих на API, або моделей генерації у пакетному режимі, Magenta RT підтримує синтез потоку з прямим фактором реального часу більше 1. Це означає, що модель може фактично обігнати відтворення, створюючи буфер, який забезпечує гладкий, безперервний музичний потік.

Від пасивної генерації до активної виконавської діяльності

Імплікації генерації музики AI у реальному часі розширюються далеко за межі технічних специфікацій. Як зазначає команда Magenta, “Живе взаємодія вимагає більше від виконавця, але може пропонувати більше у відповідь. Безперервний цикл сприйняття-дії між людиною та моделлю забезпечує доступ до творчої потокової стану, центруючи досвід на задоволенні процесу над кінцевим продуктом”.

Ця зміна від пасивної до активної участі адресує одну з основних критик AI-генерованого контенту: його потенціал затопити ринок бездушною, масово виробленою музикою. Моделі у реальному часі “природно уникнуть створення потоку пасивного контенту, оскільки вони внутрішньо балансують слухання з генерацією у співвідношенні 1:1”. Кожен момент створеної музики вимагає моменту людської уваги та прийняття рішень.

Розгляньте можливості, які це відкриває:

• Живе виконання: DJ та електронні музиканти можуть включити AI як відповідальний інструмент у свої виступи, додавши до розширюваного інструментарію інструментів AI для музикантів, які підвищують, а не заміняють людську творчість
• Інтерактивні інсталяції: Художники можуть створити середовища, у яких музика реагує на рух аудиторії або екологічні чинники
• Освітні інструменти: Студенти можуть досліджувати музичні концепції через негайну, осяжну віддачу
• Саундтреки до ігор: Динамічні саундтреки, які адаптуються до дій гравця у реальному часі

Деструкція та можливість

Музична індустрія стоїть на розі. Доход у музичній індустрії очікується збільшиться на 17,2%, частково завдяки музиці, згенерованій AI, з глобальним ринком AI-музики, оціненим у 2,9 мільярда доларів у 2024 році. Однак цей рост супроводжується значними проблемами для артистів та професіоналів індустрії.

Дослідження Goldmedia передбачає, що без належних систем компенсації музиканти можуть втратити до 27% свого доходу до 2028 року, оскільки зростає контент, згенерований AI. Страх відчутний – чи замінять AI людських музикантів? Чи буде знижена вартість людської творчості у світі, де кожен може генерувати професійну звучну музику?

Magenta RT пропонує нюансований відповідь на ці проблеми. Позиціонуючи себе як відкритий інструмент, який підвищує, а не заміняє людську творчість, він пропонує модель того, як AI та музиканти можуть співіснувати. Вимога реального часу людського вводу гарантує, що технологія посилює людську творчість, а не працює автономно.

Демократизація проти девальвації

Одним з найбільш значимих впливів Magenta RT є його потенціал демократизувати музичне створення. Модель призначена для роботи на споживчій апаратурі та вже функціонує на безкоштовному рівні Colab TPU. Ця доступність означає, що музиканти без дорогого обладнання або формальної освіти можуть експериментувати з складними музичними ідеями, вступаючи до зростаючої екосистеми генераторів музики AI, які трансформують творчі робочі процеси.

Однак ця демократизація супроводжується ризиками. Як композитор Марк Генрі Філліпс зазначає у своїх експериментах з генерацією музики AI, він підозрює, що “він скоро вже не зможе заробляти на життя як музикант, оскільки компанії починають використовувати цю технологію безпосередньо”. Легкість, з якою AI може генерувати комерційно-якісну музику, загрожує традиційним потокам доходу професійним музикантам.

Однак є інша перспектива, яку варто розглянути. Як і цифрова фотографія не ліквідувала професійних фотографів, а змінила природу їхньої роботи, генерація музики AI може змінити, а не замінити музичні кар’єри. Ключ лежить у тому, як музиканти адаптуються та інтегрують ці інструменти у свій творчий процес.

Поява генерації музики AI у реальному часі також піднімає нагальні етичні питання. Авторське право, володіння та справедлива компенсація залишаються спірними питаннями. 90% музикантів вважають, що компанії AI повинні запитувати дозвіл перед використанням захищеної авторським правом музики для навчання, підкреслюючи напруженість між технологічними інноваціями та художніми правами.

Відкритий підхід Magenta RT пропонує один потенційний шлях вперед. Зробивши технологію безкоштовно доступною та тренувавши її на приблизно 190 000 годинах інструментальної фонової музики з різних джерел, Google намагається уникнути деяких проблем з авторським правом, одночасно створюючи здатну модель.

Обмеження моделі також відображають етичні розгляди. Хоча вона здатна генерувати невокальні вокалізації та гумання, Magenta RT не умовна на тексти пісень і малоймовірно генеруватиме фактичні слова. Це дизайнерське рішення допомагає уникнути потенційних проблем з генерацією непридатного текстового контенту, одночасно фокусуючи інструмент на інструментальній композиції.

Майбутнє людсько-AI музичної співпраці

Стоячи на порозі цієї нової ери музичного створення, кілька тенденцій з’являються:

1. Гібридні моделі створення: Натомість заміни музикантів, інструменти типу Magenta RT стають співпрацею. Недавні розробки систем відстежування ритму з нульовою затримкою та підвищеною керованості показують, як AI може синхронізуватися з людськими виконавцями у реальному часі.
2. Нові парадигми виконання: Концепція “виконання” з AI відкриває зовсім нові художні можливості. Музиканти вчаться “грати” на цих системах, як на інструментах, розвиваючи техніки для отримання конкретних звуків та навігації у прихованому музичному просторі.
3. Освітня революція: Технологія генерації музики AI революціонізувала музичну освіту, з платформами, які пропонують інтерактивні досвіди, які слухають виконання користувачів та пропонують негайну віддачу.Технічна конвергенція: З інноваціями у нейронних аудіо-кодках та оптимізованих архітектурах, інструменти типу MusicFX DJ можуть тепер передавати продукційне 48kHz стерео аудіо у реальному часі, привнося генерацію музики AI до професійних стандартів якості.

Приняття колаборативного майбутнього

Magenta RealTime пропонує погляд у майбутнє, де межі між людською та машинною творчістю стають дедалі більш розмитими. Вимагаючи реального часу людського вводу та фокусуючись на процесі, а не тільки на виході, він пропонує модель AI, яка підвищує, а не заміняє людську творчість.

Відкрита природа технології та доступність на споживчій апаратурі демократизують музичне створення, одночасно реальні обмеження часу гарантують, що людська агентність залишається центральною у творчому процесі. Як зазначає команда Magenta, підвищення людської творчості – а не її заміна – завжди було у центрі їхньої місії.

Для музикантів, продюсерів та меломанів повідомлення ясне: майбутнє музики лежить не у виборі між людським чи AI-творенням, а у дослідженні величезних творчих можливостей, які виникають, коли обидва працюють разом у реальному часі. Magenta RT – це запрошення переосмислити, що може бути музичне створення у добу AI.

Поки ми рухаємося вперед, музична індустрія повинна займатися важливими питаннями про справедливу компенсацію, авторське право та вартість людської творчості. Але якщо інструменти типу Magenta RT є будь-яким індикатором, майбутнє музики буде майбутнім співпраці, експериментів та нових форм вираження, яких ми тільки починаємо уявляти.