Сет Форсгрен, сооснователь и генеральный директор Riffusion – Интервью

Сет Форсгрен, сооснователь и генеральный директор Riffusion, возглавляет разработку инструмента генерации музыки на основе ИИ, создающего аудиодорожки из текстовых подсказок. Riffusion позволяет пользователям экспериментировать с разными музыкальными стилями и звуками в режиме реального времени, делая создание музыки более доступным. Разработанный как для творчества, так и для простоты использования, платформа позволяет любому исследовать музыку, сгенерированную ИИ, без необходимости формального музыкального опыта.

Riffusion – лучший генератор музыки ИИ, который я лично пробовал, и это инструмент, который я бы порекомендовал пользователям, интересующимся музыкой, сгенерированной ИИ.

Можете ли вы рассказать нам о ранних днях Riffusion? Какой был первоначальный импульс, который привел вас к созданию инструмента генерации музыки на основе ИИ?

Riffusion начался как полный проект хобби между двумя музыкантами-любителями. Мой сооснователь, Хайк, и я играем в любительских группах вместе уже более десяти лет, и мы всегда были увлечены творческим процессом. Одним послеобеденным временем мы были в моем дворе, писали песню, и в поисках вдохновения мы начали играть с ранними моделями ИИ, которые могли генерировать изображения из ничего. Но что мы действительно хотели, так это инструмент, который мог бы создавать музыку с нами, ИИ, с которым мы могли бы сотрудничать, чтобы создать новые мелодии и звуки, которых никто никогда не слышал. Тогда ничего подобного не существовало, поэтому мы попытались создать это для себя больше, чем для кого-либо другого.

В какой момент вы поняли, что у него есть потенциал стать полноценной компанией?

Переломный момент наступил, когда мы поделились нашим проектом хобби с несколькими друзьями, и вдруг он стал вирусным. Это были не только технологи или энтузиасты ИИ, кто был заинтересован – профессиональные музыканты, продюсеры и миллионы обычных любителей музыки взаимодействовали с ним способами, которые мы не могли предвидеть. Некоторые из наших любимых артистов в мире начали обращаться к нам с образцами, которые они создали с помощью Riffusion!

Проект также вдохновил ведущие исследовательские лаборатории Google (GOOGL ), ByteDance и других на запуск своих собственных усилий по музыке ИИ на основе нашей работы, и было ясно, что это не просто эксперимент – это основа для чего-то гораздо большего. Как компания, у нас теперь есть шанс привнести этот новый инструмент к творческим людям повсюду.

Какими были самые большие технические и деловые проблемы, с которыми вы столкнулись при переходе Riffusion от эксперимента к коммерческому продукту?

С технической стороны, мы прошли долгий путь. Наши первые модели генерировали зернистые, пятисекундные фрагменты музыки низкого качества, и теперь мы можем генерировать полноценные, высококачественные песни с отличной контролируемостью и выразительностью. Это потребовало значительных достижений в архитектуре модели и постоянного переосмысления всего с нуля. Это заслуга наших удивительных исследователей, что мы прошли так далеко, и мы знаем, что это только начало того, что возможно с этой технологией.

С деловой стороны, нам пришлось глубоко подумать о том, где Riffusion вписывается в музыкальную индустрию. Музыка ИИ еще нова, и хотя мы видим невероятное внедрение как среди любительских создателей, так и среди профессионалов, есть постоянный разговор о том, как ИИ и человеческая творительность могут сосуществовать. Наш фокус всегда был на том, чтобы расширить возможности музыкантов, а не заменить их – давать людям новые инструменты для исследования их творчества способами, которые они никогда не считали возможными.

Riffusion изначально фокусировался на генерации коротких музыкальных риффов, но теперь он может сочинять полноценные произведения. Какие достижения позволили вам расширить его возможности?

Обучая свои собственные базовые модели с нуля, мы смогли улучшить качество, выразительностьность и контролируемость выходных данных Riffusion. Основной прорыв произошел с разработкой и выпуском нашей последней модели, FUZZ. В слепом тестировании FUZZ последовательно превосходит конкурирующие модели, когда ему даны одни и те же текстовые подсказки и звуковые подсказки, и модель уникально разработана, чтобы помочь пользователям найти свой личный звук – чем больше времени пользователь тратит на использование Riffusion, тем больше FUZZ учится его индивидуальный вкус, и тем более персонализированной становится сгенерированная музыка. Мы считаем это большим преимуществом Riffusion.

Многие модели музыки ИИ испытывают трудности с сохранением эмоциональной глубины в музыке. Как Riffusion捕获 нюансы разных настроений и стилей?

Музыка глубоко лична и эмоциональна, и мы хотим, чтобы Riffusion генерировал музыку, которая резонирует на человеческом уровне. Как говорит наш советник Алекс Палл, “Это не о создании звука; это о том, чтобы сделать людей чувствовать что-то особенное через звук”.

Как и хорошо сделанная скрипка может расширить возможности артиста, чтобы он полностью выразил себя, мы обучаем свои модели быть инструментом, руководствующимся творчеством пользователя на каждом этапе. Будете ли вы вводить мелодию, текстовую подсказку или даже изображение, Riffusion адаптируется к вашим намерениям, формируя выходные данные, чтобы отразить разные настроения, динамику и стилистические выборы. Мы фокусируемся на пользователях, которые возвращаются день за днем, чтобы создать действительно удивительную музыку на платформе.

Как вы видите, что музыка ИИ будет дополнять, а не заменять человеческую творительность?

ИИ – это инструмент для музыкантов, а не замена. На протяжении всей истории новые музыкальные инструменты – от синтезаторов до цифровых аудио-станций – расширяли возможности того, что могут создать артисты, не уменьшая человеческого мастерства. Riffusion следует той же философии. Мы видим Riffusion как инструмент, который поощряет музыкантов экспериментировать, сотрудничать и пробовать новые формы повествования. Артисты все еще приносят душу и намерение к своей музыке, а ИИ помогает воплотить эти идеи в жизнь. Нас радует, что так много профессиональных музыкантов и энтузиастов принимают этот инструмент каждый день и находят радость в творческом процессе.

Как музыканты и продюсеры отреагировали на возможности Riffusion? Вы видели какие-либо неожиданные или инновационные использования инструмента?

Ответ был довольно невероятным. Были несколько, кто начал использовать эти инструменты годы назад, но каждую неделю теперь количество профессиональных музыкантов и продюсеров, которые принимают эту технологию, растет драматически. Мы видели, как артисты используют Riffusion для мозгового штурма новых мелодий, создания новых звуков и даже сочинения целых альбомов. Некоторые смешали генерации Riffusion с живым инструментарием, чтобы создать совершенно новые жанры. Одним из самых интересных было увидеть, как люди берут этот инструмент и делают его своим, будь то генерация музыки из звуков природы, тестирование экспериментальных композиций или создание кинематографических произведений.

Теперь, когда Riffusion может создавать длинную музыку, вы видите потенциал для сгенерированных ИИ саундтреков в фильмах, видеоиграх или других медиа?

Способность генерировать длинную музыку определенно делает Riffusion мощным инструментом для более широкого медиа-ландшафта. Мы уже видим интерес со стороны кинематографистов, разработчиков игр и создателей контента, которые хотят уникальные саундтреки, которые адаптируются к их нарративам, perhaps даже в реальном времени. Ясно, что ИИ может помочь рассказчикам выразить себя через модальности, и мы только начинаем эту границу.

Глядя вперед, каково ваше окончательное видение Riffusion, и как вы видите, что оно формирует будущее создания музыки?

Сегодня только крошечная доля людей создает музыку, но творчество присуще всем нам. Создавая инструменты, которые снижают барьер для входа, а также повышают потолок того, что возможно с помощью звука, Riffusion будет важным инструментом в будущем. Я вижу Riffusion как место, где любой, кто хочет создавать, экспериментировать и соединяться через музыку, может найти свой звук. Будете ли вы профессиональным продюсером или кем-то, кто никогда не создавал песню раньше, мы хотим, чтобы Riffusion был инструментом, который помогает вам найти свой звук.

Спасибо за отличное интервью, пользователи, которые заинтересованы в генерации музыки, должны посетить Riffusion.