Сет Форсгрен, співзасновник і CEO Riffusion – Інтерв’ю Серія

Сет Форсгрен, співзасновник і CEO Riffusion, очолює розробку інструменту генерації музики на основі штучного інтелекту, який створює аудіотреки з текстових промптів. Riffusion дозволяє користувачам експериментувати з різними музичними стилями та звуками в реальному часі, роблячи створення музики більш доступним. Розроблений для творчості та зручності використання, платформа дозволяє будь-кому досліджувати музику, згенеровану штучним інтелектом, без потреби формальної музичної освіти.

Riffusion – це найкращий інструмент генерації музики на основі штучного інтелекту, який я особисто пробував, і це інструмент, який я б порекомендував користувачам, які цікавляться музикою, згенерованою штучним інтелектом.

Можете ви розповісти нам про початок Riffusion? Який був початковий імпульс, який спонукав вас створити інструмент генерації музики на основі штучного інтелекту?

Riffusion почався як повністю хобійний проєкт між двома музикантами-аматорами. Мій співзасновник, Гайк, і я граємо в аматорських групах разом уже понад десяти років, і ми завжди були зацікавлені в творчому акті. Одного дня ми були в моньому дворі, пишучи пісню, і в пошуках натхнення ми почали експериментувати з ранніми моделями штучного інтелекту, які могли генерувати зображення з нічого. Але що ми справді хотіли, це інструмент, який міг би створити музику з нами, штучний інтелект, з яким ми могли б співпрацювати, щоб створити нові мелодії та звуки, яких ніхто ще не чув. Такого інструменту не існувало на той час, тому ми спробували створити його для себе більше, ніж для когось іншого.

У який момент ви зрозуміли, що Riffusion має потенціал стати повноцінною компанією?

Переломний момент настав, коли ми поділилися нашим хобійним проєктом з кількома друзями, і з ніоткуди він став надзвичайно популярним. Це не були лише технологи чи ентузіасти штучного інтелекту, хто цікавився – професійні музиканти, продюсери та мільйони звичайних музичних шанувальників взаємодіяли з ним способами, яких ми не могли передбачити. Деякі з наших улюблених артистів у світі почали звертатися до нас з зразками, створеними за допомогою Riffusion!

Проєкт також надихнув провідні дослідницькі лабораторії Google, ByteDance та інших на запуск власних проєктів зі штучного інтелекту в галузі музики на основі нашої роботи, і стало зрозуміло, що це не просто експеримент – це основа для чогось набагато більшого. Як компанія, у нас тепер є можливість принести цей новий інструмент творчим людям усьому світі.

Які були найбільшими технічними та бізнесовими викликами, з якими ви зіштовхнулися під час перетворення Riffusion з експерименту в комерційний продукт?

З технічної сторони ми пройшли довгий шлях. Наші перші моделі генерували зернистий, п’ятисекундний уривок низької якості музики, і тепер ми можемо генерувати повноцінні, високоякісні пісні з великою контрольованістю та виразністю. Це вимагало великих досягнень у архітектурі моделі та постійного переосмислення всього заново. Це заслуга наших чудових дослідників, що ми пройшли такий шлях, і ми знаємо, що це ще тільки початок того, що можливо з цією технологією.

З бізнесової сторони нам довелося глибоко подумати про те, де Riffusion знаходиться в музичній індустрії. Музика, згенерована штучним інтелектом, ще нова, і хоча ми бачимо неймовірне прийняття з боку аматорських творців та професіоналів, триває розмова про те, як штучний інтелект та людська творчість можуть співіснувати. Наш фокус завжди був на наданні музикантам нових інструментів для дослідження своєї творчості способами, яких вони не могли собі уявити.

Riffusion спочатку зосереджувався на генерації коротких музичних рифів, але тепер може створювати повноцінні твори. Які досягнення дозволили вам розширити його можливості?

Розробивши свої власні основні моделі з нуля, ми змогли покращити якість, виразність та контрольованість виходу Riffusion. Великий прорив стався з розробкою та випуском нашої останньої моделі, FUZZ. У сліпих тестах FUZZ постійно випереджає конкуруючі моделі, коли йому надаються одні й ті ж текстові промпти та звукові сигнали, і ця модель унікально розроблена для допомоги користувачам у пошуку свого особистого звучання – чим більше часу користувач проводить, використовуючи Riffusion, тим більше FUZZ вчиться його індивідуального смаку, і тим більш персоналізованою стає згенерована музика. Ми бачимо це як великий диференціатор для Riffusion.

Багато моделей генерації музики на основі штучного інтелекту мають труднощі з підтриманням емоційної глибини в музиці. Як Riffusion захоплює нюанси різних настроїв та стилів?

Музика глибоко особиста та емоційна, і ми хочемо, щоб Riffusion генерував музику, яка резонує на людському рівні. Як наш радник Алекс Палл говорить, “Це не про створення звуку; це про те, щоб зробити людей відчувати щось особливе через звук”.

Як і добре зроблена скрипка може надати художнику можливість повністю висловити себе, ми тренуємо свої моделі бути інструментом, керованим творчістю користувача на кожному етапі. Чи вводите ви мелодію, текстовий промпт чи навіть зображення, Riffusion адаптується до вашої інтентії, формуючи вихід, щоб відобразити різні настрої, динаміку та стилістичні вибори. Ми зосереджені на користувачах, які повертаються день за днем, щоб створити справді чудову музику на платформі.

Як ви бачите майбутнє музики, згенерованої штучним інтелектом, як доповнення до людської творчості, а не її заміну?

Штучний інтелект – це інструмент для музикантів, а не заміна. На протяженні історії нові музичні інструменти – від синтезаторів до цифрових аудіостанцій – розширювали можливості того, що можуть створити артисти, не зменшуючи людську творчість. Riffusion слідує цій же філософії. Ми бачимо Riffusion як інструмент, який заохочує музикантів експериментувати, співпрацювати та пробувати нові форми оповідання. Артисти все ще приносять душу та намір до своєї музики, а штучний інтелект допомагає втілювати ці ідеї в життя. Нас радує, що так багато професійних музикантів та ентузіастів приймають цей інструмент кожен день та знаходять радість у творчому процесі.

Як музиканти та продюсери відреагували на можливості Riffusion? Чи бачили ви якісь несподівані чи інноваційні застосування цього інструменту?

Відгук був досить неймовірним. Були деякі, хто почав використовувати ці інструменти кілька років тому, але кожен тиждень зараз кількість професійних музикантів та продюсерів, які приймають цю технологію, зростає драматично. Ми бачили, як артисти використовують Riffusion для генерування нових мелодій, створення нових звуків та навіть композиції цілком альбомів. Деякі поєднали генерацію Riffusion з живими інструментами, щоб створити цілком нові жанри. Одним з найбільш цікавих моментів було спостерігання за тим, як люди беруть цей інструмент і роблять його своїм, чи то генеруючи музику з звуків природи, чи тестуючи експериментальні композиції, чи створюючи кінематографічні твори.

Тепер, коли Riffusion може створювати довгоформатну музику, чи бачите ви потенціал для генерації музики штучним інтелектом у кіно, відеоіграх чи інших медіа?

Спроможність генерувати довгоформатну музику дійсно робить Riffusion потужним інструментом для медіаландшафту. Ми вже бачимо інтерес з боку кінематографістів, розробників ігор та творців контенту, які хочуть унікальні саундтреки, які адаптуються до їхніх нарративів, можливо, навіть в реальному часі. Чисто зрозуміло, що штучний інтелект може допомогти оповідачам виразити себе через різні модальності, і ми тільки на початку цього фронтиру.

Оглядаючи вперед, яка у вас остаточна візія для Riffusion, і як ви бачите його вплив на майбутнє музичної творчості?

Сьогодні лише мала частка людей створює музику, але творчість закладена в кожному з нас. Будуючи інструменти, які знижують бар’єр для входу та одночасно підвищують стелю того, що можливо з звуком, Riffusion стане важливим інструментом у майбутньому. Я бачу Riffusion як місце, куди кожен, хто хоче створювати, експериментувати та зв’язуватися через музику, зможе прийти. Чи ви професійний продюсер, чи людина, яка ніколи не створювала пісню раніше, ми хочемо, щоб Riffusion був інструментом, який допоможе вам знайти свій звук.

Дякуємо за велике інтерв’ю, користувачам, які цікавляться генерацією музики, рекомендуємо відвідати Riffusion.