Seth Forsgren, spoluzakladatel a CEO Riffusion – rozhovor

Seth Forsgren, spoluzakladatel a CEO Riffusion, vede vývoj nástroje pro generování hudby pomocí umělé inteligence, který vytváří audio skladby z textových vstupů. Riffusion umožňuje uživatelům experimentovat s různými hudebními styly a zvuky v reálném čase, což činí tvorbu hudby přístupnější. Navržený pro kreativitu a snadné použití, platforma umožňuje komukoli prozkoumat hudbu generovanou pomocí umělé inteligence bez nutnosti formální hudební odbornosti.

Riffusion je nejlepší nástroj pro generování hudby pomocí umělé inteligence, který jsem osobně vyzkoušel, a je nástrojem, který bych doporučil uživatelům, kteří se zajímají o hudbu generovanou pomocí umělé inteligence.

Můžete nás vrátit do raných dnů Riffusion? Co byl počáteční impuls, který vás vedl k vývoji nástroje pro generování hudby pomocí umělé inteligence?

Riffusion začal jako hobby projekt dvou hudebníků. Můj spoluzakladatel, Hayk, a já jsme hráli v amatérských kapelách spolu více než deset let a vždy jsme byli fascinováni tvůrčím procesem. Jednoho odpoledne jsme byli v mém dvorku a psali píseň, a při hledání inspirace jsme začali hrát s ranými modely umělé inteligence, které mohly generovat obrázky z ničeho. Ale co jsme opravdu chtěli, byl nástroj, který by mohl dělat hudbu s námi, umělé inteligence, se kterou bychom mohli spolupracovat, aby vytvořily nové melodie a zvuky, které nikdo předtím neslyšel. Nic takového neexistovalo, takže jsme se pokusili vyvinout ho pro sebe více než pro kohokoli jiného.

V kterém okamžiku jste si uvědomili, že má potenciál stát se plnohodnotnou společností?

Zlomový bod nastal, když jsme svůj hobby projekt sdíleli s několika přáteli, a z ničeho nic to šlo neuvěřitelně virálně. Nebyli to jen technici nebo odborníci na umělé inteligence, kteří byli zainteresováni – profesionální hudebníci, producenti a miliony běžných milovníků hudby se zapojili do něj způsoby, které jsme nemohli předpovědět. Někteří z našich oblíbených umělců na světě začali kontaktovat s ukázkami, které vytvořili pomocí Riffusion!

Projekt také inspiroval přední výzkumné laboratoře v Google (GOOGL ), ByteDance a jinde, aby spustily své vlastní úsilí v oblasti umělé inteligence pro hudbu na základě naší práce, a bylo jasné, že se nejedná pouze o experiment – je to základ pro něco mnohem většího. Jako společnost nyní máme šanci přivést tento nový nástroj kreativním lidem všude.

Jaké byly největší technické a obchodní výzvy, kterým jste čelili při přechodu Riffusion z experimentu na komerční produkt?

Na technické straně jsme ušli dlouhou cestu. Naše první modely generovaly zrnité, pětisekundové ukázky hudby nízké kvality, a nyní můžeme generovat plnohodnotné, vysoké kvality skladby s velkou ovladatelností a vyjadřovací schopností. To vyžadovalo významný pokrok v architektuře modelu a neustálé přehodnocování věcí od začátku. Je to zásluha našich úžasných výzkumných pracovníků, že jsme ušli tak daleko, a víme, že toto je stále pouze začátek toho, co je možné s touto technologií.

Na obchodní straně jsme museli hluboce uvažovat o tom, kde Riffusion patří v hudebním průmyslu. Umělé inteligence pro hudbu je stále nová, a zatímco vidíme úžasné přijetí od amatérských tvůrců a profesionálů, probíhá diskuse o tom, jak může umělé inteligence a lidská kreativita koexistovat. Naše zaměření bylo vždy na to, aby hudebníkům poskytlo nové nástroje, aby mohli prozkoumat svou kreativitu způsoby, které nikdy předtím nevěřili.

Riffusion původně zaměřený na generování krátkých hudebních riffů, ale nyní může skládat plnohodnotné skladby. Jaké pokroky umožnily prodloužit jeho schopnosti?

Školením našich vlastních základních modelů od začátku jsme mohli zlepšit kvalitu, vyjadřovací schopnost a ovladatelnost výstupu Riffusion. Zásadní průlom nastal s vývojem a vydáním našeho posledního modelu, FUZZ. Při slepém testování FUZZ konzistentně překonává konkurenční modely, když jsou jim zadány stejné textové a zvukové vstupní údaje, a model je jedinečně navržen tak, aby pomáhal uživatelům najít svůj osobní zvuk – čím více času uživatel stráví používáním Riffusion, tím více se FUZZ učí jeho individuální chuť, a tím více personalizovanou se generovaná hudba stává. Vidíme to jako velký diferenciátor pro Riffusion.

Mnohé modely umělé inteligence pro hudbu mají potíže s udržením emocionální hloubky v hudbě. Jak Riffusion zachycuje nuance různých nálad a stylů?

Hudba je hluboce osobní a emocionální, a chceme, aby Riffusion generoval hudbu, která rezonuje na lidské úrovni. Jak říká náš poradce Alex Pall, „Toto není o vytváření zvuku; je to o tom, aby lidé cítili něco speciálního prostřednictvím zvuku.“

Stejně jako dobře vyrobená housle mohou povzbudit umělce, aby vyjádřili sebe sama plně, naše modely jsou navrženy tak, aby byly nástrojem vedeným tvůrčími úsilími uživatele na každém kroku. Bez ohledu na to, zda uživatel vkládá melodii, textový vstup nebo dokonce obrázek, Riffusion se přizpůsobuje jeho úmyslu, tvaruje výstup, aby odrážel různé nálady, dynamiku a stylové volby. Zaměřujeme se na uživatele, kteří se vracejí den za dnem, aby vytvořili opravdu úžasné hudbu na platformě.

Jak budete vidět umělé inteligence pro hudbu doplňující spíše než nahrazující lidskou kreativitu?

Umělé inteligence je nástroj pro hudebníky, ne náhrada. Během historie nové hudební nástroje – od syntezátorů po digitální audio pracovní stanice – rozšířily to, co umělci mohou vytvořit, bez snižování lidského uměleckého výkonu. Riffusion následuje stejnou filozofii. Vidíme Riffusion jako nástroj, který povzbuzuje hudebníky, aby experimentovali, spolupracovali a zkoušeli nové formy vyprávění. Umělci stále přinášejí duši a úmysl do své hudby, a umělé inteligence pomáhá tyto nápady uvést do života. Jsme nadšeni, že tolik profesionálních hudebníků a nadšenců přijímá tento nástroj každý den a nachází radost v tvůrčím procesu.

Jak hudebníci a producenti reagovali na schopnosti Riffusion? Viděli jste nějaké neočekávané nebo inovativní použití tohoto nástroje?

Odpověď byla bastante úžasná. Bylo několik, kteří začali používat tyto nástroje před lety, ale každý týden nyní počet profesionálních hudebníků a producentů, kteří přijímají tuto technologii, dramaticky roste. Viděli jsme, jak umělci používají Riffusion pro brainstorming nových melodií, vytváření nových zvuků a dokonce i komponování celých alb. Někteří zkombinovali generace Riffusion s živou instrumentací, aby vytvořili zcela nové žánry. Jednou z nejvíce vzrušujících věcí bylo vidět, jak lidé berou tento nástroj a dělají z něj něco svého, ať už jde o generování hudby ze zvuků přírody, testování experimentálních kompozic nebo vytváření filmových skladeb.

Teď, když Riffusion může vytvářet dlouhé skladby, vidíte potenciál pro umělé inteligence generované skóre ve filmu, videohrách nebo jiných médiích?

Schopnost generovat dlouhé skladby certainly činí Riffusion silným nástrojem pro větší mediální krajiny. Už vidíme zájem od filmařů, vývojářů her a tvůrců obsahu, kteří chtějí jedinečné skóre, které se přizpůsobují jejich příběhům, perhaps even v reálném čase. Je jasné, že umělé inteligence může pomoci vyprávěčům vyjádřit se napříč modalitami, a jsme teprve na začátku tohoto hranice.

Pohledem do budoucna, co je váš konečný vizí pro Riffusion, a jak budete vidět, že formuje budoucnost hudby?

Dnes pouze malá část lidí vytváří hudbu, ale kreativita je vrozená v nás všech. Budováním nástrojů, které snižují bariéry vstupu a zároveň zvyšují strop toho, co je možné se zvukem, Riffusion bude důležitým nástrojem v budoucnosti. Vidím Riffusion jako místo, kam se bude obracet kdokoli, kdo chce vytvářet, experimentovat a spojovat se skrze hudbu. Bez ohledu na to, zda jste profesionálním producentem nebo někým, kdo nikdy předtím nevytvořil píseň, chceme, aby Riffusion byl nástrojem, který vám pomůže najít váš zvuk.

Děkuji za skvělý rozhovor, uživatelé, kteří se zajímají o generování hudby, by měli navštívit Riffusion.