Seth Forsgren, współzałożyciel i CEO Riffusion – seria wywiadów

Seth Forsgren, współzałożyciel i CEO Riffusion, kieruje rozwojem narzędzia do generowania muzyki za pomocą sztucznej inteligencji, które tworzy utwory audio z podanych tekstów. Riffusion pozwala użytkownikom eksperymentować z różnymi stylami i dźwiękami muzycznymi w czasie rzeczywistym, czyniąc tworzenie muzyki bardziej dostępnym. Zaprojektowany zarówno dla kreatywności, jak i łatwości użycia, platforma umożliwia każdemu eksplorowanie muzyki generowanej przez sztuczną inteligencję bez wymogu formalnego wykształcenia muzycznego.

Riffusion to najlepszy generator muzyki AI, który osobiście wypróbowałem, i jest to narzędzie, które polecam użytkownikom zainteresowanym muzyką generowaną przez AI.

Czy możesz nas powrócić do wczesnych dni Riffusion? Co było pierwotnym impulsem, który skłonił cię do budowy narzędzia do generowania muzyki za pomocą sztucznej inteligencji?

Riffusion rozpoczęło się jako całkowicie hobbyistyczny projekt dwóch muzyków. Mój współzałożyciel, Hayk, i ja gramy w amatorskich zespołach przez ponad dekadę i zawsze byliśmy fascynowani aktem twórczym. Pewnego popołudnia byliśmy w moim podwórku, pisząc piosenkę, i w poszukiwaniu inspiracji zaczęliśmy eksperymentować z wczesnymi modelami AI, które mogły generować obrazy z niczego. Ale to, czego naprawdę chcieliśmy, to było narzędzie, które mogłoby tworzyć muzykę z nami, AI, z którym moglibyśmy współpracować, aby stworzyć nowe melodie i dźwięki, których nikt wcześniej nie słyszał. W tamtym czasie nie było nic podobnego, więc postanowiliśmy to zbudować dla siebie bardziej niż dla kogokolwiek innego.

W którym momencie zdałeś sobie sprawę, że ma potencjał, aby stać się pełnoprawną firmą?

Punkt zwrotny nastąpił, gdy podzieliliśmy się naszym projektem hobby z kilkoma przyjaciółmi, i nagle stał się wirusowy. Nie byli to tylko technolodzy lub entuzjaści AI, którzy byli zainteresowani – profesjonalni muzycy, producenci i miliony zwykłych miłośników muzyki angażowali się w niego w sposób, którego nie mogliśmy przewidzieć. Niektórzy z naszych ulubionych artystów na świecie zaczęli się z nami kontaktować z próbkami, które stworzyli za pomocą Riffusion!

Projekt ten również zainspirował najlepsze laboratoria badawcze w Google (GOOGL ), ByteDance i innych do rozpoczęcia własnych wysiłków związanych z AI i muzyką na podstawie naszej pracy, i było jasne, że to nie jest tylko eksperyment – jest to fundament dla czegoś znacznie większego. Jako firma mamy teraz szansę przynieść ten nowy instrument twórczym ludziom na całym świecie.

Jakie były największe wyzwania techniczne i biznesowe, z którymi się zetknąłeś, gdy przenosiłeś Riffusion z eksperymentu w produkt komercyjny?

Od strony technicznej przeszliśmy długą drogę. Nasze pierwsze modele generowały ziarniste, pięciosekundowe fragmenty muzyki o niskiej jakości, a teraz możemy generować pełne, wysokiej jakości utwory z wielką kontrolą i ekspresywnością. To wymagało znaczących postępów w architekturze modelu i ciągłego myślenia o wszystkim od nowa. To zasługa naszego niesamowitego zespołu badaczy, że doszliśmy tak daleko, i wiemy, że to jest dopiero początek tego, co jest możliwe z tym technologie.

Od strony biznesowej musieliśmy głęboko zastanowić się, gdzie Riffusion się mieści w przemyśle muzycznym. Muzyka AI jest nadal nowa, a chociaż widzimy niesamowite przyjęcie przez amatorskich twórców i profesjonalistów, toczy się ciągła dyskusja na temat tego, jak AI i ludzka kreatywność mogą współistnieć. Nasz focus zawsze był na tym, aby wspierać muzyków, a nie ich zastępować – dawać ludziom nowe narzędzia do eksplorowania swojej kreatywności w sposób, który wcześniej nie był możliwy.

Riffusion pierwotnie koncentrowało się na generowaniu krótkich riffów muzycznych, ale teraz może komponować pełne utwory. Jakie postępy umożliwiły ci rozszerzenie jego możliwości?

Poprzez szkolenie własnych modeli od podstaw, byliśmy w stanie poprawić jakość, ekspresywność i kontrolę nad wyjściem Riffusion. Duży przełom nastąpił z rozwojem i wydaniem naszego najnowszego modelu, FUZZ. W testach ślepych FUZZ konsekwentnie przewyższa konkurencyjne modele, gdy podaje się te same teksty i dźwięki, a model jest wyjątkowo zaprojektowany, aby pomóc użytkownikom znaleźć swój osobisty dźwięk – im więcej czasu użytkownik spędza korzystając z Riffusion, tym więcej FUZZ uczy się jego indywidualnego gustu, a tym bardziej spersonalizowana staje się generowana muzyka. Widzimy to jako duży różnicujący czynnik dla Riffusion.

Wiele modeli muzyki AI ma trudności z utrzymaniem głębi emocjonalnej w muzyce. Jak Riffusion ujmuje nuansowanie różnych nastrojów i stylów?

Muzyka jest głęboko osobista i emocjonalna, i chcemy, aby Riffusion generowała muzykę, która rezonuje na poziomie ludzkim. Jak nasz doradca Alex Pall mówi, „To nie jest o tworzeniu dźwięku; to o tym, aby ludzie czuli coś specjalnego przez dźwięk.”

Podobnie jak dobrze wykonany skrzypek może umożliwić artystom w pełni wyrazić się, szkolimy nasze modele, aby były instrumentem kierowanym przez kreatywność użytkownika na każdym etapie. Niezależnie od tego, czy wprowadzasz melodię, tekst lub nawet obraz, Riffusion dostosowuje się do twoich intencji, kształtując wyjście, aby odzwierciedlać różne nastroje, dynamikę i stylistyczne wybory. Koncentrujemy się na użytkownikach, którzy wracają dzień po dniu, aby stworzyć naprawdę niesamowitą muzykę na platformie.

Jak AI-generowana muzyka ewoluuje, jak widzisz ją uzupełniającą, a nie zastępującą ludzką kreatywność?

AI jest instrumentem dla muzyków, a nie ich zastępnikiem. Na przestrzeni historii nowe narzędzia muzyczne – od syntezatorów po cyfrowe stacje robocze – rozszerzały to, co artyści mogą tworzyć, nie zmniejszając ludzkiej sztuki. Riffusion podąża za tą samą filozofią. Widzimy Riffusion jako instrument, który zachęca muzyków do eksperymentowania, współpracy i próbowania nowych form opowiadania. Artyści nadal przynoszą duszę i intencję do swojej muzyki, a AI pomaga przyjąć te pomysły do życia. Jesteśmy podekscytowani, że tak wielu profesjonalnych muzyków i entuzjastów przyjmuje ten instrument każdego dnia i znajduje radość w procesie twórczym.

Jak muzycy i producenci zareagowali na możliwości Riffusion? Czy widziałeś jakieś nieoczekiwane lub innowacyjne zastosowania tego narzędzia?

Reakcja była dość niesamowita. Było kilku, którzy zaczęli używać tych narzędzi kilka lat temu, ale każdego tygodnia liczba profesjonalnych muzyków i producentów, którzy przyjmują tę technologię, rośnie dramatycznie. Widzieliśmy, jak artyści używają Riffusion do brainstormowania nowych melodii, tworzenia nowych dźwięków i nawet komponowania całych albumów. Niektórzy połączyli generacje Riffusion z żywą instrumentacją, tworząc całkowicie nowe gatunki. Jedną z najbardziej ekscytujących rzeczy było to, jak ludzie biorą to narzędzie i robią z niego coś własnego, niezależnie od tego, czy generują muzykę z dźwięków natury, testują eksperymentalne kompozycje czy tworzą kina.

Teraz, gdy Riffusion może tworzyć długie utwory, widzisz potencjał dla AI-generowanych ścieżek dźwiękowych w filmach, grach wideo czy innych mediach?

Możliwość generowania długich utworów muzycznych zdecydowanie czyni Riffusion potężnym narzędziem dla szerszego pejzażu medialnego. Już widzimy zainteresowanie ze strony twórców filmów, deweloperów gier i twórców treści, którzy chcą unikalne ścieżki dźwiękowe, które dostosowują się do ich narracji, perhaps even w czasie rzeczywistym. Jest jasne, że AI może pomóc opowiadaczom wyrazić się w różnych modalnościach, i jesteśmy dopiero na początku tej granicy.

Spójrzając w przyszłość, jaki jest twój ostateczny cel dla Riffusion, i jak widzisz, że kształtuje przyszłość tworzenia muzyki?

Dziś tylko niewielki ułamek ludzi tworzy muzykę, ale kreatywność jest wrodzona w nas wszystkich. Poprzez budowanie narzędzi, które obniżają barierę wejścia, a jednocześnie podnoszą sufit tego, co jest możliwe z dźwiękiem, Riffusion będzie ważnym instrumentem w przyszłości. Widzę Riffusion jako miejsce, w którym każdy może tworzyć, eksperymentować i łączyć się przez muzykę. Niezależnie od tego, czy jesteś profesjonalnym producentem, czy kimś, kto nigdy nie stworzył piosenki, chcemy, aby Riffusion było instrumentem, który pomoże ci znaleźć swój dźwięk.

Dziękujemy za wspaniały wywiad, użytkownicy zainteresowani generowaniem muzyki powinni odwiedzić Riffusion.