Seth Forsgren, mede-oprichter en CEO van Riffusion – Interviewreeks

Seth Forsgren, mede-oprichter en CEO van Riffusion, leidt de ontwikkeling van een AI-gebaseerd muziekgeneratiemiddel dat audiobestanden maakt vanuit tekstprompts. Riffusion stelt gebruikers in staat om te experimenteren met verschillende muziekstijlen en geluiden in real-time, waardoor muziekcreatie toegankelijker wordt. Het platform is ontworpen voor zowel creativiteit als gebruiksgemak en stelt iedereen in staat om AI-gegenereerde muziek te verkennen zonder formele muzikale expertise te vereisen.

Riffusion is de beste AI-muziekgenerator die ik persoonlijk heb uitgeprobeerd en is een tool die ik zou aanbevelen voor gebruikers die geïnteresseerd zijn in AI-gegenereerde muziek.

Kun je ons terugbrengen naar de vroege dagen van Riffusion? Wat was de initiële vonk die je ertoe bracht een AI-muziekgeneratiemiddel te bouwen?

Riffusion begon als een volledige hobbyproject tussen twee levenslange muzikanten. Mijn mede-oprichter, Hayk, en ik hebben meer dan een decennium in amateurbands gespeeld en zijn altijd gefascineerd geweest door de creatieve daad. Op een middag waren we in mijn achtertuin een liedje aan het schrijven en op zoek naar inspiratie, en we begonnen te spelen met vroege AI-modellen die afbeeldingen konden genereren uit het niets. Maar wat we echt wilden, was een tool die muziek met ons kon maken, een AI waarmee we konden samenwerken om nieuwe melodieën en geluiden te creëren die nog nooit iemand had gehoord. Er was niets zoals dat op dat moment, dus probeerden we het voor onszelf te bouwen, meer dan voor iemand anders.

Op welk moment besefte je dat het het potentieel had om een volwaardig bedrijf te worden?

Het keerpunt kwam toen we ons hobbyproject deelden met een paar vrienden en het uit het niets viraal ging. Het waren niet alleen technologieën of AI-enthousiasten die geïnteresseerd waren – professionele muzikanten, producers en miljoenen alledaagse muziekliefhebbers engageerden zich op manieren waarop we nooit hadden kunnen anticiperen. Sommige van onze favoriete artiesten in de wereld begonnen contact met ons op te nemen met samples die ze hadden gemaakt met Riffusion!

Het project inspireerde ook top-onderzoekscentra bij Google (GOOGL ), ByteDance en anderen om hun eigen AI-muziekefforts op basis van ons werk op te zetten, en het was duidelijk dat dit niet alleen een experiment was – het was de basis voor iets veel groter. Als bedrijf hebben we nu de kans om dit nieuwe instrument aan creatieve mensen overal te brengen.

Wat waren de grootste technische en zakelijke uitdagingen die je tegenkwam bij het overgang van Riffusion van een experiment naar een commercieel product?

Aan de technische kant zijn we een heel eind gekomen. Onze eerste modellen genereerden korrelige, vijfseconden lange stukjes van lage kwaliteit muziek, en we kunnen nu volledige, hoge kwaliteit liedjes genereren met grote controle en expressiviteit. Dit heeft grote vooruitgang in de modelarchitectuur en constant opnieuw nadenken over dingen van scratch vereist. Het is een eer voor de geweldige onderzoekers in ons team dat we zo ver zijn gekomen, en we weten dat dit nog maar het begin is van wat mogelijk is met de technologie.

Aan de zakelijke kant moesten we diep nadenken over waar Riffusion past binnen de muziekindustrie. AI-muziek is nog steeds nieuw, en terwijl we een ongelooflijke adoptie zien van zowel amateur- als professionele creators, is er een voortdurend gesprek over hoe AI en menselijke creativiteit kunnen coëxisteren. Onze focus is altijd geweest op het empoweren van muzikanten, niet op het vervangen van hen – mensen nieuwe tools geven om hun creativiteit op manieren te verkennen die ze nooit hadden kunnen denken.

Riffusion richtte zich oorspronkelijk op het genereren van korte muzikale riffs, maar kan nu volledige stukken componeren. Wat waren de vooruitgangen die je in staat stelden om de mogelijkheden van Riffusion uit te breiden?

Door onze eigen foundation-modellen van scratch te trainen, zijn we in staat geweest de kwaliteit, expressiviteit en controle over de output van Riffusion te verbeteren. Een grote doorbraak kwam met de ontwikkeling en release van ons laatste model, FUZZ. In blind testing, presteert FUZZ consistent beter dan concurrerende modellen wanneer ze dezelfde lyrics en sound-prompts krijgen, en het model is uniek ontworpen om gebruikers te helpen hun persoonlijke sound te vinden – hoe meer tijd een gebruiker besteedt aan het gebruik van Riffusion, hoe meer FUZZ leert over hun individuele smaak, en hoe meer gepersonaliseerd de gegenereerde muziek wordt. We zien dit als een grote differentiator voor Riffusion.

Veel AI-muziekmodellen hebben moeite om emotionele diepte in muziek te behouden. Hoe vangt Riffusion de nuances van verschillende stemmingen en stijlen op?

Muziek is diep persoonlijk en emotioneel, en we willen dat Riffusion muziek genereert die op een menselijk niveau resoneert. Zoals onze adviseur Alex Pall zegt, “Dit gaat niet over het maken van geluid; het gaat over het maken van mensen die iets speciaals voelen door middel van geluid.”

Net als een goed gemaakte viool een artiest in staat stelt om zichzelf volledig uit te drukken, trainen we onze modellen om een instrument te zijn dat wordt geleid door de creativiteit van de gebruiker op elk moment. Of je nu een melodie, een tekstprompt of zelfs een afbeelding invoert, Riffusion past zich aan aan je intentie, vormt de output om verschillende stemmingen, dynamiek en stijlkeuzes te weerspiegelen. We zijn gefocust op de gebruikers die elke dag terugkomen om echt geweldige muziek op het platform te maken.

Naarmate AI-gegenereerde muziek verder evolueert, hoe zie je het complementeren van menselijke creativiteit in plaats van het vervangen?

AI is een instrument voor muzikanten, niet een vervanging. Gedurende de geschiedenis hebben nieuwe muzikale tools – van synthesizers tot digitale audio-workstations – de creativiteit van artiesten uitgebreid zonder de menselijke kunstenaarschap te verminderen. Riffusion volgt dezelfde filosofie. We zien Riffusion als een instrument dat muzikanten aanmoedigt om te experimenteren, samen te werken en nieuwe vormen van verhalenvertelling te proberen. Artiesten brengen nog steeds de ziel en intentie bij hun muziek, en AI helpt die ideeën tot leven te brengen. We zijn verheugd dat zo veel professionele muzikanten en enthousiasten dit instrument elke dag omarmen en plezier vinden in het creatieve proces.

Hoe hebben muzikanten en producers gereageerd op de mogelijkheden van Riffusion? Heb je onverwachte of innovatieve toepassingen van het instrument gezien?

De reactie is vrij ongelooflijk. Er waren een paar die deze tools jaren geleden begonnen te gebruiken, maar elke week nu groeit het aantal professionele muzikanten en producers dat de technologie omarmt dramatisch. We hebben artiesten zien gebruiken Riffusion om nieuwe melodieën te brainstormen, nieuwe geluiden te creëren en zelfs complete albums te componeren. Sommigen hebben Riffusion-generaties gemengd met live-instrumentatie om geheel nieuwe genres te creëren. Een van de meest spannende dingen is om te zien hoe mensen dit instrument nemen en het hun eigen maken, of het nu gaat om het genereren van muziek vanuit de geluiden van de natuur, het testen van experimentele composities of het maken van cinematografische stukken.

Nu Riffusion lange muziekstukken kan creëren, zie je potentieel voor AI-gegenereerde scores in films, videogames of andere media?

De mogelijkheid om lange muziekstukken te genereren maakt Riffusion een krachtig instrument voor het bredere medialandschap. We zien al interesse van filmmakers, game-ontwikkelaars en content-creators die unieke scores willen die zich aanpassen aan hun verhalen, misschien zelfs in real-time. Het is duidelijk dat AI kan helpen om verhalenvertellers uit te drukken over verschillende modaliteiten, en we zijn pas aan het begin van deze frontier.

Kijkend naar de toekomst, wat is je uiteindelijke visie voor Riffusion, en hoe zie je het vormgeven van de toekomst van muziekcreatie?

Vandaag de dag maken slechts een klein deel van de mensen muziek, maar creativiteit is inherent aan ons allemaal. Door tools te bouwen die de drempel verlagen en tegelijkertijd het plafond van wat mogelijk is met geluid verhogen, zal Riffusion een belangrijk instrument zijn in de toekomst. Ik zie Riffusion als de plek waar iedereen die wil creëren, experimenteren en connecteren via muziek naartoe gaat. Of je nu een professionele producer bent of iemand die nog nooit een liedje heeft gemaakt, we willen dat Riffusion het instrument is dat je helpt om je geluid te vinden.

Bedankt voor het geweldige interview, gebruikers die geïnteresseerd zijn in het genereren van enige muziek moeten Riffusion bezoeken.