Seth Forsgren, Mitgründer und CEO von Riffusion – Interviewreihe

Seth Forsgren, Mitgründer und CEO von Riffusion, leitet die Entwicklung eines künstlichen Intelligenz-gestützten Musikgenerierungstools, das Audio-Tracks aus Text-Prompts erstellt. Riffusion ermöglicht es Benutzern, mit verschiedenen musikalischen Stilen und Klängen in Echtzeit zu experimentieren, wodurch die Musikschaffung zugänglicher wird. Das Tool ist sowohl für Kreativität als auch für Benutzerfreundlichkeit konzipiert und ermöglicht es jedem, AI-generierte Musik zu erkunden, ohne formale musikalische Kenntnisse zu benötigen.

Riffusion ist der beste AI-Musikgenerator, den ich persönlich ausprobiert habe, und ist ein Tool, das ich Benutzern empfehlen würde, die an AI-generierter Musik interessiert sind.

Können Sie uns zurück in die Anfangstage von Riffusion bringen? Was war der Initialfunke, der Sie dazu brachte, ein AI-Musikgenerierungstool zu entwickeln?

Riffusion begann als reines Hobbyprojekt zwischen zwei lebenslangen Musikern. Mein Mitgründer, Hayk, und ich haben über ein Jahrzehnt lang in Amateur-Bands gespielt und sind immer von der kreativen Tat fasziniert gewesen. An einem Nachmittag waren wir in meinem Hinterhof und schrieben ein Lied, und auf der Suche nach Inspiration begannen wir, mit frühen AI-Modellen zu experimentieren, die Bilder aus dem Nichts generieren konnten. Aber was wir wirklich wollten, war ein Tool, das Musik mit uns machen konnte, ein AI, mit dem wir zusammenarbeiten konnten, um neue Melodien und Klänge zu erfinden, die noch nie jemand gehört hatte. Es gab nichts Vergleichbares zu dieser Zeit, also versuchten wir, es für uns selbst zu bauen, mehr als für jeden anderen.

Wann haben Sie erkannt, dass es das Potenzial hatte, ein vollständiges Unternehmen zu werden?

Der Wendepunkt kam, als wir unser Hobbyprojekt mit einigen Freunden teilten, und plötzlich ging es viral. Es waren nicht nur Technologen oder AI-Enthusiasten, die interessiert waren – professionelle Musiker, Produzenten und Millionen von alltäglichen Musikliebhabern interagierten mit ihm auf Weise, die wir nie hätten vorhersehen können. Einige unserer Lieblingskünstler auf der ganzen Welt begannen, uns mit Samples zu kontaktieren, die sie mit Riffusion erstellt hatten!

Das Projekt inspirierte auch führende Forschungslabore bei Google (GOOGL ), ByteDance und anderen, ihre eigenen AI-Musikbemühungen auf der Grundlage unserer Arbeit zu starten, und es war klar, dass dies nicht nur ein Experiment war – es war die Grundlage für etwas viel Größeres. Als Unternehmen haben wir jetzt die Chance, dieses neue Instrument an kreative Menschen auf der ganzen Welt zu bringen.

Welche waren die größten technischen und geschäftlichen Herausforderungen, denen Sie bei der Umwandlung von Riffusion von einem Experiment in ein kommerzielles Produkt gegenüberstanden?

Auf der technischen Seite haben wir große Fortschritte gemacht. Unsere ersten Modelle generierten granige, fünfsekündige Ausschnitte von Musik mit niedriger Qualität, und wir können jetzt vollständige, hochwertige Lieder mit großer Kontrollierbarkeit und Ausdruckskraft generieren. Dies erforderte wesentliche Fortschritte in der Modellarchitektur und ständiges Nachdenken über Dinge von Grund auf. Es ist ein Verdienst der großartigen Forscher in unserem Team, dass wir so weit gekommen sind, und wir wissen, dass dies erst der Anfang dessen ist, was mit dieser Technologie möglich ist.

Auf der geschäftlichen Seite mussten wir tief überlegen, wo Riffusion innerhalb der Musikindustrie passt. AI-Musik ist noch neu, und während wir eine unglaubliche Akzeptanz von Amateur-Kreativen und Profis sehen, gibt es ein laufendes Gespräch darüber, wie AI und menschliche Kreativität koexistieren können. Unser Fokus lag immer darauf, Musiker zu befähigen, nicht sie zu ersetzen – Menschen neue Tools zu geben, um ihre Kreativität auf Weise zu erkunden, die sie nie für möglich gehalten hätten.

Riffusion konzentrierte sich ursprünglich auf die Generierung kurzer musikalischer Riffs, kann aber jetzt vollständige Stücke komponieren. Welche Fortschritte ermöglichten es Ihnen, seine Fähigkeiten zu erweitern?

Indem wir unsere eigenen Grundmodelle von Grund auf trainierten, konnten wir die Qualität, Ausdruckskraft und Kontrollierbarkeit von Riffusions Ausgabe verbessern. Ein wichtiger Durchbruch kam mit der Entwicklung und Veröffentlichung unseres neuesten Modells, FUZZ. In blinden Tests übertrifft FUZZ konstant konkurrierende Modelle, wenn sie die gleichen Text- und Sound-Prompts erhalten, und das Modell ist einzigartig darauf ausgelegt, um Benutzern zu helfen, ihren persönlichen Sound zu finden – je mehr Zeit ein Benutzer mit Riffusion verbringt, desto mehr lernt FUZZ den individuellen Geschmack des Benutzers, und desto personalisierter wird die generierte Musik. Wir sehen dies als großen Unterschied für Riffusion.

Viele AI-Musikmodelle haben Schwierigkeiten, emotionale Tiefe in der Musik aufrechtzuerhalten. Wie erfasst Riffusion die Nuancen verschiedener Stimmungen und Stile?

Musik ist tief persönlich und emotional, und wir wollen, dass Riffusion Musik generiert, die auf menschlicher Ebene resoniert. Wie unser Berater Alex Pall sagt: “Dies geht nicht darum, Sound zu machen; es geht darum, Menschen durch Sound etwas Besonderes zu vermitteln.”

Genau wie ein gut gemachtes Violineninstrument einen Künstler befähigen kann, sich vollständig auszudrücken, trainieren wir unsere Modelle, um von der Kreativität des Benutzers bei jeder Wendung geleitet zu werden. Ob Sie eine Melodie, einen Text-Prompt oder sogar ein Bild eingeben, passt Riffusion sich an Ihre Absicht an und formt die Ausgabe, um verschiedene Stimmungen, Dynamiken und stilistische Entscheidungen widerzuspiegeln. Wir konzentrieren uns auf die Benutzer, die jeden Tag zurückkehren, um wirklich großartige Musik auf der Plattform zu kreieren.

Wie sehen Sie die Zukunft von AI-generierter Musik, und wie wird sie die menschliche Kreativität ergänzen, anstatt sie zu ersetzen?

AI ist ein Instrument für Musiker, kein Ersatz. Im Laufe der Geschichte haben neue musikalische Werkzeuge – von Synthesizern bis hin zu digitalen Audio-Workstations – das erweitert, was Künstler schaffen können, ohne die menschliche Kunstfertigkeit zu beeinträchtigen. Riffusion folgt derselben Philosophie. Wir sehen Riffusion als ein Instrument, das Musiker ermutigt, zu experimentieren, zu kollaborieren und neue Formen der Erzählung auszuprobieren. Künstler bringen immer noch die Seele und die Absicht in ihre Musik ein, und AI hilft, diese Ideen zum Leben zu erwecken. Wir sind begeistert, dass so viele professionelle Musiker und Enthusiasten dieses Tool jeden Tag annehmen und Freude am kreativen Prozess finden.

Wie haben Musiker und Produzenten auf Riffusions Fähigkeiten reagiert? Haben Sie unerwartete oder innovative Anwendungen des Tools gesehen?

Die Reaktion war ziemlich unglaublich. Es gab einige, die diese Tools vor Jahren begannen zu verwenden, aber jede Woche jetzt expandiert die Zahl der professionellen Musiker und Produzenten, die die Technologie annehmen, dramatisch. Wir haben gesehen, wie Künstler Riffusion für Brainstorming neuer Melodien, das Schaffen neuer Klänge und sogar das Komponieren ganzer Alben verwenden. Einige haben Riffusions-Generationen mit Live-Instrumentierung kombiniert, um völlig neue Genres zu schaffen. Eine der aufregendsten Dinge war, zu sehen, wie Menschen dieses Tool nehmen und es zu ihrem eigenen machen, ob sie Musik aus den Klängen der Natur generieren, experimentelle Kompositionen testen oder kinematografische Stücke komponieren.

Jetzt, da Riffusion lange Musikstücke erstellen kann, sehen Sie Potenzial für AI-generierte Partituren in Filmen, Videospielen oder anderen Medien?

Die Fähigkeit, lange Musikstücke zu generieren, macht Riffusion zu einem leistungsstarken Tool für das größere Medienlandschaft. Wir sehen bereits Interesse von Filmemachern, Spielentwicklern und Content-Erstellern, die einzigartige Partituren wollen, die sich an ihre Erzählungen anpassen, vielleicht sogar in Echtzeit. Es ist klar, dass AI helfen kann, Erzählern, sich über Modalitäten auszudrücken, und wir stehen gerade am Anfang dieser Grenze.

Wenn Sie in die Zukunft blicken, was ist Ihre ultimative Vision für Riffusion, und wie sehen Sie es die Zukunft der Musikschaffung prägen?

Heute machen nur ein winziger Bruchteil der Menschen Musik, aber Kreativität ist in uns allen angelegt. Indem wir Tools bauen, die die Hürde zum Einstieg senken und gleichzeitig die Decke dessen, was mit Sound möglich ist, heben, wird Riffusion ein wichtiges Instrument in der Zukunft sein. Ich sehe Riffusion als den zuverlässigen Ort für jeden, der kreativ sein, experimentieren und durch Musik verbinden will. Ob Sie ein professioneller Produzent sind oder jemand, der noch nie ein Lied gemacht hat, wollen wir, dass Riffusion das Instrument ist, das Ihnen hilft, Ihren Sound zu finden.

Vielen Dank für das großartige Interview. Benutzer, die daran interessiert sind, Musik zu generieren, sollten Riffusion besuchen.