Seth Forsgren, Co-Fondateur et PDG de Riffusion – Série d’entretiens

Seth Forsgren, Co-Fondateur et PDG de Riffusion, dirige le développement d’un outil de génération de musique alimenté par l’IA qui crée des pistes audio à partir de texte. Riffusion permet aux utilisateurs d’expérimenter différents styles et sons musicaux en temps réel, rendant la création de musique plus accessible. Conçu à la fois pour la créativité et la facilité d’utilisation, la plateforme permet à quiconque d’explorer la musique générée par l’IA sans nécessiter d’expertise musicale formelle.

Riffusion est le meilleur générateur de musique IA que j’aie personnellement essayé, et c’est un outil que je recommanderais aux utilisateurs intéressés par la musique générée par l’IA.

Pouvez-vous nous ramener aux débuts de Riffusion ? Quel était l’étincelle initiale qui vous a amené à construire un outil de génération de musique alimenté par l’IA ?

Riffusion a commencé comme un projet de hobby entre deux musiciens de toute une vie. Mon co-fondateur, Hayk, et moi avons joué dans des groupes amateurs ensemble pendant plus d’une décennie, et nous avons toujours été fascinés par l’acte créatif. Un après-midi, nous étions dans mon jardin, en train d’écrire une chanson, et dans la recherche d’inspiration, nous avons commencé à jouer avec des modèles d’IA précoces qui pouvaient générer des images à partir de rien. Mais ce que nous voulions vraiment, c’était un outil qui puisse faire de la musique avec nous, un IA avec lequel nous pourrions collaborer pour créer de nouvelles mélodies et sons que personne n’avait jamais entendus. Il n’y avait rien de semblable à l’époque, nous avons donc essayé de le construire pour nous-mêmes plus que pour quiconque d’autre.

À quel moment avez-vous réalisé qu’il avait le potentiel de devenir une entreprise à part entière ?

Le tournant est venu lorsque nous avons partagé notre projet de hobby avec quelques amis, et sans prévenir, cela est devenu viralement populaire. Ce n’étaient pas seulement les technologistes ou les enthousiastes de l’IA qui étaient intéressés – des musiciens professionnels, des producteurs et des millions d’amateurs de musique ont interagi avec cela de manière que nous n’aurions jamais pu anticiper. Certains de nos artistes préférés dans le monde ont commencé à nous contacter avec des échantillons qu’ils avaient créés en utilisant Riffusion !

Le projet a également inspiré les meilleurs laboratoires de recherche de Google (GOOGL ), ByteDance et d’autres à lancer leurs propres efforts de musique alimentée par l’IA basés sur notre travail, et il était clair que ce n’était pas juste une expérience – c’était la fondation de quelque chose de beaucoup plus grand. En tant qu’entreprise, nous avons maintenant la chance de apporter cet nouvel instrument aux personnes créatives partout dans le monde.

Quels étaient les plus grands défis techniques et commerciaux que vous avez rencontrés lors de la transition de Riffusion d’une expérience à un produit commercial ?

Du point de vue technique, nous avons fait de grands progrès. Nos premiers modèles généraient des extraits de musique de cinq secondes de faible fidélité, et nous pouvons maintenant générer des chansons complètes de haute qualité avec une grande contrôlabilité et expressivité. Cela a nécessité de grands progrès dans l’architecture du modèle et une réflexion constante sur les choses à partir de zéro. C’est un crédit pour les chercheurs incroyables de notre équipe que nous soyons allés si loin, et nous savons que c’est encore juste le début de ce qui est possible avec la technologie.

Du point de vue commercial, nous avons dû réfléchir profondément à la place de Riffusion dans l’industrie de la musique. La musique alimentée par l’IA est encore nouvelle, et même si nous voyons une adoption incroyable des créateurs amateurs et professionnels, il y a une conversation en cours sur la façon dont l’IA et la créativité humaine peuvent coexister. Notre objectif a toujours été de donner du pouvoir aux musiciens, et non de les remplacer – de donner aux gens de nouveaux outils pour explorer leur créativité de manière qu’ils n’auraient jamais cru possible.

Riffusion se concentrait à l’origine sur la génération de riffs musicaux courts, mais maintenant il peut composer des pièces complètes. Quels progrès ont permis d’étendre ses capacités ?

En formant nos propres modèles de base à partir de zéro, nous avons pu améliorer la qualité, l’expressivité et la contrôlabilité de la sortie de Riffusion. Une avancée majeure est venue avec le développement et la publication de notre dernier modèle, FUZZ. Dans les tests aveugles, FUZZ surpasse constamment les modèles concurrents lorsqu’il reçoit les mêmes paroles et sons, et le modèle est conçu pour aider les utilisateurs à trouver leur son personnel – plus un utilisateur passe du temps à utiliser Riffusion, plus FUZZ apprend son goût individuel, et plus la musique générée est personnalisée. Nous considérons cela comme un grand facteur de différenciation pour Riffusion.

De nombreux modèles de musique alimentée par l’IA ont du mal à maintenir la profondeur émotionnelle de la musique. Comment Riffusion capture-t-il les nuances des différents humeurs et styles ?

La musique est profondément personnelle et émotionnelle, et nous voulons que Riffusion génère de la musique qui résonne sur un plan humain. Comme notre conseiller Alex Pall le dit, « Ce n’est pas à propos de la création de sons ; c’est à propos de faire ressentir aux gens quelque chose de spécial à travers le son. »

Comme un violon bien fabriqué peut donner du pouvoir à un artiste pour s’exprimer pleinement, nous formons nos modèles pour être un instrument guidé par la créativité de l’utilisateur à chaque étape. Que vous saisissiez une mélodie, un texte, ou même une image, Riffusion s’adapte à votre intention, façonnant la sortie pour refléter différents humeurs, dynamiques et choix stylistiques. Nous nous concentrons sur les utilisateurs qui reviennent jour après jour pour créer de la musique incroyable sur la plateforme.

Alors que la musique alimentée par l’IA continue d’évoluer, comment voyez-vous son rôle dans le complément de la créativité humaine plutôt que de la remplacer ?

L’IA est un instrument pour les musiciens, et non un remplacement. Tout au long de l’histoire, de nouveaux outils musicaux – des synthétiseurs aux stations audio numériques – ont élargi ce que les artistes peuvent créer sans diminuer l’art humain. Riffusion suit la même philosophie. Nous voyons Riffusion comme un instrument qui encourage les musiciens à expérimenter, à collaborer et à essayer de nouvelles formes de narration. Les artistes apportent toujours l’âme et l’intention à leur musique, et l’IA aide à donner vie à ces idées. Nous sommes ravis de voir que tant de musiciens professionnels et d’amateurs embrassent cet outil chaque jour, et trouvent du plaisir dans le processus créatif.

Comment les musiciens et les producteurs ont-ils réagi aux capacités de Riffusion ? Avez-vous vu des utilisations inattendues ou innovantes de l’outil ?

La réponse a été plutôt incroyable. Il y avait quelques-uns qui ont commencé à utiliser ces outils il y a des années, mais chaque semaine, le nombre de musiciens professionnels et de producteurs qui adoptent la technologie augmente de manière spectaculaire. Nous avons vu des artistes utiliser Riffusion pour faire des brainstorming de nouvelles mélodies, créer de nouveaux sons et même composer des albums entiers. Certains ont mélangé les générations de Riffusion avec des instruments live pour créer des genres entièrement nouveaux. L’une des choses les plus excitantes a été de voir comment les gens prennent cet outil et le rendent leur propre, que ce soit en générant de la musique à partir des sons de la nature, en testant des compositions expérimentales ou en créant des pièces cinématiques.

Maintenant que Riffusion peut créer de la musique de longue durée, voyez-vous un potentiel pour des partitions de musique alimentées par l’IA dans les films, les jeux vidéo ou d’autres médias ?

La capacité de générer de la musique de longue durée rend certainement Riffusion un outil puissant pour le paysage médiatique plus large. Nous voyons déjà de l’intérêt de la part de réalisateurs, de développeurs de jeux et de créateurs de contenu qui veulent des partitions uniques qui s’adaptent à leurs récits, peut-être même en temps réel. Il est clair que l’IA peut aider les conteurs à s’exprimer à travers différents modes, et nous ne sommes qu’au début de cette frontière.

En regardant vers l’avenir, quelle est votre vision ultime pour Riffusion, et comment voyez-vous son rôle dans l’avenir de la création de musique ?

Aujourd’hui, seulement une petite fraction des gens font de la musique, mais la créativité est inhérente à nous tous. En construisant des outils qui abaissent les barrières à l’entrée tout en élevant le plafond de ce qui est possible avec le son, Riffusion sera un instrument important dans l’avenir. Je vois Riffusion comme l’endroit où aller pour quiconque qui veut créer, expérimenter et se connecter à travers la musique. Que vous soyez un producteur professionnel ou quelqu’un qui n’a jamais fait de chanson auparavant, nous voulons que Riffusion soit l’instrument qui vous aide à trouver votre son.

Merci pour cette grande interview, les utilisateurs qui sont intéressés par la génération de musique devraient visiter Riffusion.