Seth Forsgren, Co-Fundador y CEO de Riffusion – Serie de Entrevistas

Seth Forsgren, Co-Fundador y CEO de Riffusion, lidera el desarrollo de una herramienta de generación de música impulsada por IA que crea pistas de audio a partir de textos. Riffusion permite a los usuarios experimentar con diferentes estilos y sonidos musicales en tiempo real, lo que hace que la creación de música sea más accesible. Diseñada para la creatividad y la facilidad de uso, la plataforma permite a cualquiera explorar la música generada por IA sin necesidad de conocimientos musicales formales.

Riffusion es el mejor generador de música de IA que he probado personalmente, y es una herramienta que recomendaría a los usuarios interesados en la música generada por IA.

¿Puedes llevarnos de vuelta a los primeros días de Riffusion? ¿Cuál fue la chispa inicial que te llevó a construir una herramienta de generación de música de IA?

Riffusion comenzó como un proyecto de hobby entre dos músicos de toda la vida. Mi co-fundador, Hayk, y yo hemos estado tocando en bandas amateur juntos durante más de una década, y siempre hemos estado fascinados por el acto creativo. Una tarde estábamos en mi patio trasero escribiendo una canción, y en busca de inspiración, comenzamos a jugar con modelos de IA tempranos que podían generar imágenes a partir de la nada. Pero lo que realmente queríamos era una herramienta que pudiera hacer música con nosotros, una IA con la que pudiéramos colaborar para crear nuevas melodías y sonidos que nadie había escuchado antes. No había nada como eso en ese momento, así que intentamos construirlo para nosotros mismos más que para nadie más.

¿En qué momento te diste cuenta de que tenía el potencial de convertirse en una empresa de pleno derecho?

El punto de inflexión llegó cuando compartimos nuestro proyecto de hobby con algunos amigos, y de la nada se volvió viral. No solo eran tecnólogos o entusiastas de la IA quienes estaban interesados, sino que músicos profesionales, productores y millones de amantes de la música común estaban interactuando con él de maneras que nunca podríamos haber anticipado. Algunos de nuestros artistas favoritos en el mundo comenzaron a contactarnos con muestras que habían creado utilizando Riffusion.

El proyecto también inspiró a los principales laboratorios de investigación de Google (GOOGL ), ByteDance y otros a iniciar sus propios esfuerzos de música de IA basados en nuestro trabajo, y estaba claro que esto no era solo un experimento, sino la base para algo mucho más grande. Como empresa, ahora tenemos la oportunidad de llevar este nuevo instrumento a personas creativas de todas partes.

¿Cuáles fueron los mayores desafíos técnicos y comerciales que enfrentaste al transitar Riffusion de un experimento a un producto comercial?

En el lado técnico, hemos avanzado mucho. Nuestros primeros modelos generaban fragmentos de música de baja fidelidad de cinco segundos, y ahora podemos generar canciones de alta calidad y de larga duración con gran controlabilidad y expresividad. Esto ha requerido avances importantes en la arquitectura del modelo y constantemente replantear las cosas desde cero. Es un crédito para los increíbles investigadores de nuestro equipo que hayamos llegado tan lejos, y sabemos que esto es solo el comienzo de lo que es posible con la tecnología.

En el lado comercial, tuvimos que pensar profundamente sobre dónde se ajusta Riffusion dentro de la industria de la música. La música de IA es aún nueva, y aunque estamos viendo una adopción increíble de creadores amateur y profesionales por igual, hay una conversación en curso sobre cómo la IA y la creatividad humana pueden coexistir. Nuestro enfoque siempre ha sido empoderar a los músicos, no reemplazarlos, brindarles a las personas nuevas herramientas para explorar su creatividad de maneras que nunca pensaron posibles.

Riffusion originalmente se centró en generar riffs musicales cortos, pero ahora puede componer piezas de larga duración. ¿Qué avances permitieron extender sus capacidades?

Al entrenar nuestros propios modelos de base desde cero, hemos podido mejorar la calidad, la expresividad y la controlabilidad de la salida de Riffusion. Un gran avance llegó con el desarrollo y lanzamiento de nuestro último modelo, FUZZ. En pruebas ciegas, FUZZ supera consistentemente a los modelos competidores cuando se le dan los mismos textos y sonidos, y el modelo está diseñado de manera única para ayudar a los usuarios a encontrar su sonido personal, cuanto más tiempo un usuario pasa utilizando Riffusion, más aprende FUZZ su gusto individual, y más personalizada se vuelve la música generada. Vemos esto como un gran diferenciador para Riffusion.

Muchos modelos de música de IA luchan por mantener la profundidad emocional en la música. ¿Cómo captura Riffusion las nuances de diferentes estados de ánimo y estilos?

La música es profundamente personal y emocional, y queremos que Riffusion genere música que resuene a nivel humano. Como dice nuestro asesor Alex Pall, “Esto no se trata de hacer sonido; se trata de hacer que la gente sienta algo especial a través del sonido”.

Al igual que un violín bien hecho puede empoderar a un artista para expresarse plenamente, entrenamos nuestros modelos para ser un instrumento guiado por la creatividad del usuario en cada momento. Ya sea que estés ingresando una melodía, un texto o incluso una imagen, Riffusion se adapta a tu intención, dándole forma a la salida para reflejar diferentes estados de ánimo, dinámicas y opciones estilísticas. Nos centramos en los usuarios que regresan día tras día para crear música realmente increíble en la plataforma.

¿Cómo ves que la música generada por IA complementa la creatividad humana en lugar de reemplazarla?

La IA es un instrumento para los músicos, no un reemplazo. A lo largo de la historia, nuevas herramientas musicales, desde sintetizadores hasta estaciones de audio digitales, han expandido lo que los artistas pueden crear sin disminuir la artesanía humana. Riffusion sigue esa misma filosofía. Vemos Riffusion como un instrumento que anima a los músicos a experimentar, colaborar y probar nuevas formas de narración. Los artistas aún aportan el alma y la intención a su música, y la IA ayuda a dar vida a esas ideas. Estamos emocionados de que tantos músicos profesionales y entusiastas estén abrazando esta herramienta todos los días y encontrando alegría en el proceso creativo.

¿Cómo han respondido los músicos y productores a las capacidades de Riffusion? ¿Has visto algún uso inesperado o innovador de la herramienta?

La respuesta ha sido bastante increíble. Había unos pocos que comenzaron a utilizar estas herramientas hace años, pero cada semana ahora el número de músicos y productores profesionales que están adoptando la tecnología es dramáticamente mayor. Hemos visto a artistas utilizar Riffusion para brainstorming de nuevas melodías, crear nuevos sonidos y incluso componer álbumes enteros. Algunos han combinado las generaciones de Riffusion con instrumentación en vivo para crear géneros completamente nuevos. Una de las cosas más emocionantes ha sido ver cómo la gente toma esta herramienta y la hace suya, ya sea generando música a partir de los sonidos de la naturaleza, probando composiciones experimentales o creando piezas cinematográficas.

Ahora que Riffusion puede crear música de larga duración, ¿ves potencial para partituras generadas por IA en películas, videojuegos u otros medios?

La capacidad de generar música de larga duración ciertamente hace de Riffusion una herramienta poderosa para el paisaje mediático más amplio. Ya estamos viendo interés de cineastas, desarrolladores de juegos y creadores de contenido que desean partituras únicas que se adapten a sus narrativas, quizás incluso en tiempo real. Está claro que la IA puede ayudar a los narradores a expresarse a través de modalidades, y estamos solo al comienzo de esta frontera.

Mirando hacia adelante, ¿cuál es tu visión definitiva para Riffusion, y cómo ves que dará forma al futuro de la creación de música?

Hoy en día, solo una pequeña fracción de personas hacen música, pero la creatividad es inherente a todos. Al construir herramientas que bajen la barrera de entrada y al mismo tiempo eleven el techo de lo que es posible con el sonido, Riffusion será un instrumento importante en el futuro. Veo Riffusion como el lugar al que acudir para cualquier persona que busque crear, experimentar y conectarse a través de la música. Ya sea que seas un productor profesional o alguien que nunca ha hecho una canción antes, queremos que Riffusion sea el instrumento que te ayude a encontrar tu sonido.

Gracias por la gran entrevista, a los usuarios que están interesados en generar algo de música, les recomendamos visitar Riffusion.