Seth Forsgren, Co-Fundador e CEO da Riffusion – Série de Entrevistas

Seth Forsgren, Co-Fundador e CEO da Riffusion, lidera o desenvolvimento de uma ferramenta de geração de música por IA que cria faixas de áudio a partir de prompts de texto. A Riffusion permite que os usuários experimentem diferentes estilos e sons musicais em tempo real, tornando a criação de música mais acessível. Projetada para criatividade e facilidade de uso, a plataforma permite que qualquer pessoa explore a música gerada por IA sem precisar de conhecimento musical formal.

Riffusion é o melhor gerador de música por IA que eu pessoalmente experimentei, e é uma ferramenta que eu recomendaria para usuários interessados em música gerada por IA.

Podemos voltar aos primeiros dias da Riffusion? Qual foi o estímulo inicial que o levou a construir uma ferramenta de geração de música por IA?

A Riffusion começou como um projeto de hobby entre dois músicos de toda a vida. Meu co-fundador, Hayk, e eu temos tocado em bandas amadoras juntos por mais de uma década, e sempre fomos fascinados pelo ato criativo. Uma tarde, estávamos no meu quintal escrevendo uma canção, e em busca de inspiração, começamos a brincar com modelos de IA que podiam gerar imagens a partir do nada. Mas o que realmente queríamos era uma ferramenta que pudesse fazer música conosco, uma IA com a qual pudéssemos colaborar para criar novas melodias e sons que ninguém havia ouvido antes. Não havia nada parecido na época, então tentamos construí-lo para nós mesmos, mais do que para qualquer outra pessoa.

Em que momento você percebeu que a Riffusion tinha o potencial de se tornar uma empresa de fato?

O ponto de inflexão veio quando compartilhamos nosso projeto de hobby com alguns amigos, e do nada, ele se tornou viral. Não eram apenas tecnólogos ou entusiastas de IA que estavam interessados – músicos profissionais, produtores e milhões de amantes de música comuns estavam interagindo com ele de maneiras que nunca poderíamos ter antecipado. Alguns de nossos artistas favoritos no mundo começaram a entrar em contato com amostras que haviam criado usando a Riffusion!

O projeto também inspirou laboratórios de pesquisa de ponta da Google, ByteDance e outros a criar seus próprios esforços de música por IA com base em nosso trabalho, e ficou claro que isso não era apenas um experimento – era a base para algo muito maior. Como empresa, agora temos a chance de trazer esse novo instrumento para criativos em todo o mundo.

Quais foram os principais desafios técnicos e comerciais que você enfrentou ao transformar a Riffusion de um experimento em um produto comercial?

Do lado técnico, viemos longe. Nossos primeiros modelos geravam trechos de música de baixa fidelidade de cinco segundos, e agora podemos gerar canções de alta qualidade e controle com grande expressividade. Isso exigiu avanços significativos na arquitetura do modelo e constantemente repensar as coisas do zero. É um crédito para os incríveis pesquisadores em nossa equipe que viemos tão longe, e sabemos que isso ainda é apenas o começo do que é possível com a tecnologia.

Do lado comercial, tivemos que pensar profundamente sobre onde a Riffusion se encaixa na indústria da música. A música por IA ainda é nova, e embora estejamos vendo uma adoção incrível de criadores amadores e profissionais, há uma conversa em andamento sobre como a IA e a criatividade humana podem coexistir. Nosso foco sempre foi em empoderar os músicos, não substituí-los – dando às pessoas novas ferramentas para explorar sua criatividade de maneiras que nunca pensaram ser possíveis.

A Riffusion originalmente se concentrou em gerar riffs musicais curtos, mas agora pode compor peças de longa duração. Quais avanços permitiram que você estendesse suas capacidades?

Ao treinar nossos próprios modelos de base do zero, conseguimos melhorar a qualidade, expressividade e controle da saída da Riffusion. Um grande avanço veio com o desenvolvimento e lançamento de nosso modelo mais recente, FUZZ. Em testes cegos, o FUZZ consistentemente supera modelos concorrentes quando dado os mesmos prompts de som e letra, e o modelo é projetado para ajudar os usuários a encontrar seu som pessoal – quanto mais tempo um usuário passa usando a Riffusion, mais o FUZZ aprende o gosto individual do usuário, e mais personalizada a música gerada se torna. Vemos isso como um grande diferenciador para a Riffusion.

Muitos modelos de música por IA lutam para manter a profundidade emocional na música. Como a Riffusion captura as nuances de diferentes humores e estilos?

A música é profundamente pessoal e emocional, e queremos que a Riffusion gere música que ressoe em um nível humano. Como nosso conselheiro Alex Pall diz, “Isso não é sobre fazer som; é sobre fazer as pessoas sentirem algo especial através do som.”

Assim como um violino bem feito pode empoderar um artista a se expressar plenamente, treinamos nossos modelos para serem instrumentos guiados pela criatividade do usuário a cada passo. Seja inserindo uma melodia, um prompt de texto ou até mesmo uma imagem, a Riffusion se adapta à intenção do usuário, moldando a saída para refletir diferentes humores, dinâmicas e escolhas estilísticas. Estamos focados nos usuários que voltam dia após dia para criar música incrível na plataforma.

À medida que a música gerada por IA continua a evoluir, como você vê a Riffusion complementando, em vez de substituir, a criatividade humana?

A IA é um instrumento para músicos, não um substituto. Ao longo da história, novas ferramentas musicais – desde sintetizadores até estações de áudio digitais – expandiram o que os artistas podem criar sem diminuir a arte humana. A Riffusion segue essa mesma filosofia. Vemos a Riffusion como um instrumento que encoraja os músicos a experimentar, colaborar e tentar novas formas de contar histórias. Os artistas ainda trazem a alma e a intenção para sua música, e a IA ajuda a trazer essas ideias à vida. Estamos entusiasmados com o fato de que muitos músicos profissionais e entusiastas estão abraçando essa ferramenta todos os dias e encontrando alegria no processo criativo.

Como os músicos e produtores responderam às capacidades da Riffusion? Você viu algum uso inesperado ou inovador da ferramenta?

A resposta foi incrível. Havia alguns que começaram a usar essas ferramentas anos atrás, mas a cada semana, o número de músicos profissionais e produtores que estão abraçando a tecnologia está expandindo dramaticamente. Vimos artistas usarem a Riffusion para brainstorming de novas melodias, criar novos sons e até compor álbuns inteiros. Alguns misturaram as gerações da Riffusion com instrumentação ao vivo para criar gêneros completamente novos. Uma das coisas mais emocionais foi ver como as pessoas pegam essa ferramenta e a tornam sua, seja gerando música a partir de sons da natureza, testando composições experimentais ou criando peças cinematográficas.

Agora que a Riffusion pode criar música de longa duração, você vê potencial para trilhas sonoras geradas por IA em filmes, jogos ou outros meios de comunicação?

A capacidade de gerar música de longa duração certamente torna a Riffusion uma ferramenta poderosa para o maior cenário midiático. Já estamos vendo interesse de cineastas, desenvolvedores de jogos e criadores de conteúdo que desejam trilhas sonoras únicas que se adaptem às suas narrativas, talvez até em tempo real. É claro que a IA pode ajudar os contadores de histórias a se expressarem em diferentes modalidades, e estamos apenas no início dessa fronteira.

Olhando para o futuro, qual é sua visão definitiva para a Riffusion, e como você vê a empresa moldando o futuro da criação de música?

Hoje, apenas uma fração minúscula de pessoas faz música, mas a criatividade é inerente a todos nós. Ao construir ferramentas que reduzem a barreira de entrada e também elevam o teto do que é possível com o som, a Riffusion será um instrumento importante no futuro. Vejo a Riffusion como o lugar para qualquer pessoa que queira criar, experimentar e se conectar através da música. Seja você um produtor profissional ou alguém que nunca fez uma canção antes, queremos que a Riffusion seja o instrumento que ajuda a encontrar seu som.

Obrigado pela grande entrevista, usuários que estão interessados em gerar alguma música devem visitar Riffusion.