Seth Forsgren, Đồng sáng lập và CEO của Riffusion – Loạt phỏng vấn

Seth Forsgren, Đồng sáng lập và CEO của Riffusion, dẫn đầu sự phát triển của công cụ tạo nhạc bằng trí tuệ nhân tạo có thể tạo ra các bản nhạc từ các lời nhắc văn bản. Riffusion cho phép người dùng thử nghiệm với các phong cách và âm thanh nhạc khác nhau trong thời gian thực, làm cho việc tạo nhạc trở nên dễ tiếp cận hơn. Được thiết kế cho cả sự sáng tạo và dễ sử dụng, nền tảng này cho phép bất kỳ ai khám phá nhạc được tạo bởi trí tuệ nhân tạo mà không cần kiến thức âm nhạc chính thức.

Riffusion là công cụ tạo nhạc bằng trí tuệ nhân tạo tốt nhất mà tôi đã thử, và là công cụ mà tôi sẽ giới thiệu cho những người quan tâm đến nhạc được tạo bởi trí tuệ nhân tạo.

Bạn có thể đưa chúng tôi trở lại những ngày đầu của Riffusion? Điều gì là nguồn cảm hứng ban đầu dẫn bạn đến việc xây dựng công cụ tạo nhạc bằng trí tuệ nhân tạo?

Riffusion bắt đầu như một dự án sở thích giữa hai nhạc sĩ suốt đời. Đồng sáng lập của tôi, Hayk, và tôi đã chơi trong các ban nhạc nghiệp dư cùng nhau trong hơn một thập kỷ, và chúng tôi luôn bị thu hút bởi hành động sáng tạo. Một buổi chiều, chúng tôi đang ở sân sau viết một bài hát, và trong quá trình tìm kiếm cảm hứng, chúng tôi bắt đầu chơi với các mô hình trí tuệ nhân tạo đầu tiên có thể tạo ra hình ảnh từ không có gì. Nhưng điều chúng tôi thực sự muốn là một công cụ có thể tạo ra nhạc với chúng tôi, một trí tuệ nhân tạo mà chúng tôi có thể cộng tác để tạo ra những giai điệu và âm thanh mới mà không ai đã từng nghe. Không có gì giống như nó vào thời điểm đó, vì vậy chúng tôi đã cố gắng xây dựng nó cho chính mình hơn là cho bất kỳ ai khác.

Ở thời điểm nào bạn nhận ra nó có tiềm năng trở thành một công ty đầy đủ?

Điểm chuyển đổi đến khi chúng tôi chia sẻ dự án sở thích của mình với một vài người bạn, và đột nhiên nó trở nên lan truyền. Không chỉ là những người đam mê công nghệ hoặc trí tuệ nhân tạo quan tâm – các nhạc sĩ chuyên nghiệp, nhà sản xuất và hàng triệu người yêu nhạc hàng ngày đã tham gia với nó theo những cách chúng tôi không thể dự đoán. Một số nghệ sĩ yêu thích của chúng tôi trên thế giới đã bắt đầu liên hệ với các mẫu mà họ đã tạo ra bằng Riffusion!

Dự án cũng đã truyền cảm hứng cho các phòng thí nghiệm nghiên cứu hàng đầu tại Google (GOOGL ), ByteDance và các công ty khác để bắt đầu các nỗ lực tạo nhạc bằng trí tuệ nhân tạo của riêng họ dựa trên công việc của chúng tôi, và rõ ràng rằng đây không chỉ là một thí nghiệm – nó là nền tảng cho điều gì đó lớn hơn nhiều. Là một công ty, chúng tôi hiện có cơ hội mang lại công cụ mới này đến những người sáng tạo trên khắp mọi nơi.

Những thách thức kỹ thuật và kinh doanh lớn nhất bạn phải đối mặt khi chuyển Riffusion từ một thí nghiệm thành một sản phẩm thương mại là gì?

Về mặt kỹ thuật, chúng tôi đã đi một chặng đường dài. Các mô hình đầu tiên của chúng tôi tạo ra các đoạn nhạc ngắn, mờ và có độ phân giải thấp, và hiện tại chúng tôi có thể tạo ra các bài hát dài, chất lượng cao với khả năng kiểm soát và biểu đạt tuyệt vời. Điều này đòi hỏi phải có những tiến bộ lớn trong kiến trúc mô hình và liên tục suy nghĩ lại mọi thứ từ đầu. Đó là một sự công nhận cho các nhà nghiên cứu tuyệt vời trong nhóm của chúng tôi rằng chúng tôi đã đi được đến đây, và chúng tôi biết rằng đây vẫn chỉ là bắt đầu của những gì có thể đạt được với công nghệ.

Về mặt kinh doanh, chúng tôi phải suy nghĩ sâu sắc về vị trí của Riffusion trong ngành công nghiệp âm nhạc. Nhạc được tạo bởi trí tuệ nhân tạo vẫn còn mới, và trong khi chúng tôi đang chứng kiến sự áp dụng đáng kinh ngạc từ các nhà sáng tạo nghiệp dư và chuyên nghiệp, vẫn còn một cuộc trò chuyện đang diễn ra về cách trí tuệ nhân tạo và sự sáng tạo của con người có thể cùng tồn tại. Sự tập trung của chúng tôi luôn là trao quyền cho các nhạc sĩ, không thay thế họ – cung cấp cho mọi người những công cụ mới để khám phá sự sáng tạo của họ theo những cách họ không bao giờ nghĩ có thể.

Riffusion ban đầu tập trung vào việc tạo ra các đoạn nhạc ngắn, nhưng hiện tại nó có thể sáng tác các bản nhạc dài. Những tiến bộ nào đã cho phép bạn mở rộng khả năng của nó?

Bằng cách đào tạo các mô hình nền tảng của riêng chúng tôi từ đầu, chúng tôi đã có thể cải thiện chất lượng, biểu đạt và khả năng kiểm soát của đầu ra Riffusion. Một bước đột phá lớn đến với sự phát triển và phát hành mô hình mới nhất của chúng tôi, FUZZ. Trong các thử nghiệm mù, FUZZ luôn vượt trội so với các mô hình cạnh tranh khi được cung cấp cùng một lời nhắc và âm thanh, và mô hình này được thiết kế độc đáo để giúp người dùng tìm thấy âm thanh cá nhân của họ – càng dành nhiều thời gian sử dụng Riffusion, FUZZ càng học được sở thích cá nhân của họ, và âm nhạc được tạo ra càng trở nên cá nhân hóa. Chúng tôi xem đây là một yếu tố khác biệt lớn cho Riffusion.

Nhiều mô hình nhạc được tạo bởi trí tuệ nhân tạo gặp khó khăn trong việc duy trì độ sâu cảm xúc trong nhạc. Riffusion bắt được những sắc thái của các phong cách và tâm trạng khác nhau như thế nào?

Âm nhạc là một thứ rất cá nhân và đầy cảm xúc, và chúng tôi muốn Riffusion tạo ra âm nhạc có thể đồng cảm với con người. Như cố vấn của chúng tôi, Alex Pall, đã nói: “Điều này không chỉ là tạo ra âm thanh; nó là về việc tạo ra cảm giác đặc biệt cho mọi người thông qua âm thanh.”

Giống như một cây vĩ cầm được làm tốt có thể trao quyền cho một nghệ sĩ thể hiện bản thân đầy đủ, chúng tôi đào tạo các mô hình của mình để trở thành một công cụ được hướng dẫn bởi sự sáng tạo của người dùng ở mọi bước. Cho dù bạn đang nhập một giai điệu, một lời nhắc văn bản hay thậm chí một hình ảnh, Riffusion thích nghi với ý định của bạn, định hình đầu ra để phản ánh các tâm trạng, động lực và lựa chọn phong cách khác nhau. Chúng tôi tập trung vào những người dùng quay lại mỗi ngày để tạo ra âm nhạc thật tuyệt vời trên nền tảng.

Khi nhạc được tạo bởi trí tuệ nhân tạo tiếp tục phát triển, bạn nhìn thấy nó bổ sung cho sự sáng tạo của con người thay vì thay thế nó như thế nào?

Trí tuệ nhân tạo là một công cụ cho các nhạc sĩ, không phải là một sự thay thế. Trong suốt lịch sử, các công cụ âm nhạc mới – từ synthesizer đến các phòng thu âm kỹ thuật số – đã mở rộng những gì các nghệ sĩ có thể tạo ra mà không làm giảm đi sự sáng tạo của con người. Riffusion tuân theo cùng một triết lý. Chúng tôi xem Riffusion là một công cụ khuyến khích các nhạc sĩ thử nghiệm, cộng tác và thử các hình thức kể chuyện mới. Các nghệ sĩ vẫn mang lại linh hồn và ý định cho âm nhạc của họ, và trí tuệ nhân tạo giúp đưa những ý tưởng đó đến cuộc sống. Chúng tôi rất hân hạnh khi thấy nhiều nhạc sĩ chuyên nghiệp và người đam mê âm nhạc đang chấp nhận công cụ này mỗi ngày và tìm thấy niềm vui trong quá trình sáng tạo.

Nhạc sĩ và nhà sản xuất đã phản ứng với khả năng của Riffusion như thế nào? Bạn đã thấy bất kỳ ứng dụng nào không mong đợi hoặc sáng tạo của công cụ này?

Sự phản ứng đã rất đáng kinh ngạc. Có một vài người bắt đầu sử dụng những công cụ này từ nhiều năm trước, nhưng mỗi tuần, số lượng nhạc sĩ chuyên nghiệp và nhà sản xuất chấp nhận công nghệ này đang tăng lên một cách ấn tượng. Chúng tôi đã thấy các nghệ sĩ sử dụng Riffusion để suy nghĩ ra các giai điệu mới, tạo ra các âm thanh mới và thậm chí sáng tác toàn bộ album. Một số đã kết hợp các bản nhạc được tạo ra bởi Riffusion với các nhạc cụ trực tiếp để tạo ra các thể loại hoàn toàn mới. Một trong những điều thú vị nhất là thấy mọi người lấy công cụ này và làm cho nó trở thành của riêng họ, cho dù đó là tạo ra âm nhạc từ các âm thanh của thiên nhiên, thử nghiệm các bản nhạc hoặc tạo ra các bản nhạc cho các tác phẩm điện ảnh.

Giờ rằng Riffusion có thể tạo ra âm nhạc dài, bạn có nhìn thấy tiềm năng cho các bản nhạc được tạo bởi trí tuệ nhân tạo trong phim, trò chơi hoặc các phương tiện truyền thông khác?

Khả năng tạo ra âm nhạc dài chắc chắn làm cho Riffusion trở thành một công cụ mạnh mẽ cho phong cảnh truyền thông lớn hơn. Chúng tôi đã thấy sự quan tâm từ các nhà làm phim, nhà phát triển trò chơi và các nhà tạo nội dung muốn có các bản nhạc độc đáo phù hợp với các câu chuyện của họ, có thể ngay trong thời gian thực. Rõ ràng rằng trí tuệ nhân tạo có thể giúp các nhà kể chuyện thể hiện bản thân trên nhiều phương tiện, và chúng tôi chỉ mới bắt đầu ở biên giới này.

Nhìn về tương lai, tầm nhìn cuối cùng của bạn cho Riffusion là gì, và bạn nhìn thấy nó định hình lại tương lai của việc tạo nhạc như thế nào?

Hôm nay, chỉ một phần nhỏ của mọi người tạo ra âm nhạc, nhưng sự sáng tạo nằm trong tất cả chúng ta. Bằng cách xây dựng các công cụ giảm thiểu rào cản gia nhập đồng thời nâng cao trần của những gì có thể đạt được với âm thanh, Riffusion sẽ là một công cụ quan trọng trong tương lai. Tôi nhìn thấy Riffusion là nơi đến của bất kỳ ai muốn tạo ra, thử nghiệm và kết nối thông qua âm nhạc. Cho dù bạn là một nhà sản xuất chuyên nghiệp hay ai đó chưa bao giờ tạo ra một bài hát trước đây, chúng tôi muốn Riffusion trở thành công cụ giúp bạn tìm thấy âm thanh của mình.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, những người dùng quan tâm đến việc tạo ra một số âm nhạc nên truy cập Riffusion.