Seth Forsgren, ผู้ร่วมก่อตั้งและซีอีโอของ Riffusion – สัมภาษณ์ ซีรีส์

Seth Forsgren ผู้ร่วมก่อตั้งและซีอีโอของ Riffusion นำการพัฒนาเครื่องมือสร้างเพลงด้วย AI ที่สามารถสร้างเพลงจากข้อความได้ Riffusion ช่วยให้ผู้ใช้สามารถทดลองกับเพลงและเสียงต่างๆ ในรูปแบบเรียลไทม์ ทำให้การสร้างเพลงเป็นเรื่องที่เข้าถึงได้ง่ายขึ้น โดยได้รับการออกแบบมาเพื่อความสร้างสรรค์และความง่ายในการใช้งาน ทำให้ทุกคนสามารถสำรวจเพลงที่สร้างโดย AI ได้โดยไม่ต้องมีความรู้ด้านดนตรีเป็นทางการ

Riffusion เป็นเครื่องมือสร้างเพลงด้วย AI ที่ดีที่สุดที่ผมเคยลองใช้ และเป็นเครื่องมือที่ผมแนะนำให้ผู้ที่สนใจในเพลงที่สร้างโดย AI

คุณสามารถพาเราไปสัมผัสกับช่วงแรกๆ ของ Riffusion ได้หรือไม่? สิ่งใดคือจุดเริ่มต้นที่นำไปสู่การสร้างเครื่องมือสร้างเพลงด้วย AI?

Riffusion เริ่มต้นเป็นโครงการงานอดิเรกระหว่างนักดนตรีสองคน ผมและ Hayk เพื่อนร่วมงานของผม เราได้เล่นดนตรีในวงดนตรีสมัครเล่นมานานกว่า 10 ปี และเรามีความสนใจในการสร้างสรรค์อยู่เสมอ วันหนึ่งเรากำลังเขียนเพลงในบ้านของผม และเราก็เริ่มเล่นกับโมเดล AI ที่สามารถสร้างภาพได้ แต่สิ่งที่เราต้องการจริงๆ คือเครื่องมือที่สามารถสร้างเพลงร่วมกับเรา AI ที่สามารถช่วยให้เราได้ทำนองและเสียงที่ไม่เคยได้ยินมาก่อน ในสมัยนั้นยังไม่มีอะไรอย่างนั้นเลย เราจึงพยายามสร้างมันขึ้นมาเอง

เมื่อไหร่ที่คุณรู้สึกว่ามันสามารถกลายเป็นบริษัทที่เต็มรูปแบบได้?

จุดเปลี่ยนเกิดขึ้นเมื่อเรานำโครงการงานอดิเรกของเราไปแบ่งปันกับเพื่อนๆ และมันกลายเป็นไวรัลอย่างไม่คาดคิด มันไม่ใช่แค่นักเทคนิคหรือผู้ที่สนใจ AI เท่านั้นที่สนใจ แต่นักดนตรี มือโปรดักชั่น และคนรักดนตรีหลายล้านคนก็สนใจและใช้งานมันในหลายๆ วิธีที่เราคาดไม่ถึง นักดนตรีที่เราชื่นชอบในโลกก็เริ่มติดต่อมาเพื่อใช้ Riffusion!

โครงการนี้ยังสร้างแรงบันดาลใจให้กับห้องปฏิบัติการวิจัยชั้นนำของ Google (GOOGL ), ByteDance และอื่นๆ ให้สร้างความพยายามด้าน AI เพื่อสร้างเพลงตามงานของเรา และมันชัดเจนว่านี่ไม่ใช่แค่การทดลอง แต่เป็นรากฐานสำหรับสิ่งที่ใหญ่กว่านี้ ในฐานะบริษัท เรามีโอกาสนำเครื่องมือนี้ไปให้กับคนสร้างสรรค์ทุกคน

คุณเผชิญกับความท้าทายด้านเทคนิคและธุรกิจอย่างไรเมื่อเปลี่ยน Riffusion จากการทดลองเป็นผลิตภัณฑ์เชิงพาณิชย์?

ด้านเทคนิค เราได้พัฒนาไปมากแล้ว โมเดลแรกของเราสามารถสร้างเพลงที่มีคุณภาพต่ำและความยาวเพียง 5 วินาที แต่ปัจจุบันเราสามารถสร้างเพลงที่มีคุณภาพสูงและยาวได้แล้ว สิ่งนี้ต้องใช้ความก้าวหน้าในด้านสถาปัตยกรรมของโมเดลและต้องคิดใหม่จากศูนย์เป็นประจำ นี่เป็นเครดิตของทีมนักวิจัยที่น่าทึ่งของเรา ที่เราได้มาถึงจุดนี้ และเรารู้ว่านี่เป็นเพียงจุดเริ่มต้นของสิ่งที่เป็นไปได้กับเทคโนโลยีนี้

ด้านธุรกิจ เราต้องคิดอย่างลึกซึ้งเกี่ยวกับว่า Riffusion จะเข้ากับอุตสาหกรรมดนตรีได้อย่างไร AI เพื่อสร้างเพลงยังคงเป็นเรื่องใหม่ และแม้ว่าเราจะเห็นการยอมรับจากนักดนตรีสมัครเล่นและอาชีพ แต่ก็มีการอภิปรายอย่างต่อเนื่องเกี่ยวกับวิธีที่ AI และความสร้างสรรค์ของมนุษย์สามารถอยู่ร่วมกันได้ จุดมุ่งเน้นของเรามาโดยตลอดคือการเพิ่มขีดความสามารถให้กับนักดนตรี ไม่ใช่การแทนที่พวกเขา โดยให้คนได้เครื่องมือใหม่ๆ ในการสำรวจความสร้างสรรค์ในวิธีที่ไม่เคยคิดมาก่อน

Riffusion เดิมทีเน้นการสร้างริฟฟ์เพลงสั้นๆ แต่ปัจจุบันสามารถสร้างเพลงยาวได้แล้ว สิ่งใดคือความก้าวหน้าที่ทำให้คุณสามารถขยายความสามารถของมันได้?

โดยการฝึกโมเดลพื้นฐานของเราจากศูนย์ เราสามารถปรับปรุงคุณภาพ ความสามารถในการแสดงออก และการควบคุมของผลลัพธ์จาก Riffusion ได้ ความก้าวหน้าสำคัญเกิดขึ้นเมื่อเราพัฒนาและเปิดตัวโมเดล FUZZ ของเรา ในการทดสอบแบบ盲 FUZZ มีประสิทธิภาพเหนือกว่าโมเดลที่แข่งขันกันเมื่อให้ข้อความและเสียงที่เหมือนกัน โมเดลนี้ได้รับการออกแบบมาเพื่อช่วยให้ผู้ใช้สามารถหาสไตล์ส่วนตัวของตนเองได้ และเมื่อผู้ใช้ใช้ Riffusion มากขึ้น FUZZ ก็จะเรียนรู้ความชอบส่วนบุคคลและสร้างเพลงที่เหมาะสมมากขึ้น เราเห็นว่านี่เป็นปัจจัยที่แตกต่างของ Riffusion

โมเดล AI เพื่อสร้างเพลงหลายรูปแบบมักจะดิ้นรนในการรักษาความลึกทางอารมณ์ในเพลงของคุณ Riffusion จับอารมณ์และสไตล์ต่างๆ ได้อย่างไร?

ดนตรีเป็นสิ่งที่ส่วนตัวและเต็มไปด้วยอารมณ์ และเราต้องการให้ Riffusion สร้างเพลงที่สามารถสื่อสารความรู้สึกพิเศษให้กับผู้ฟังได้ ตามที่ Alex Pall ที่ปรึกษาของเราได้กล่าวไว้ว่า “สิ่งนี้ไม่ใช่เรื่องของการสร้างเสียง แต่เป็นเรื่องของการทำให้ผู้คนรู้สึกพิเศษผ่านเสียง”

เหมือนกับไวโอลินที่ทำดีสามารถช่วยให้นักดนตรีแสดงออกได้อย่างเต็มที่ เราได้ฝึกโมเดลของเราให้เป็นเครื่องมือที่ถูกนำทางโดยความคิดสร้างสรรค์ของผู้ใช้ทุกครั้ง ไม่ว่าคุณจะป้อนทำนอง ข้อความ หรือแม้กระทั่งรูปภาพ Riffusion ก็จะปรับให้เข้ากับเจตนาและสร้างผลลัพธ์ที่สะท้อนถึงอารมณ์ ความเข้มข้น และการเลือกสไตล์ต่างๆ เราเน้นไปที่ผู้ใช้ที่กลับมาทุกวันเพื่อสร้างเพลงที่น่าทึ่งบนแพลตฟอร์ม

เมื่อ AI เพื่อสร้างเพลงดำเนินต่อไป คุณเห็นว่ามันจะเสริมสร้างความสร้างสรรค์ของมนุษย์มากกว่าการแทนที่มันหรือไม่?

AI เป็นเครื่องมือสำหรับนักดนตรี ไม่ใช่การแทนที่ ตลอดประวัติศาสตร์เครื่องมือดนตรีใหม่ๆ เช่น ซินธิไซเซอร์หรือสตูดิโอดิจิทัล ได้ขยายความสามารถในการสร้างสรรค์ของศิลปินโดยไม่ลดทอนความเป็นมนุษย์ Riffusion ติดตามปรัชญานั้น เราเห็น Riffusion เป็นเครื่องมือที่กระตุ้นให้นักดนตรีทดลองร่วมมือและลองรูปแบบการเล่าเรื่องใหม่ๆ ศิลปินยังคงนำจิตวิญญาณและเจตนาในการสร้างสรรค์เพลงของตน และ AI ช่วยให้ความคิดนั้นเป็นจริง เรารู้สึกตื่นเต้นที่นักดนตรีและนักสร้างสรรค์หลายคนกำลังใช้เครื่องมือนี้และพบความสุขในการสร้างสรรค์

นักดนตรีและโปรดิวเซอร์ตอบรับ Riffusion อย่างไร? คุณเห็นการใช้งานที่ไม่คาดคิดหรือนวัตกรรมของเครื่องมือนี้หรือไม่?

การตอบรับเป็นอย่างมาก มีบางคนที่เริ่มใช้เครื่องมือเหล่านี้เมื่อหลายปีที่แล้ว แต่จำนวนผู้ใช้ที่เพิ่มขึ้นทุกสัปดาห์ นักดนตรีและโปรดิวเซอร์มืออาชีพที่ใช้เทคโนโลยีนี้ก็เพิ่มขึ้นอย่างมาก เราเห็นศิลปินใช้ Riffusion ในการคิดทำนองใหม่ๆ การสร้างเสียงใหม่ๆ และแม้กระทั่งการประพันธ์เพลงทั้งอัลบั้ม บางคนผสมผสานการสร้างของ Riffusion กับการเล่นดนตรีสดเพื่อสร้างแนวเพลงใหม่ๆ สิ่งที่น่าตื่นเต้นที่สุดคือการเห็นว่าคนๆ นั้นใช้เครื่องมือนี้และทำให้มันเป็นของตนเอง ไม่ว่าจะเป็นการสร้างเพลงจากเสียงธรรมชาติ ทดสอบการประพันธ์เพลงทดลอง หรือการทำเพลงประกอบภาพยนตร์

ตอนนี้ที่ Riffusion สามารถสร้างเพลงยาวได้ คุณเห็นโอกาสสำหรับเพลงประกอบภาพยนตร์ วิดีโอเกม์ หรือสื่ออื่นๆ ที่สร้างโดย AI หรือไม่?

ความสามารถในการสร้างเพลงยาวทำให้ Riffusion เป็นเครื่องมือที่มีพลังสำหรับภูมิทัศน์สื่อขนาดใหญ่ เราได้เห็นความสนใจจากผู้สร้างภาพยนตร์ ผู้พัฒนาเกม และผู้สร้างเนื้อหาที่ต้องการเพลงประกอบที่ไม่เหมือนใครซึ่งสามารถปรับให้เข้ากับเรื่องราวของพวกเขาได้ บางทีแม้กระทั่งในรูปแบบเรียลไทม์ มันชัดเจนว่า AI สามารถช่วยให้ผู้เล่าเรื่องสามารถแสดงออกผ่านรูปแบบต่างๆ ได้ และเรากำลังเพิ่งเริ่มต้นด้านนี้

เมื่อมองไปข้างหน้า คุณมีวิสัยทัศน์สำหรับ Riffusion อย่างไร และคุณเห็นว่ามันจะกำหนดอนาคตของการสร้างเพลงได้อย่างไร?

ในวันนี้ มีเพียงเศษเสี้ยวของคนสร้างเพลง แต่ความสร้างสรรค์อยู่ในตัวทุกคน โดยการสร้างเครื่องมือที่ลดข้อจำกัดในการเข้าถึงและยกระดับของสิ่งที่เป็นไปได้กับเสียง Riffusion จะเป็นเครื่องมือสำคัญในอนาคต ผมเห็น Riffusion เป็นสถานที่ที่ทุกคนสามารถสร้างสรรค์ ทดลอง และเชื่อมต่อผ่านดนตรีได้ ไม่ว่าคุณจะเป็นโปรดิวเซอร์มืออาชีพหรือคนที่ไม่เคยทำเพลงมาก่อน เราต้องการให้ Riffusion เป็นเครื่องมือที่ช่วยให้คุณหาสไตล์ของคุณเอง

ขอขอบคุณสำหรับสัมภาษณ์ที่ดี ผู้ใช้ที่สนใจในการสร้างเพลงควรเยี่ยมชม Riffusion