Real-Time AI สามารถสร้างไลน์สำหรับดนตรีสดได้

นักวิจัยในห้องปฏิบัติการประมวลผลภาษาธรรมชาติ tại University of Waterloo ได้พัฒนาระบบปัญญาประดิษฐ์ (AI) แบบเรียลไทม์ที่สามารถสร้างไลน์สำหรับดนตรีสดได้ ระบบใหม่นี้เรียกว่า LyricJam และเปิดให้บริการในเดือนมิถุนายน 2021 โดยมีผู้ใช้มากกว่า 1,500 คนได้ทดสอบมันแล้ว

ทีมงานจะนำเสนอ การวิจัย ของตนในงานประชุมสัมมนาระดับนานาชาติเกี่ยวกับความสร้างสรรค์ในการคำนวณในเดือนกันยายน

ห้องปฏิบัติการนี้นำโดย Olga Vechtomova อาจารย์ประจำคณะวิศวกรรมศาสตร์ที่ได้รับการแต่งตั้งให้ทำงานร่วมกับคณะวิทยาศาสตร์คอมพิวเตอร์ที่มหาวิทยาลัย Vechtomova ได้พัฒนาแอปพลิเคชัน AI มาเป็นเวลาหลายปี และงานของห้องปฏิบัติการในตอนแรกนำไปสู่การสร้างระบบที่เรียนรู้การแสดงออกทางดนตรีของศิลปินก่อนที่จะสร้างเนื้อเพลงในแบบของพวกเขา

Vechtomova และนักศึกษาระดับบัณฑิตศึกษาจาก University of Waterloo Gaurav Sahu และ Dhruv Kumas ยังพัฒนาเทคโนโลยีที่ใช้ส่วนประกอบดนตรีต่างๆ เช่น การเคลื่อนไหวของอัตรา การเปลี่ยนแปลงอัตรา และเครื่องดนตรี เทคโนโลยีนี้สามารถสังเคราะห์เพลงได้เพื่อให้สะท้อนถึงอารมณ์และความรู้สึกที่แสดงออกมาจากดนตรีสด

เครือข่ายประสาทเทียม

ระบบได้รับคลิปเสียงดิบอย่างต่อเนื่องในขณะที่นักดนตรีหรือวงดนตรีแสดงดนตรีสด หลังจากนั้น เครือข่ายประสาทเทียมจะประมวลผลข้อมูลก่อนที่จะสร้างเนื้อเพลงใหม่ ซึ่งศิลปินสามารถใช้เพื่อพัฒนาเนื้อเพลงของตนเอง

“จุดประสงค์ของระบบไม่ใช่การเขียนเพลงให้กับศิลปิน” Vechtomova กล่าว “แต่เราต้องการช่วยให้ศิลปินสามารถแสดงออกถึงความคิดสร้างสรรค์ของตนเอง ระบบจะสร้างบรรทัดที่มีเชิงเปรียบเทียบและนิพจน์ใหม่ๆ ซึ่งอาจนำไปสู่ทิศทางที่ศิลปินยังไม่ได้สำรวจมาก่อน”

เครือข่ายประสาทเทียมที่พัฒนาขึ้นใหม่นี้สามารถเรียนรู้เกี่ยวกับธีมและคำที่เกี่ยวข้องกับดนตรีได้ และสิ่งที่น่าประทับใจที่สุดคือมันทำได้ในคลิปเสียงแต่ละคลิป

ทีมงานได้ดำเนินการวิจัยผู้ใช้ โดยให้นักดนตรีเล่นดนตรีสดในขณะที่ใช้ระบบ

“สิ่งที่ค้นพบอย่างไม่คาดคิดคือผู้เข้าร่วมรู้สึกได้รับการสนับสนุนจากบรรทัดที่สร้างขึ้นในการดัดแปลง” Vechtomova กล่าว “ตัวอย่างเช่น บรรทัดเหล่านั้นได้สร้างแรงบันดาลใจให้กับศิลปินในการจัดโครงสร้างคอร์ดในทางที่แตกต่างออกไป และนำการดัดแปลงไปในทิศทางใหม่ที่ไม่ได้ตั้งใจไว้เดิม นักดนตรีบางคนยังใช้บรรทัดเหล่านั้นเพื่อตรวจสอบว่าการดัดแปลงของพวกเขามีผลกระทบทางอารมณ์ที่ต้องการหรือไม่”

การร่วมมือกับ AI

สิ่งสำคัญอีกประการหนึ่งของการวิจัยนี้คือการแสดงให้เห็นถึงการทำงานร่วมกันและความสร้างสรรค์ร่วมกันระหว่างมนุษย์และ AI ตามที่ผู้เข้าร่วมระบุ ระบบนี้ทำหน้าที่เป็นหุ้นส่วนดนตรี และเป็นหุ้นส่วนที่ไม่มีการวิพากษ์วิจารณ์ ซึ่งช่วยให้นักดนตรีสามารถเล่นดนตรีได้อย่างไม่มีข้อจำกัด พวกเขายังรู้สึกได้รับการสนับสนุนให้เล่นเครื่องดนตรีแม้ว่าจะไม่ได้ทำงานเกี่ยวกับเนื้อเพลงก็ตาม

ระบบ LyricJam ใหม่นี้เป็นตัวอย่างล่าสุดของวิธีการที่ปัญญาประดิษฐ์กำลังเข้ามาเป็นส่วนหนึ่งของความคิดสร้างสรรค์ของเรา ในขณะที่เรามักพูดถึงความเชื่อมโยงระหว่างมนุษย์และ AI มักจะอยู่ในบริบทของสุขภาพ แต่ด้วยความก้าวหน้าเหล่านี้ เรากำลังจะเข้าใกล้การเชื่อมต่อกับเครื่องจักรเหล่านี้ในทางสร้างสรรค์มากขึ้น

ระบบ LyricJam สามารถพบได้ ที่นี่.