ระบบ AI แบบเรียลไทม์สามารถสร้างเนื้อเพลงสำหรับดนตรีสด

นักวิจัยในห้องปฏิบัติการประมวลผลภาษา自然ที่มหาวิทยาลัยวอเตอร์ลูได้พัฒนาระบบ AI แบบเรียลไทม์ที่สามารถสร้างเนื้อเพลงสำหรับดนตรีสดได้ ระบบใหม่นี้เรียกว่า LyricJam และได้เปิดตัวในเดือนมิถุนายน 2021 โดยมีผู้ใช้ทดสอบมากกว่า 1,500 คน

ทีมวิจัยจะนำเสนอผลการวิจัยของตนในการประชุมสัมมนาเกี่ยวกับการสร้างสรรค์เชิงคำนวณในเดือนกันยายน การวิจัยของพวกเขา

ห้องปฏิบัติการนี้นำโดย Olga Vechtomova ศาสตราจารย์ด้านวิศวกรรมศาสตร์ที่ได้รับการแต่งตั้งให้เป็นศาสตราจารย์ด้านวิทยาศาสตร์คอมพิวเตอร์ที่มหาวิทยาลัย Vechtomova ได้พัฒนาแอปพลิเคชัน AI มาหลายปี และผลงานของห้องปฏิบัติการในตอนแรกนำไปสู่การสร้างระบบที่เรียนรู้การแสดงออกทางดนตรีของศิลปินก่อนที่จะสร้างเนื้อเพลงในแบบของพวกเขา

Vechtomova และนักศึกษาระดับบัณฑิตศึกษา Gaurav Sahu และ Dhruv Kumas ของมหาวิทยาลัยวอเตอร์ลูยังพัฒนาเทคโนโลยีที่ใช้ประกอบดนตรีต่างๆ เช่น โพรเกรสชั่นของอัตรา โทน และเครื่องดนตรี เทคโนโลยีนี้สามารถสังเคราะห์เนื้อเพลงให้สะท้อนถึงอารมณ์และความรู้สึกที่แสดงออกโดยดนตรีสด

เครือข่ายประสาทเทียม

ระบบนี้ได้รับคลิปเสียงดิบอย่างต่อเนื่องในขณะที่นักดนตรีหรือวงดนตรีเล่นดนตรีสด หลังจากนั้น เครือข่ายประสาทเทียมจะประมวลผลข้อมูลก่อนที่จะสร้างเนื้อเพลงใหม่ ซึ่งศิลปินสามารถใช้เพื่อพัฒนาเนื้อเพลงของตนเอง

“จุดประสงค์ของระบบนี้ไม่ใช่การเขียนเพลงให้กับศิลปิน” Vechtomova กล่าว “แต่เราต้องการช่วยให้ศิลปินสามารถสร้างสรรค์ผลงานของตนเองได้ ระบบนี้สร้างเนื้อเพลงที่มีเชิงเปรียบเทียบและนิพจน์ใหม่ๆ ซึ่งอาจนำศิลปินไปสู่ทิศทางสร้างสรรค์ที่พวกเขาไม่เคยสำรวจมาก่อน”

เครือข่ายประสาทเทียมที่พัฒนาขึ้นใหม่นี้สามารถเรียนรู้ว่าธีมและคำที่เกี่ยวข้องกับเนื้อเพลงมีความสัมพันธ์กับด้านต่างๆ ของดนตรี และสิ่งที่น่าประทับใจที่สุดคือมันทำได้ในคลิปเสียงแต่ละคลิป

ทีมวิจัยได้ทำการศึกษาผู้ใช้โดยให้นักดนตรีเล่นดนตรีสดในขณะที่ใช้ระบบ

“สิ่งที่ค้นพบอย่างไม่คาดคิดคือผู้เข้าร่วมรู้สึกถูกกระตุ้นให้ทำการอิมโพรวิซ์” Vechtomova กล่าว “ตัวอย่างเช่น เนื้อเพลงที่สร้างขึ้นได้สร้างแรงบันดาลใจให้กับศิลปินในการจัดโครงสร้างคอร์ดในแบบที่แตกต่างออกไป และนำการอิมโพรวิซ์ของพวกเขาไปในทิศทางใหม่ที่ไม่ได้ตั้งใจมาก่อน นักดนตรีบางคนยังใช้เนื้อเพลงเพื่อตรวจสอบว่าการอิมโพรวิซ์ของพวกเขาได้ผลกระทบทางอารมณ์ที่ต้องการหรือไม่”

ร่วมมือกับ AI

อีกด้านหนึ่งของการวิจัยนี้คือการแสดงให้เห็นถึงการร่วมมือและการสร้างสรรค์ร่วมกันระหว่างมนุษย์และ AI ตามคำกล่าวของผู้เข้าร่วม ระบบนี้ทำหน้าที่เป็นคู่หูดนตรีที่ไม่มีการวิพากษ์วิจารณ์ ซึ่งช่วยให้นักดนตรีสามารถเล่นดนตรีได้อย่างไม่มีข้อจำกัด พวกเขายังบอกว่าพวกเขารู้สึกถูกกระตุ้นให้เล่นดนตรีแม้ว่าจะไม่ได้ทำงานกับเนื้อเพลง

ระบบ LyricJam ใหม่นี้เป็นตัวอย่างล่าสุดของวิธีที่ AI กำลังเข้ามาในจิตใจสร้างสรรค์ของเรา ในขณะที่เรามักพูดถึงความเชื่อมโยงระหว่างมนุษย์และ AI มักจะอยู่ในด้านสุขภาพ ด้วยความก้าวหน้าใหม่ๆ เหล่านี้ เรากำลังใกล้จะเชื่อมต่อกับเครื่องจักรเหล่านี้ในแบบที่สร้างสรรค์มากขึ้น

ระบบ LyricJam สามารถพบได้ ที่นี่.