โมเดลและแพลตฟอร์ม AI
นักวิจัยพัฒนา ‘Audeo’ AI ที่สามารถเล่นเปียโนได้
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ทีมนักวิจัยจากมหาวิทยาลัยวอชิงตันพัฒนาระบบปัญญาประดิษฐ์ (AI) ที่เรียกว่า Audeo ซึ่งสามารถสร้างเสียงจากการแสดงเปียโนที่ไม่มีเสียงได้ การทดสอบเกี่ยวข้องกับแอปพลิเคชันการรู้จักเพลง เช่น SoundHound ซึ่งสามารถระบุเพลงจาก Audeo ได้ถูกต้องประมาณ 86% ของเวลา
การวิจัยนี้ถูกนำเสนอที่การประชุม NeurlPS 2020 เมื่อวันที่ 8 ธันวาคม
ผู้เขียนอาวุโส Eli Shlizerman เป็นอาจารย์ผู้ช่วยในภาควิชาคณิตศาสตร์ประยุกต์และวิศวกรรมไฟฟ้าและคอมพิวเตอร์ที่มหาวิทยาลัย
“ในการสร้างเพลงที่ดูเหมือนจะเล่นในงานแสดงดนตรีนั้นเคยถูกเชื่อว่าเป็นไปไม่ได้” Shlizerman กล่าว “อัลกอริทึมจำเป็นต้องค้นหาสัญญาณหรือ ‘คุณสมบัติ’ ในเฟรมวิดีโอที่เกี่ยวข้องกับการสร้างเพลง และต้อง ‘จินตนาการ’ เสียงที่เกิดขึ้นระหว่างเฟรมวิดีโอ จำเป็นต้องมีระบบที่มีความแม่นยำและจินตนาการ การที่เราบรรลุเพลงที่ดูเหมือนจะดีเป็นเรื่องที่น่าประหลาดใจ”
วิธีการทำงานของ Audeo
ระบบ Audeo ทำงานโดยการถอดรหัสวิดีโอและแปลเป็นเพลง ขั้นตอนแรกคือ AI ตรวจจับปุ่มที่กดในแต่ละเฟรมวิดีโอ และพัฒนาแผนภาพ ต่อไปแผนภาพจะถูกแปลเพื่อให้ซินธิไซเซอร์สามารถรู้จักเสียงได้
ขั้นตอนต่อไปคือการทำความสะอาดข้อมูลและเพิ่มข้อมูลเพิ่มเติม ข้อมูลนี้อาจรวมถึงสิ่งต่างๆ เช่น ความกดดันที่อยู่เบื้องหลังการกดปุ่มและระยะเวลาที่ใช้
“หากเราพยายามสังเคราะห์เพลงจากขั้นตอนแรกเพียงอย่างเดียว เราจะพบว่าคุณภาพของเพลงไม่น่าพอใจ” Shlizerman กล่าว “ขั้นตอนที่สองคล้ายกับวิธีที่ครูไปที่นักเรียนและช่วยปรับปรุงผลงานของพวกเขา”
ระบบนี้ได้รับการฝึกฝนและทดสอบด้วยวิดีโอจาก YouTube ของนักเปียโน Paul Barton และประกอบด้วยเฟรมวิดีโอมากกว่า 172,000 เฟรมของนักดนตรีที่เล่นเพลงคลาสสิกต่างๆ เช่น Mozart Audeo ถูกทดสอบด้วยเฟรม 19,000 เฟรมของ Barton ที่เล่นเพลงต่างๆ
ซินธิไซเซอร์
หลังจากได้รับการฝึกฝน Audeo จะสร้างคำอธิบายของเพลง ซึ่งจะถูกส่งไปยังซินธิไซเซอร์เพื่อแปลเป็นเสียง คุณภาพของเสียงจะแตกต่างกันไปตามซินธิไซเซอร์ที่ใช้ ซึ่งเทียบเท่ากับการเปลี่ยนการตั้งค่าเครื่องดนตรีบนคีย์บอร์ดไฟฟ้า
ทีมงานใช้ซินธิไซเซอร์สองตัวแยกกัน
“Fluidsynth สร้างเสียงเปียโนที่เราได้ยิน ซึ่งดูเหมือนจะแม่นยำ แต่มีเสียงที่ดัง” Shlizerman กล่าว “เรายังใช้ PerfNet ซินธิไซเซอร์ AI ใหม่ที่สร้างเสียงที่มีคุณภาพสูงและน่าประทับใจ แต่ก็สร้างเสียงรบกวนมากกว่า”
“เป้าหมายของการศึกษานี้คือเพื่อดูว่า AI สามารถสร้างเพลงที่เล่นโดยนักเปียโนในบันทึกวิดีโอได้หรือไม่ แม้ว่าเราจะไม่ได้พยายามที่จะทำซ้ำ Paul Barton เนื่องจากเขาเป็นนักดนตรีที่มีความสามารถสูง” Shlizerman กล่าวต่อ “เราหวังว่าการศึกษานี้จะช่วยให้เรามีแนวทางใหม่ๆ ในการโต้ตอบกับเพลง ตัวอย่างเช่น หนึ่งในแอปพลิเคชันในอนาคตคือ Audeo สามารถขยายได้ถึงเปียโนเสมือนจริงพร้อมกล้องที่บันทึกมือของบุคคล หรือโดยการวางกล้องบนเปียโนจริง Audeo อาจช่วยในการสอนนักเรียนในการเล่นเปียโนในแบบใหม่ๆ”
Kung Su และ Ziulong Liu นักศึกษาระดับ博士ในภาควิศวกรรมไฟฟ้าและคอมพิวเตอร์เป็นผู้ร่วมเขียนบทความ
