OpenAI สร้างโปรแกรม AI ใหม่เพื่อสร้างเพลงตามประเภท

องค์กรวิจัยอิสระ OpenAI ได้เผยแพร่ระบบ AI ที่สร้างขึ้นใหม่ซึ่งเรียกว่า Jukebox ซึ่งมีชื่อตามความสามารถในการสร้างเพลง Jukebox AI สามารถสร้างเสียงตามคุณลักษณะ เช่น การบรรเลงและเนื้อเพลง และทีมวิจัย OpenAI สร้าง AI โดยการฝึกอบรมด้วยคลิปเสียงที่ถูกบีบอัดและตัวอย่างเนื้อเพลงต่างๆ

ตามที่ TechCrunch รายงาน นักวิจัยของ OpenAI ได้ฝึกอบรมแบบจำลองโดยใช้คลิปเสียงที่ไม่ถูกบีบอัด ซึ่งทำให้แบบจำลองสามารถผลิตเสียงได้ ซึ่งไม่เหมือนกับวิธีการสร้างแอปพลิเคชั่นการสร้างเพลงอื่นๆ ที่มักจะพึ่งพา “เสียงสัญลักษณ์” (เช่น เพลง MIDI) ซึ่งเป็นข้อมูลเกี่ยวกับโน้ตและเสียงสูง แต่ไม่มีเสียงจริงๆ ทีมนักวิจัยใช้เครือข่ายประสาทเทียมแบบโคนโวลูชันเพื่อฝึกอบรมแบบจำลอง โดยการบีบอัดเสียงและเข้ารหัสเป็นรูปแบบที่เครือข่ายประสาทเทียมสามารถตีความได้ หลังจากนั้นจะใช้ทรานส์ฟอร์เมอร์เพื่อสร้างเสียงที่ถูกบีบอัด ซึ่งจะถูกเพิ่มขนาดเพื่อแปลงข้อมูลเป็นรูปแบบเสียง

เมื่อสร้าง Jukebox OpenAI ต้องสร้างวิธีการจัดการกับลักษณะที่ซับซ้อนและหนาแน่นของเสียง นักวิจัยจัดการกับลักษณะที่ต่อเนื่องของเสียงโดยการแบ่งออกเป็นชิ้นที่แยกจากกันและสามารถย่อยได้ โดยแบ่งเพลงออกเป็นชิ้นที่มีความยาว 1/128 วินาที เป้าหมายคือการสร้างแบบจำลอง AI ที่สามารถแบ่งเพลงออกเป็นชิ้นที่มีขนาดใหญ่พอที่จะไม่ทำให้ปัญหาไม่สามารถแก้ไขได้ แต่เล็กและแม่นยำพอที่แบบจำลองจะสามารถเรียนรู้รูปแบบของเพลงและสร้างรูปแบบนั้นขึ้นมาใหม่

เทคนิคที่ใช้โดย OpenAI มีความคล้ายคลึงกับ AI การสร้างเพลงที่เก่ากว่าที่บริษัทสร้างขึ้น ซึ่งเรียกว่า MuseNet MuseNet ถูกฝึกอบรมด้วยไฟล์ MIDI และสามารถสร้างเพลงในหลายๆ รูปแบบ แต่เน้นไปที่ทำนองโดยรวมของเพลงและไม่สามารถสร้างเนื้อเพลงได้ ในทางกลับกัน Jukebox สามารถเขียนเนื้อเพลงของตนเองเพื่อรองรับเพลงได้ เนื้อเพลงถูก “ร่วมเขียน” โดยนักวิจัยของ OpenAI โดยชี้นำแบบจำลองให้สร้างเนื้อเพลงในหลายๆ รูปแบบ Jukebox ถูกฝึกอบรมด้วยเนื้อเพลงที่ถูกสแกนจาก LyricWiki โดยมีข้อมูลการฝึกอบรมที่ประกอบด้วยข้อความและเมตาดาต้าจาก 1.2 ล้านเพลง

เมื่อพูดถึงเนื้อเพลงของแบบจำลอง นักวิจัยได้ลองใช้การยืดเนื้อเพลงให้ยาวประมาณความยาวของเพลง โดยวิเคราะห์ข้อความที่สอดคล้องกับชิ้นหรือส่วนของเพลง เทคนิคแบบง่ายๆ นี้ทำงานได้ดีโดยทั่วไป แต่นักวิจัยพบว่าเมื่อเนื้อเพลงมีความเร็วสูงมาก มันจะล้มเหลว เพื่อแก้ปัญหานี้ เสียงร้องถูกถอดออกจากเพลงและจัดตำแหน่งให้ตรงกับข้อความเนื้อเพลงเพื่อให้ได้การจัดตำแหน่งระดับคำ หลังจากนั้น จะใช้ชั้นการเข้ารหัสสำหรับเนื้อเพลงพร้อมกับชั้นการดึงความสนใจที่จับคู่ส่วนของเพลงกับเนื้อเพลงโดยใช้คู่คีย์-ค่า ผลลัพธ์คือเนื้อเพลงและเสียงร้องมีการจับคู่ที่แม่นยำ

ผู้เขียนของ เอกสาร ยังชี้ให้เห็นว่ามีข้อจำกัดหลายประการของ Jukebox และงานในอนาคตจะพยายามปรับปรุงความสามารถของ AI ตามที่ผู้เขียนเขียนใน โพสต์บล็อก:

“ในขณะที่ Jukebox เป็นตัวแทนของความก้าวหน้าในด้านคุณภาพของเพลง การเชื่อมต่อ ความยาวของตัวอย่างเสียง และความสามารถในการปรับให้เหมาะสมกับศิลปิน ประเภท และเนื้อเพลง มีระยะห่างที่สำคัญระหว่างการสร้างเหล่านี้และเพลงที่สร้างโดยมนุษย์ ตัวอย่างเช่น แม้ว่าเพลงที่สร้างขึ้นจะแสดงให้เห็นถึงการเชื่อมต่อทางดนตรีในท้องถิ่น การปฏิบัติตามรูปแบบคอร์ดแบบดั้งเดิม และสามารถมีส่วนเดี่ยวที่น่าประทับใจได้ แต่เราก็ไม่ได้ยินโครงสร้างทางดนตรีที่คุ้นเคย เช่น โครสที่ซ้ำกัน”

ปัจจุบัน แบบจำลองสามารถผลิตเพลงที่รู้จักกันในประเภทหรือแนวเพลงเฉพาะหรือแม้แต่ศิลปินเฉพาะได้ ตัวอย่างเช่น สามารถผลิตเพลงในแนวของเอลวิส เพรสลีย์ เคที เพร์รี หรือเรจ อะกาnst เดอะ แมชชีน แม้ว่าเพลงจะรู้จักกันในประเภทหรือแนวเพลง แต่ก็มีความหยาบและบ่อยครั้งดูเหมือนเป็นการล้อเลียนหรือการคัฟเวอร์ที่ไม่ดีของเพลง อย่างไรก็ตาม ความสำเร็จทางเทคนิคเป็นเรื่องที่น่าประทับใจ นักวิจัยที่รับผิดชอบในการสร้างระบบ AI การสร้างเพลงเลือกที่จะทำงานในโปรแกรมที่สามารถสร้างเพลงได้โดยเฉพาะเนื่องจากงานนี้ยาก และนักวิจัยวางแผนจะปรับปรุงเทคนิคของตนอย่างต่อเนื่อง คุณสามารถฟังเพลงบางส่วน ที่นี่