Text-to-Music Generative AI : Stability Audio, Google’s MusicLM และอื่นๆ

ดนตรี ซึ่งเป็นรูปแบบศิลปะที่เข้าถึงจิตวิญญาณของมนุษย์ เป็นเพื่อนร่วมทางที่คอยอยู่กับเราเสมอ การสร้างดนตรีด้วยปัญญาประดิษฐ์เริ่มต้นขึ้นหลายทศวรรษที่แล้ว ในตอนแรก ความพยายามเหล่านั้นเป็นเรื่องง่ายและตรงประเด็น โดยมีแอลกอริทึมพื้นฐานที่สร้างทำนองเพลงที่น่าเบื่อ แต่เมื่อเทคโนโลยีได้รับการปรับปรุง ความซับซ้อนและความสามารถของเครื่องมือสร้างดนตรี AI ก็เพิ่มขึ้นตามไปด้วย เปิดทางให้การเรียนรู้เชิงลึกและประมวลผลภาษาธรรมชาติ (NLP) มีบทบาทสำคัญในด้านเทคโนโลยีนี้

ในปัจจุบัน แพลตฟอร์มอย่าง Spotify กำลังใช้ AI เพื่อปรับประสบการณ์การฟังเพลงให้เหมาะสมยิ่งขึ้นสำหรับผู้ใช้ แอลกอริทึมการเรียนรู้เชิงลึกเหล่านี้วิเคราะห์ความชอบส่วนบุคคลของผู้ใช้ตามองค์ประกอบต่างๆ ของดนตรี เช่น จังหวะและอารมณ์ เพื่อสร้างคำแนะนำเพลงที่เหมาะสม พวกเขายังวิเคราะห์รูปแบบการฟังเพลงในวงกว้างและค้นหาเนื้อหาที่เกี่ยวข้องกับเพลงบนอินเทอร์เน็ตเพื่อสร้างโปรไฟล์เพลงที่มีรายละเอียด

จุดเริ่มต้นของ AI ในดนตรี: การเดินทางจากการประพันธ์แบบแอลกอริทึมไปยังการสร้างแบบเจเนอเรทีฟ

ในระยะแรกของการผสมผสาน AI เข้ากับโลกดนตรี ซึ่งครอบคลุมตั้งแต่ช่วงปี 1950 ถึง 1970 การมุ่งเน้นหลักอยู่ที่การประพันธ์แบบแอลกอริทึม ซึ่งเป็นวิธีการที่คอมพิวเตอร์ใช้เซตของกฎที่กำหนดไว้เพื่อสร้างดนตรี การสร้างที่น่าสนใจครั้งแรกในระยะนี้คือ Illiac Suite สำหรับ String Quartet ในปี 1957 ซึ่งใช้แอลกอริทึม Monte Carlo ซึ่งเป็นกระบวนการที่เกี่ยวข้องกับตัวเลขสุ่มเพื่อกำหนดเสียงและจังหวะภายในขอบเขตของทฤษฎีดนตรีและความน่าจะเป็นทางสถิติ

รูปภาพที่สร้างโดยผู้เขียนโดยใช้ Midjourney

ในช่วงเดียวกัน Iannis Xenakis ผู้บุกเบิกอีกคนหนึ่ง ใช้กระบวนการสุ่มซึ่งอาศัยการแจกแจงความน่าจะเป็นเพื่อสร้างดนตรี เขาใช้คอมพิวเตอร์และภาษา FORTRAN เชื่อมโยงฟังก์ชันความน่าจะเป็นหลายแบบ โดยให้การแสดงผลกราฟิกที่แตกต่างกันสอดคล้องกับพื้นที่เสียงที่หลากหลาย

ความซับซ้อนของการแปลข้อความเป็นดนตรี

ดนตรีถูกเก็บไว้ในรูปแบบข้อมูลที่มีหลายมิติซึ่งครอบคลุมองค์ประกอบต่างๆ เช่น เมโลดี้ ฮาร์มอนี จังหวะ และอัตรา ทำให้การแปลข้อความเป็นดนตรีเป็นงานที่ซับซ้อนมาก เพลงมาตรฐานหนึ่งเพลงแสดงด้วยตัวเลขเกือบหนึ่งล้านตัวในคอมพิวเตอร์ ซึ่งเป็นตัวเลขที่สูงกว่ารูปแบบข้อมูลอื่นๆ เช่น ภาพถ่าย ข้อความ เป็นต้น

สาขาการสร้างเสียงกำลังเห็นแนวทางใหม่ๆ ในการเอาชนะความท้าทายในการสร้างเสียงที่สมจริง วิธีหนึ่งคือการสร้างสเปกโทรแกรม แล้วแปลงกลับเป็นเสียง

ยุทธวิธีอื่นใช้การแสดงผลสัญลักษณ์ของดนตรี เช่น นอตชีต ซึ่งสามารถตีความและเล่นโดยนักดนตรีได้ วิธีนี้ได้รับการเปลี่ยนเป็นดิจิทัลแล้ว โดยมีเครื่องมืออย่าง Chamber Ensemble Generator ของ Magenta ที่สร้างดนตรีในรูปแบบ MIDI ซึ่งเป็นโปรโตคอลที่ช่วยให้คอมพิวเตอร์และเครื่องดนตริสื่อสารกันได้

แม้ว่าวิธีการเหล่านี้จะพัฒนาสาขานี้ แต่ก็มีข้อจำกัดของตัวเอง ซึ่งเน้นย้ำถึงความซับซ้อนของการสร้างเสียง

แบบจำลองออโตรีเกรสซีฟที่ใช้ Transformer และแบบจำลองการแพร่กระจายที่ใช้ U-Net อยู่แนวหน้าของเทคโนโลยีที่สร้างเสียง ข้อความ ดนตรี และข้อมูลอื่น ๆ ได้อย่างมีคุณภาพสูง ตระกูล GPT ของ OpenAI และแบบจำลองภาษาขนาดใหญ่เกือบทั้งหมดใช้ Transformer ในรูปแบบตัวเข้ารหัส ตัวถอดรหัส หรือทั้งสองแบบ ส่วน Midjourney, Stability AI และ DALL-E 2 ใช้ระบบการแพร่กระจาย เทคโนโลยีสองกลุ่มนี้เป็นพื้นฐานสำคัญของผลลัพธ์ชั้นนำด้านเสียง บทความนี้จะสำรวจ MusicLM ของ Google และ Stable Audio ซึ่งแสดงความสามารถของแนวทางเหล่านี้

MusicLM ของ Google

MusicLM ของ Google (GOOGL ) เปิดตัวในเดือนพฤษภาคมปีนี้ MusicLM สามารถสร้างเพลงที่มีคุณภาพสูงซึ่งสอดคล้องกับอารมณ์ที่อธิบายไว้ในข้อความโดยตรง โดยใช้การสร้างแบบลำดับชั้น MusicLM มีความสามารถในการเปลี่ยนคำอธิบายข้อความเป็นดนตรีที่สอดคล้องกันในอัตรา 24 kHz ตลอดระยะเวลาที่ขยายออกไป

แบบจำลองไม่ได้ใช้เพียงข้อความ แต่ยังสามารถกำหนดเงื่อนไขด้วยทำนองได้ กล่าวคือ ผู้ใช้สามารถฮัมหรือผิวปาก แล้วให้ระบบปรับทำนองตามสไตล์ที่บรรยายไว้ในข้อความ

ข้อมูลทางเทคนิค

MusicLM ใช้หลักการของ AudioLM ซึ่งเป็นเฟรมเวิร์กที่แนะนำในปี 2022 สำหรับการสร้างเสียง AudioLM สังเคราะห์เสียงเป็นงานสร้างแบบจำลองภาษา โดยใช้พื้นที่การแสดงออกที่ไม่ต่อเนื่องของหน่วยเสียง โดยใช้ลำดับของหน่วยเสียงที่มีขนาดใหญ่ขึ้นเรื่อยๆ ซึ่งเรียกว่า “tokens” วิธีนี้รับประกันคุณภาพสูงและความสอดคล้องในระยะยาวตลอดระยะเวลาที่สำคัญ

เพื่ออำนวยความสะดวกในการสร้าง MusicLM ขยายความสามารถของ AudioLM เพื่อรวมการปรับให้เหมาะสมตามข้อความ ซึ่งเป็นเทคนิคที่จัดแนวเสียงที่สร้างขึ้นให้สอดคล้องกับเนื้อหาของข้อความที่เข้ามา

กลไกนี้อาศัยพื้นที่ฝังตัวร่วมที่สร้างด้วย MuLan ซึ่งเป็นแบบจำลองร่วมระหว่างดนตรีกับข้อความที่ฝึกให้เพลงและคำอธิบายเพลงอยู่ใกล้กันในพื้นที่ฝังตัว วิธีนี้ทำให้ไม่จำเป็นต้องใช้คำบรรยายระหว่างการฝึก และสามารถฝึกแบบจำลองด้วยคลังข้อมูลเสียงขนาดใหญ่ที่ไม่มีข้อความกำกับได้

MusicLM ยังใช้ SoundStream เป็นตัวแปลงเสียงเป็นโทเคน โดยสามารถสร้างดนตรี 24 kHz กลับคืนจากข้อมูลที่อัตรา 6 kbps ได้อย่างมีคุณภาพ ด้วย การควอนไทซ์เวกเตอร์แบบส่วนตกค้าง (RVQ) เพื่อบีบอัดเสียงอย่างมีประสิทธิภาพและรักษาคุณภาพ

กระบวนการฝึกเบื้องต้นของ MusicLM ได้แก่ SoundStream, w2v-BERT และ MuLan (แหล่งภาพ)

MusicLM ยังรองรับการกำหนดเงื่อนไขด้วยทำนอง แม้แต่ทำนองที่ฮัมอย่างง่ายก็สามารถเป็นพื้นฐานของเสียงเพลงที่ปรับให้ตรงกับสไตล์ที่อธิบายไว้ในข้อความได้

ผู้พัฒนาเปิดเผย MusicCaps ซึ่งเป็นชุดข้อมูลคู่ดนตรีกับข้อความจำนวน 5,500 คู่ แต่ละคู่มีคำอธิบายโดยละเอียดจากผู้เชี่ยวชาญ ดูได้ที่ MusicCaps บน Hugging Face

หากต้องการเริ่มสร้างเพลงด้วย MusicLM ของ Google ให้ทำตามขั้นตอนต่อไปนี้:

1. ไปที่เว็บไซต์อย่างเป็นทางการของ MusicLM แล้วเลือก “Get Started”
2. เข้าร่วมรายชื่อรอโดยเลือก “Register your interest”
3. เข้าสู่ระบบด้วยบัญชี Google
4. เมื่อได้รับสิทธิ์แล้ว ให้เลือก “Try Now” เพื่อเริ่มใช้งาน

ต่อไปนี้เป็นตัวอย่างพรอมต์ที่ผู้เขียนทดลองใช้:

“เพลงสำหรับทำสมาธิ ให้ความรู้สึกสงบและผ่อนคลาย มีขลุ่ยและกีตาร์ ดนตรีช้า เน้นสร้างความสงบและความเงียบสงบ”

“แจ๊สที่มีแซกโซโฟน”

ในการประเมินเชิงคุณภาพเปรียบเทียบกับแบบจำลองชั้นนำก่อนหน้า เช่น Riffusion และ Mubert ผู้เข้าร่วมชื่นชอบ MusicLM มากกว่า และให้คะแนนความสอดคล้องระหว่างคำบรรยายกับคลิปเสียงความยาว 10 วินาทีในทางที่ดี

ประสิทธิภาพของ MusicLM (แหล่งภาพ)

Stable Audio

ในสัปดาห์ก่อนหน้าการเผยแพร่บทความ Stability AI เปิดตัว Stable Audio ซึ่งใช้สถาปัตยกรรมการแพร่กระจายในพื้นที่แฝง โดยกำหนดเงื่อนไขด้วยเมทาดาทาที่เป็นข้อความ ระยะเวลาของไฟล์เสียง และเวลาเริ่มต้น เช่นเดียวกับ MusicLM แนวทางนี้ควบคุมเนื้อหาและความยาวของเสียงที่สร้างได้ โดยสร้างคลิปตามความยาวที่กำหนดภายในขนาดช่วงข้อมูลที่ใช้ฝึก

Stable Audio

ข้อมูลทางเทคนิค

Stable Audio ประกอบด้วย Variational Autoencoder (VAE) และแบบจำลองการแพร่กระจายที่กำหนดเงื่อนไขโดยใช้ U-Net ซึ่งทำงานร่วมกับตัวเข้ารหัสข้อความ

สถาปัตยกรรม Stable Audio (แหล่งภาพ)

VAE ช่วยให้การสร้างและการฝึกเร็วขึ้น โดยบีบอัดเสียงสเตอริโอเป็นการเข้ารหัสในพื้นที่แฝงแบบสูญเสียข้อมูล ซึ่งมีขนาดเล็ก ทนต่อสัญญาณรบกวน และถอดกลับได้ จึงไม่ต้องทำงานกับตัวอย่างเสียงดิบโดยตรง

ตัวเข้ารหัสข้อความพัฒนาจากแบบจำลอง CLAP และช่วยทำความเข้าใจความสัมพันธ์ระหว่างคำกับเสียง โดยสร้างตัวแทนข้อมูลที่มีความหมายจากข้อความที่แปลงเป็นโทเคนแล้ว คุณลักษณะข้อความจากชั้นก่อนชั้นสุดท้ายของตัวเข้ารหัส CLAP จะถูกรวมเข้าใน U-Net ผ่านชั้น cross-attention

องค์ประกอบสำคัญอีกส่วนคือเวกเตอร์ฝังตัวด้านเวลา ซึ่งคำนวณจากวินาทีเริ่มต้นของช่วงเสียงและระยะเวลารวมของไฟล์ต้นฉบับ ค่าเหล่านี้ถูกแปลงเป็นเวกเตอร์ฝังตัวแบบไม่ต่อเนื่องที่เรียนรู้แยกตามวินาที แล้วรวมกับโทเคนพรอมต์ก่อนส่งเข้าสู่ชั้น cross-attention ของ U-Net ทำให้ผู้ใช้กำหนดความยาวรวมของเสียงผลลัพธ์ได้

Stable Audio ฝึกด้วยชุดข้อมูลกว่า 800,000 ไฟล์เสียง ผ่านความร่วมมือกับ AudioSparx ผู้ให้บริการคลังเพลง

ข้อเสนอเชิงพาณิชย์ของ Stable Audio

ตามข้อเสนอที่กล่าวถึงในบทความ รุ่นฟรีสร้างเพลงได้ 20 ครั้งต่อเดือน ความยาวสูงสุดครั้งละ 20 วินาที ส่วนแผน Pro ราคา 12 ดอลลาร์ต่อเดือนสร้างได้ 500 ครั้ง ความยาวสูงสุดครั้งละ 90 วินาที

ด้านล่างเป็นคลิปเสียงที่ผู้เขียนสร้างด้วย Stable Audio

ภาพที่ผู้เขียนสร้างด้วย Midjourney

“แบบภาพยนตร์ เพลงประกอบเสียงฝนตกเบา ๆ บรรยากาศผ่อนคลาย เสียงสุนัขเห่าจากระยะไกล เสียงใบไม้ไหวอย่างสงบ ลมแผ่วเบา 40 BPM”

เสียงที่ปรับแต่งอย่างละเอียดเหล่านี้นำไปใช้ได้หลากหลาย ผู้สร้างภาพยนตร์สามารถสร้างภูมิทัศน์เสียงที่สมจริงและดื่มด่ำ ผู้โฆษณาสามารถใช้เพลงที่ออกแบบให้เหมาะกับงาน ส่วนครีเอเตอร์และศิลปินอิสระสามารถทดลองสร้างสรรค์เสียงที่เล่าเรื่อง กระตุ้นอารมณ์ และสร้างบรรยากาศได้ลึกซึ้ง ซึ่งก่อนหน้านี้อาจต้องใช้งบประมาณหรือความเชี่ยวชาญทางเทคนิคสูง

เคล็ดลับการเขียนพรอมต์

แนวทางต่อไปนี้ช่วยสร้างเสียงตามต้องการด้วยพรอมต์ข้อความ:

• ระบุรายละเอียด: บอกแนวเพลง อารมณ์ และเครื่องดนตรี เช่น แบบภาพยนตร์ คาวบอยตะวันตก เครื่องกระทบ ตึงเครียด และเน้นบรรยากาศ
• กำหนดอารมณ์: ผสมคำศัพท์ด้านดนตรีกับอารมณ์เพื่อสื่อความรู้สึกที่ต้องการ
• เลือกเครื่องดนตรี: เพิ่มคำขยาย เช่น “กีตาร์ที่มีเสียงก้อง” หรือ “คณะนักร้องประสานเสียงที่ทรงพลัง”
• BPM: กำหนดความเร็วให้เหมาะกับแนวเพลง เช่น “170 BPM” สำหรับเพลงดรัมแอนด์เบส

บทส่งท้าย

ภาพที่ผู้เขียนสร้างด้วย Midjourney

บทความนี้สำรวจดนตรีและเสียงที่สร้างด้วย AI ตั้งแต่การประพันธ์ด้วยแอลกอริทึมจนถึงระบบ AI เจเนอเรทีฟสมัยใหม่อย่าง MusicLM และ Stable Audio เทคโนโลยีเหล่านี้ใช้การเรียนรู้เชิงลึกและแบบจำลองบีบอัดชั้นนำ เพื่อพัฒนาทั้งการสร้างดนตรีและประสบการณ์ของผู้ฟัง

อย่างไรก็ตาม สาขานี้ยังเปลี่ยนแปลงอย่างต่อเนื่อง การรักษาความสอดคล้องระยะยาวและข้อถกเถียงเรื่องความเป็นต้นฉบับของเพลงที่ AI สร้างยังเป็นความท้าทาย ตัวอย่างที่ได้รับความสนใจในช่วงก่อนเผยแพร่บทความคือเพลง AI ที่เลียนแบบสไตล์ Drake และ The Weeknd ซึ่งเป็นกระแสออนไลน์เมื่อต้นปี แต่ถูกถอดจากรายชื่อเสนอเข้าชิงรางวัลแกรมมี เหตุการณ์นี้สะท้อนการถกเถียงเรื่องการยอมรับเพลง AI ในอุตสาหกรรม (แหล่งข้อมูล) เมื่อ AI เชื่อมดนตรีกับผู้ฟังมากขึ้น เทคโนโลยีกับศิลปะก็สามารถอยู่ร่วมกัน สนับสนุนนวัตกรรมพร้อมเคารพรากฐานเดิม