การวิจัย AI ที่เห็นถึงการควบคุมเสียงแยกสำหรับบทสนทนา เพลง และเสียงเอฟเฟกต์

การวิจัยร่วมใหม่ที่นำโดย Mitsubishi ตรวจสอบความเป็นไปได้ในการแยกเสียงสามแทร็กออกจากแหล่งเสียงเดียว โดยแบ่งเสียงออกเป็นเสียงพูด เพลง และเสียงเอฟเฟกต์ (เช่น เสียงดัง)

เนื่องจากเป็นเฟรมเวิร์กการประมวลผลหลังเหตุการณ์ จึงมีศักยภาพสำหรับเครื่องมือมัลติมีเดียในอนาคต รวมถึงอุปกรณ์ผู้บริโภค เพื่อมอบการควบคุมเสียงสามจุดให้กับผู้ใช้ โดยให้ผู้ใช้สามารถเพิ่มหรือลดเสียงตามต้องการ

ในคลิปสั้นด้านล่างจากวิดีโอที่เกี่ยวข้องกับการวิจัย (ดูวิดีโอที่แนบมาที่สิ้นสุดของบทความ) เราจะเห็นแง่มุมต่างๆ ของเสียงที่ถูกเน้นเมื่อผู้ใช้ลากคอนโทรลข้ามรูปสามเหลี่ยมที่มีสามส่วนเสียงในแต่ละมุม:

คลิปสั้นจากวิดีโอที่เกี่ยวข้องกับเอกสาร (ดูวิดีโอที่แนบมาที่สิ้นสุดของบทความ) เมื่อผู้ใช้ลากเมาส์ไปที่หนึ่งในสามส่วนเสียงที่แยกออกมาในอินเทอร์เฟซรูปสามเหลี่ยม (ทางด้านขวา) เสียงจะเน้นไปที่ส่วนนั้นของเสียงทั้งสามส่วน แม้ว่าวิดีโอยาวจะอ้างอิงตัวอย่างเพิ่มเติมบน YouTube แต่ตัวอย่างเหล่านั้นไม่สามารถเข้าถึงได้ในปัจจุบัน แหล่งที่มา: https://vimeo.com/634073402

เอกสาร เอกสาร มีชื่อเรื่องว่า ปัญหา Cocktail Fork: การแยกเสียงสามส่วนสำหรับเสียงที่ใช้ในโลกแห่งความเป็นจริง และมาจากนักวิจัยที่ Mitsubishi Electric Research Laboratories (MERL) ใน Cambridge, MA และภาควิชาวิศวกรรมระบบอัจฉริยะที่ Indiana University ในรัฐอิลลินอยส์

การแยกแง่มุมของเสียง

นักวิจัยได้ตั้งชื่อความท้าทายว่า ‘ปัญหา Cocktail Party’ เนื่องจากเกี่ยวข้องกับการแยกส่วนเสียงที่ซับซ้อนออกจากกัน ซึ่งสร้างเส้นทางที่คล้ายกับหนาม (ดูภาพด้านล่าง) ในทางปฏิบัติ เสียงหลายช่องทาง (เช่น สเตอริโอและช่องทางอื่นๆ) อาจมีส่วนประกอบที่แตกต่างกัน เช่น เสียงพูด เพลง และเสียงดัง โดยเฉพาะอย่างยิ่งเมื่อเสียงพูดมักจะ มีเสียงดังในช่องทางกลาง ในการผสมเสียง Dolby 5.1 ในปัจจุบัน สาขาการวิจัยเสียงที่มีการแยกออกเป็นส่วนต่างๆ มุ่งเน้นไปที่การดึงส่วนเหล่านี้ออกจากเสียงเดียวที่ผสมกัน ซึ่งเป็นไปตามการวิจัยในปัจจุบัน

The Cocktail Fork – การดึงเสียงสามส่วนออกจากเสียงเดียวที่ผสมกัน แหล่งที่มา: https://arxiv.org/pdf/2110.09958.pdf

การวิจัยล่าสุดมุ่งเน้นไปที่การดึงเสียงพูดในหลายสภาพแวดล้อม โดยมีจุดประสงค์เพื่อลดเสียงรบกวนในเสียงพูดสำหรับการใช้งานระบบประมวลผลภาษาธรรมชาติ (NLP) ต่อไป และยังรวมถึง การแยกเสียงร้อง ของนักร้องเก่า เพื่อสร้างเสียงร้องสังเคราะห์หรือเพื่ออำนวยความสะดวกในการแยกเสียงเพลงในแบบ Karaoke

ชุดข้อมูลสำหรับแต่ละส่วน

จนถึงตอนนี้ ยังไม่มีการพิจารณาใช้เทคโนโลยี AI ประเภทนี้เพื่อให้ผู้ใช้มีการควบคุมเสียงที่ดีขึ้น ดังนั้นนักวิจัยจึงได้กำหนดปัญหาและสร้างชุดข้อมูลใหม่เพื่อช่วยในการวิจัยการแยกเสียงหลายประเภท ตลอดจนการทดสอบบนเฟรมเวิร์กการแยกเสียงที่มีอยู่

ชุดข้อมูลใหม่ที่นักวิจัยพัฒนาขึ้นมีชื่อว่า Divide and Remaster (DnR) และได้มาจากชุดข้อมูลก่อนหน้า LibriSpeech, Free Music Archive และ Freesound Dataset 50k (FSD50K) สำหรับผู้ที่ต้องการทำงานกับ DnR ตั้งแต่เริ่มต้น ชุดข้อมูลจะต้องถูกสร้างขึ้นใหม่จากสามแหล่งที่มา; ในทางกลับกัน จะมีการเผยแพร่บน Zenodo ในไม่ช้าตามที่นักวิจัยอ้าง อย่างไรก็ตาม ในขณะนี้ ลิงก์ GitHub ที่ให้มาสำหรับยูทิลิตี้การดึงข้อมูล ไม่ได้ใช้งาน ดังนั้นผู้ที่สนใจอาจต้องรอเป็นเวลาสักครู่

นักวิจัยพบว่าโครงสร้าง CrossNet un-mix (XUMX) ที่ Sony เสนอในเดือนพฤษภาคมใช้งานได้ดีกับ DnR

โครงสร้าง CrossNet ของ Sony

นักวิจัยอ้างว่าโมเดลการดึงเสียงของพวกเขาทำงานได้ดีกับเสียงจาก YouTube แม้ว่าการประเมินในเอกสารจะอาศัยข้อมูลสังเคราะห์ และวิดีโอที่ให้มาเป็นวิดีโอหลักที่ดูเหมือนจะสามารถเข้าถึงได้

ชุดข้อมูลทั้งสามที่ใช้ประกอบด้วยคอลเลกชันของประเภทเอาต์พุตที่ต้องแยกออกจากเสียง: FSD50K มีเสียงเอฟเฟกต์ และมีคลิปเสียง 50,000 คลิปที่มี 200 แท็กจากออนโทโลจี AudioSet ของ Google; Free Music Archive มีเพลง 100,000 เพลงใน 161 แนวเพลง แต่นักวิจัยใช้เซตย่อยที่มี 25,000 เพลง เพื่อให้เท่ากับ FSD50K; และ LibriSpeech ให้ DnR 100 ชั่วโมง ของตัวอย่างเสียงหนังสือเสียงในรูปแบบ mp3 44.1kHz

งานในอนาคต

นักวิจัยคาดหวังว่าจะมีการทำงานเพิ่มเติมเกี่ยวกับชุดข้อมูลและโมเดลการแยกเสียงที่พัฒนาขึ้นสำหรับการวิจัยเพิ่มเติมเกี่ยวกับการรับรู้เสียงพูดและเฟรมเวิร์กการจำแนกเสียง โดยมีการสร้างคำบรรยายอัตโนมัติสำหรับเสียงพูดและเสียงที่ไม่ใช่เสียงพูด นอกจากนี้ยังมีแผนที่จะประเมินความเป็นไปได้ในการผสมผสานเสียงที่สามารถลดอาการรบกวนการรับรู้ ซึ่งเป็นปัญหาหลักเมื่อแบ่งเสียงที่ผสมออกเป็นส่วนประกอบ

การแยกเสียงประเภทนี้อาจมีให้ใช้ในอนาคตในรูปแบบสินค้าอุปโภคบริโภคในโทรทัศน์สมาร์ททีวีที่มีเครือข่ายการอนุมานที่ได้รับการปรับให้เหมาะสมสูง แม้ว่าดูเหมือนว่าการนำไปใช้งานในระยะแรกอาจต้องใช้เวลาในการประมวลผลและพื้นที่จัดเก็บข้อมูล Samsung ใช้ เครือข่ายประสาทเทียมท้องถิ่น สำหรับการปรับขนาดขึ้น ในขณะที่ Cognitive Processor XR ของ Sony ซึ่งใช้ในซีรีส์ Bravia ของบริษัท วิเคราะห์และ ตีความ เสียงที่ใช้จริงผ่าน AI ที่มีน้ำหนักเบา

การเรียกร้องให้มีการควบคุมเสียงที่ดีขึ้น เกิดขึ้นเป็นระยะ และวิธีแก้ปัญหาส่วนใหญ่ที่นำเสนอจะต้องจัดการกับข้อเท็จจริงที่ว่าเสียงที่ใช้ได้รับการผสมผสานตามมาตรฐานและสมมติฐานในปัจจุบันในอุตสาหกรรมภาพยนตร์และโทรทัศน์

ผู้ชมหนึ่งคนซึ่งรู้สึกหงุดหงิดกับความไม่เท่าเทียมกันของระดับเสียงระหว่างองค์ประกอบต่างๆ ของเสียงที่ใช้ กลายเป็นคนสิ้นหวังพอที่จะ พัฒนา อุปกรณ์ปรับระดับเสียงอัตโนมัติแบบฮาร์ดแวร์ที่สามารถ ปรับระดับเสียง ให้เหมาะสมสำหรับภาพยนตร์และโทรทัศน์

แม้ว่าโทรทัศน์สมาร์ททีวีจะมีวิธีการหลากหลายในการพยายามเพิ่มระดับเสียงพูด แต่ก็ยังคงต้องต่อสู้กับการตัดสินใจที่ทำไว้ในการผสมเสียง และอาจเป็นไปตามความตั้งใจของนักสร้างเนื้อหาที่ต้องการให้ผู้ชม สัมผัสเสียงที่ใช้ ตามที่ตั้งไว้

ผู้ผลิตเนื้อหาดูเหมือนจะไม่พอใจกับการเพิ่ม ‘วัฒนธรรมการผสมผสาน’ ที่อาจเกิดขึ้นนี้ เนื่องจากบุคคลสำคัญในอุตสาหกรรมหลายคนได้แสดงความไม่พอใจต่ออัลกอริทึมการประมวลผลหลังการแพร่ภาพที่ใช้โดยทีวี เช่น การทำให้ภาพเคลื่อนไหวเร็วขึ้น

https://vimeo.com/634073402