การอ่านริมฝีปากด้วย Visemes และ Machine Learning

การวิจัยใหม่จาก School of Computer Engineering ที่ Tehran เสนอวิธีการที่ดีขึ้นในการสร้างระบบ Machine Learning ที่สามารถอ่านริมฝีปากได้

บทความ นี้ ซึ่งมีชื่อว่า Lip Reading Using Viseme Decoding ระบุว่าระบบใหม่นี้สามารถปรับปรุงอัตราความผิดพลาดของคำได้ 4% เมื่อเทียบกับแบบจำลองก่อนหน้าที่ดีที่สุด ระบบนี้ giải quyếtปัญหาการขาดข้อมูลการฝึกอบรมที่มีประโยชน์ในภาคส่วนนี้โดยการแมป visemes ไปยังเนื้อหาข้อความที่ได้มาจากตัวอย่างหกล้านรายการในฐานข้อมูล OpenSubtitles ของชื่อเรื่องภาพยนตร์ที่แปลแล้ว

Viseme คือสิ่งที่เทียบเท่ากับ phoneme ในรูปแบบภาพ ซึ่งเป็นการแมป เสียง>ภาพ ที่สามารถประกอบเป็น ‘คุณลักษณะ’ ในแบบจำลอง Machine Learning

Visemes ในการทำงาน. Source: https://developer.oculus.com/documentation/unity/audio-ovrlipsync-viseme-reference/

นักวิจัยเริ่มต้นด้วยการกำหนดอัตราความผิดพลาดที่ต่ำที่สุดในฐานข้อมูลที่มีอยู่ และพัฒนาลำดับ viseme จากกระบวนการแมปที่กำหนดไว้แล้ว ในกระบวนการนี้จะพัฒนาคำศัพท์ภาพของคำศัพท์ – แม้ว่าจะจำเป็นต้องกำหนดความน่าจะเป็นของความแม่นยำสำหรับคำศัพท์ที่ใช้ viseme เหมือนกัน (เช่น ‘heart’ และ ‘art’)

Visemes ที่ถูกถอดรหัสจากข้อความ. Source: https://arxiv.org/pdf/2104.04784.pdf

เมื่อคำศัพท์สองคำที่เหมือนกันผลิต viseme ที่เหมือนกัน คำศัพท์ที่เกิดขึ้นบ่อยที่สุดจะถูกเลือก

แบบจำลองนี้สร้างบนแบบจำลอง ลำดับ-ถึง-ลำดับ แบบดั้งเดิมโดยการเพิ่มกระบวนการย่อยที่ visemes ถูก预测จากข้อความและแบบจำลองในพายพันแบบอื่น:

ด้านบน คือ วิธีการลำดับ-ถึง-ลำดับแบบดั้งเดิมในแบบจำลองตัวอักษร ด้านล่าง คือ การเพิ่มการแบบจำลอง viseme ในแบบจำลองการวิจัยของ Tehran. Source: https://arxiv.org/pdf/2104.04784.pdf

แบบจำลองนี้ถูกนำไปใช้โดยไม่มีบริบทการมองเห็นกับ ชุดข้อมูล LRS3-TED ที่เผยแพร่โดยมหาวิทยาลัย Oxford ในปี 2018 โดยมีอัตราความผิดพลาดของคำที่แย่ที่สุด (WER) ที่ได้รับอยู่ที่ 24.29%

การวิจัยของ Tehran ยังรวมถึงการใช้ ตัวแปลง grapheme-to-phoneme ด้วย

ในการทดสอบกับ Lip Reading Sentences In The Wild ของ Oxford ในปี 2017 วิธีการ Video-To-Viseme ได้ผลลัพธ์อัตราความผิดพลาดของคำที่ 62.3% เมื่อเทียบกับ 69.5% ของวิธีการของ Oxford

นักวิจัยสรุปว่าการใช้ข้อมูลข้อความในปริมาณที่มากขึ้น รวมถึง grapheme-to-phoneme และ viseme mapping อาจปรับปรุงผลลัพธ์ได้เหนือกว่าสภาพที่ดีที่สุดในปัจจุบันของระบบอ่านริมฝีปากอัตโนมัติ ในขณะที่ยอมรับว่าวิธีการที่ใช้อาจให้ผลลัพธ์ที่ดีกว่าเมื่อผสมผสานกับเฟรมเวิร์กที่ซับซ้อนในปัจจุบัน

การอ่านริมฝีปากโดยใช้เครื่องจักรเป็นหนึ่งในพื้นที่การวิจัยที่มีการดำเนินอยู่ในด้านการมองเห็นของคอมพิวเตอร์และ NLP ในช่วงสองทศวรรษที่ผ่านมา ในบรรดาตัวอย่างและโครงการอื่นๆ มากมาย ในปี 2006 การใช้ซอฟต์แวร์อ่านริมฝีปากอัตโนมัติ ได้ข่าว เมื่อใช้ในการตีความสิ่งที่ Adolf Hitler พูดในภาพยนตร์เงียบบางเรื่องที่ถ่ายที่บ้านพักของเขาในบาวาเรีย แม้ว่าแอปพลิเคชันนี้จะดูเหมือนจะหายไปในความลึกลับตั้งแต่นั้นมา (สิบสองปีต่อมา Sir Peter Jackson อาศัย ผู้อ่านริมฝีปากของมนุษย์เพื่อสร้างการอภิปรายใหม่ในโครงการฟื้นฟู They Shall Not Grow Old)

ในปี 2017 Lip Reading Sentences in The Wild ซึ่งเป็นความร่วมมือระหว่างมหาวิทยาลัย Oxford และแผนกการวิจัย AI ของ Google ได้ผลิต ระบบอ่านริมฝีปาก AI ที่สามารถอนุมานคำพูดในวิดีโอโดยไม่มีเสียงได้ถูกต้อง 48% โดยที่ผู้อ่านริมฝีปากของมนุษย์สามารถบรรลุความแม่นยำเพียง 12.4% จากวัสดุเดียวกัน แบบจำลองนี้ได้รับการฝึกอบรมจากชั่วโมงการถ่ายทอดสดของ BBC TV

งานนี้ตามมาจาก โครงการ อื่นของ Oxford/Google ในปีก่อนหน้าซึ่งมีชื่อว่า LipNet ซึ่งเป็นสถาปัตยกรรมของเครือข่ายประสาทที่แมปลำดับวิดีโอความยาวต่างกันไปยังลำดับข้อความโดยใช้ Gated Recurrent Network (GRN) ซึ่งเพิ่มฟังก์ชันให้กับโครงสร้างพื้นฐานของ Recurrent Neural Network (RNN) แบบจำลองนี้ได้ผลลัพธ์ที่ดีขึ้น 4.1 เท่าเมื่อเทียบกับผู้อ่านริมฝีปากของมนุษย์

นอกจากปัญหาในการสร้างการถอดรหัสที่แม่นยำในเวลาจริงแล้ว การตีความคำพูดจากวิดีโอยังลึกซึ้งยิ่งขึ้นเมื่อคุณลบบริบทที่มีประโยชน์ เช่น เสียง ภาพ ‘หน้าตรง’ ที่มีแสงสว่างดี และภาษา/วัฒนธรรมที่มี fonemes/visemes ที่แตกต่างกัน

แม้ว่าจะไม่มีความเข้าใจเชิงประจักษ์เกี่ยวกับภาษาที่ยากที่สุดในการอ่านริมฝีปากในสถานการณ์ที่ไม่มีเสียง แต่ภาษาญี่ปุ่นเป็น ผู้แข่งขันที่สำคัญ วิธีการที่คนญี่ปุ่น (เช่นเดียวกับคนอื่นๆ ในเอเชียตะวันตกและเอเชียตะวันออก) ใช้การแสดงออกทางสีหน้าเพื่อสนับสนุนเนื้อหาของคำพูดของตนเองทำให้พวกเขาเป็น ความท้าทาย ที่ยิ่งใหญ่กว่าสำหรับระบบวิเคราะห์ความรู้สึก

อย่างไรก็ตาม ควรทราบว่าเอกสารทางวิทยาศาสตร์ส่วนใหญ่ในหัวข้อนี้มักจะ ระมัดระวัง ไม่น้อย เนื่องจากการวิจัยที่มีเจตนาและเป็นกลางในด้านนี้อาจเสี่ยงต่อการล่วงละเมิดและเผยแพร่สเตอริโอไทป์ที่มีอยู่แล้ว

ภาษาที่มีส่วนประกอบของเสียงก้องในปริมาณมาก เช่น เชเชน และ ดัตช์ มีปัญหาเป็นพิเศษสำหรับเทคนิคการถอดรหัสคำพูดอัตโนมัติ ในขณะที่วัฒนธรรมที่ผู้พูดอาจแสดงอารมณ์หรือความเคารพโดยการหันไปมอง (โดยทั่วไป ในวัฒนธรรมเอเชีย) เพิ่มมิติใหม่ๆ ที่นักวิจัยการอ่านริมฝีปาก AI จะต้องพัฒนาวิธีการ ‘เติม’ จากสิ่งบ่งชี้บริบทอื่นๆ