การรวมที่สอดคล้องกันของการพูดและการสื่อสารด้วยท่าทาง

เมื่อฉันกลับมาอยู่อังกฤษหลังจากใช้เวลาหลายปีในตอนใต้ของอิตาลี ฉันต้องใช้เวลาหลายเดือนกว่าจะเลิกใช้ท่าทางขณะพูด ในสหราชอาณาจักร การใช้ท่าทางที่มีพลังในการพูดทำให้ดูเหมือนคุณมีระดับกาเฟอีนสูง ในขณะที่ในอิตาลี ในฐานะผู้เรียนรู้ภาษา การใช้ท่าทางช่วยให้ฉัน เข้าใจได้ดีขึ้น แม้ในปัจจุบัน เมื่อฉันพูดภาษาอิตาลีไม่บ่อยนัก ท่าทาง “มือป่าเถื่อน” ก็กลับมาอีกครั้ง มันเป็นเรื่องที่ยากมากที่จะพูดภาษาอิตาลีโดยไม่เคลื่อนไหวร่างกาย

ในช่วงไม่กี่ปีที่ผ่านมา การสื่อสารที่ได้รับการสนับสนุนจากท่าทาง ในอิตาลีและวัฒนธรรมยิว ได้รับความสนใจจากสาธารณชนมากกว่าการเป็นเพียงส่วนหนึ่งของภาพยนตร์ของมาร์ติน สกอร์เซซี และวูดี้ อัลเลน ในปี 2013 นิวยอร์กไทมส์รวบรวม วิดีโอสั้น ๆ เกี่ยวกับประวัติของท่าทางมืออิตาลี สถาบันการศึกษาก็เริ่มศึกษาการใช้ท่าทางมือในเชิงชาติพันธุ์มากกว่าการมองว่ามันเป็นเพียงสเตอริโอไทป์ และอีโมจิใหม่ ๆ จากยูนิโคดคอนซอร์เทียมก็ช่วย ลดการขาดท่าทาง ที่เกิดขึ้นจากการสื่อสารดิจิทัลแบบข้อความเท่านั้น

การรวมที่สอดคล้องกันของการพูดและการสื่อสารด้วยท่าทาง

ขณะนี้ การวิจัยใหม่ จากภาควิชาการพูด การดนตรี และการฟังของสถาบันเทคโนโลยี KTH ราชอาณาจักรสวีเดน กำลังมองหาวิธีการรวมการรู้จำคำพูดและการสื่อสารด้วยท่าทางเข้าด้วยกันในระบบหลายรูปแบบที่สามารถเพิ่มความเข้าใจในการสื่อสารที่ใช้คำพูดโดยใช้ท่าทางเป็นส่วนเสริมที่รวมกันในการศึกษา

การวิจัยนี้เสนอโมเดลใหม่ที่เรียกว่าการสังเคราะห์คำพูดและการสื่อสารด้วยท่าทางแบบบูรณาการ (ISG) และรวบรวมโมเดลประสาทหลายรูปแบบที่ดีที่สุดจากงานวิจัยเกี่ยวกับการพูดและการสื่อสารด้วยท่าทาง

แนวทางใหม่นี้ละทิ้งรูปแบบ แบบลำดับ (ที่ท่าทางได้รับจากคำพูดในขั้นตอนการประมวลผลที่สอง) และใช้แนวทางที่รวมกันมากขึ้น ซึ่งได้รับการประเมินจากผู้ใช้ปลายทางในระดับเดียวกับระบบที่มีอยู่ และสามารถสังเคราะห์ได้เร็วขึ้นและมีจำนวนพารามิเตอร์ที่ลดลง

ระบบหลายรูปแบบใหม่นี้รวมถึงสังเคราะห์คำพูดแบบสุ่มและตัวสร้างท่าทางที่ขับเคลื่อนด้วยเสียงพูด ทั้งสองแบบได้รับการฝึกฝนจากชุดข้อมูล Trinity Speech Gesture ที่มีอยู่แล้ว ชุดข้อมูลนี้ประกอบด้วย 244 นาทีของเสียงและบันทึกการเคลื่อนไหวของร่างกายของชายคนหนึ่งที่พูดเรื่องต่าง ๆ และสื่อสารด้วยท่าทางอย่างอิสระ

สถาปัตยกรรม

ส่วนของคำพูดและภาพ (ท่าทาง) ของโครงการนี้ไม่สมดุลในแง่ของข้อมูล เนื้อหาคำพูดมีจำนวนไม่มากและท่าทางมีข้อมูลมากและต้องการทรัพยากรมาก – เป็นความท้าทายในการกำหนดเป้าหมายและมาตรการ ดังนั้นผู้วิจัยจึงประเมินระบบหลัก ๆ โดยอาศัยการรับฟังของผู้ใช้มากกว่าวิธีการอื่น ๆ เช่น mean square error (MSE)

สองรูปแบบหลักของ ISG ได้รับการพัฒนารอบ รุ่นที่สอง ของโครงการสังเคราะห์คำพูด Tacotron ของ Google ในปี 2017 และโครงการ Glow-TTS ของเกาหลีใต้ที่เผยแพร่ในปี 2020 Tacotron ใช้สถาปัตยกรรม LSTM แบบอัตโนมัติ ในขณะที่ Glow-TTS ทำงานแบบขนานผ่านตัวดำเนินการคอนโวลูชัน โดยมีการแสดงผล GPU ที่เร็วขึ้นและไม่มีปัญหาเสถียรภาพที่อาจเกิดขึ้น

ผู้วิจัยทดสอบระบบสังเคราะห์คำพูดและท่าทางที่มีประสิทธิภาพสามระบบระหว่างโครงการ ได้แก่ รูปแบบที่ได้รับการดัดแปลงของการสร้างคำพูดและท่าทางแบบหลายรูปแบบที่เผยแพร่ในปี 2021 โดยผู้วิจัยบางคนในโครงการใหม่ รูปแบบ Tacotron 2 ที่ดัดแปลงเป็น ISG และรูปแบบ Glow-TTS ที่ดัดแปลงเป็น ISG อย่างมาก

เพื่อประเมินระบบ ผู้วิจัยสร้างสภาพแวดล้อมการให้ข้อมูลแบบเว็บที่มีตัวละคร 3 มิติที่พูดและเคลื่อนไหวตามข้อความที่กำหนดไว้ล่วงหน้า (ทั่วไปของสภาพแวดล้อมสามารถดูได้ที่ หน้าโครงการสาธารณะ)

ผู้เข้าร่วมการทดสอบถูกขอให้ประเมินประสิทธิภาพของระบบตามคำพูดและท่าทาง คำพูดเท่านั้น และท่าทางเท่านั้น ผลลัพธ์แสดงให้เห็นว่าระบบ ISG ใหม่มีการปรับปรุงที่ดีขึ้นเล็กน้อยเมื่อเทียบกับรูปแบบที่เก่ากว่า แม้ว่าระบบใหม่จะทำงานได้เร็วขึ้นและมีการใช้ทรัพยากรที่ลดลง

ท่าทางที่ฝังตัว

รูปแบบ Tacotron2-ISG ซึ่งเป็นรูปแบบที่ประสบความสำเร็จที่สุดในสามรูปแบบนี้ แสดงให้เห็นถึงการเรียนรู้ “ลับ” ที่เกี่ยวข้องกับบางวลีที่พบบ่อยที่สุดในชุดข้อมูล เช่น ‘ฉันไม่รู้’ – แม้ว่าจะไม่มีข้อมูลที่ชัดเจนที่จะทำให้ระบบสร้างท่าทางที่จะเคลื่อนไหวร่างกาย แต่ผู้วิจัยพบว่าระบบสร้างท่าทางที่จะเคลื่อนไหวร่างกายจริงๆ

ผู้วิจัยสังเกตว่าลักษณะเฉพาะของโครงการใหม่นี้ทำให้เกิดการขาดทรัพยากรทั่วไป เช่น ชุดข้อมูลที่มีการรวมคำพูดและการสื่อสารด้วยท่าทางในลักษณะที่เหมาะสมสำหรับการฝึกฝนระบบดังกล่าว อย่างไรก็ตาม และแม้จะอยู่ในสถานะการวิจัยที่เป็นแนวหน้า พวกเขาพิจารณาว่าเป็นแนวทางที่มีแนวโน้มและยังไม่ได้สำรวจในด้านคำพูด ภาษาศาสตร์ และการรู้จำท่าทาง