DIRFA เปลี่ยนคลิปเสียงให้เป็นใบหน้าดิจิทัลที่มีชีวิตชีวา

ในความก้าวหน้าที่น่าประทับใจของปัญญาประดิษฐ์และการสื่อสารมัลติมีเดีย ทีมนักวิจัยจากมหาวิทยาลัยเทคโนโลยี Nanyang ประเทศสิงคโปร์ (NTU Singapore) ได้เปิดตัวโปรแกรมคอมพิวเตอร์นวัตกรรมชื่อ DIRFA (Diverse yet Realistic Facial Animations)

ความก้าวหน้านี้ของ AI แสดงให้เห็นถึงความสามารถที่น่าประทับใจ: การเปลี่ยนคลิปเสียงและรูปถ่ายใบหน้าให้เป็นวิดีโอ 3 มิติที่มีชีวิตชีวา วิดีโอดังกล่าวไม่เพียงแสดงการซิงค์ปากที่แม่นยำกับเสียงเท่านั้น แต่ยังแสดงถึงการแสดงออกทางใบหน้าและขยับศีรษะที่มีชีวิตชีวาและเป็นธรรมชาติ ซึ่งผลักดันขอบเขตของการสร้างสื่อดิจิทัล

การพัฒนา DIRFA

ฟังก์ชันหลักของ DIRFA อยู่ที่อัลกอริทึมที่ซับซ้อนซึ่งผสมผสานเสียงเข้ากับภาพถ่ายเพื่อสร้างวิดีโอ 3 มิติ โดยการวิเคราะห์รูปแบบการพูดและน้ำเสียงในเสียง DIRFA สามารถคาดการณ์และจำลองการแสดงออกทางใบหน้าและขยับศีรษะที่สอดคล้องกัน ซึ่งหมายความว่าวิดีโอที่ได้จะแสดงถึงผู้พูดด้วยความสมจริงสูง โดยการเคลื่อนไหวของใบหน้าจะถูกซิงค์กับเสียงพูดได้อย่างสมบูรณ์แบบ

การพัฒนา DIRFA ถือเป็นขั้นตอนสำคัญที่เหนือกว่าเทคโนโลยีก่อนหน้านี้ในด้านนี้ ซึ่งมักจะเผชิญกับความซับซ้อนของการแสดงออกทางใบหน้าและท่าทางที่หลากหลาย

วิธีการแบบดั้งเดิมมักจะดิ้นรนในการจำลองความละเอียดอ่อนของอารมณ์มนุษย์หรือมีข้อจำกัดในการจัดการกับท่าทางศีรษะที่แตกต่างกัน DIRFA อย่างไรก็ตาม สามารถจับภาพอารมณ์ที่หลากหลายและปรับตัวเข้ากับท่าทางศีรษะที่แตกต่างกันได้ ซึ่งนำไปสู่การสร้างวิดีโอที่มีความสมจริงและหลากหลายมากขึ้น

ความก้าวหน้านี้ไม่เพียงแต่เป็นขั้นตอนสำคัญในเทคโนโลยี AI เท่านั้น แต่ยังเปิดโอกาสใหม่ๆ ในการโต้ตอบและใช้สื่อดิจิทัล โดยให้ภาพอนาคตที่การสื่อสารดิจิทัลจะมีลักษณะที่ส่วนตัวและแสดงออกมากขึ้น

การฝึกอบรมและเทคโนโลยีเบื้องหลัง DIRFA

ความสามารถของ DIRFA ในการจำลองการแสดงออกทางใบหน้าและขยับศีรษะที่มีชีวิตชีวาเป็นผลมาจากการฝึกอบรมอย่างกว้างขวาง ทีมงานจาก NTU Singapore ได้ฝึกอบรมโปรแกรมด้วยชุดข้อมูลขนาดใหญ่ มากกว่า 1 ล้านคลิปเสียงและวิดีโอจาก VoxCeleb2 Dataset

ชุดข้อมูลนี้ครอบคลุมการแสดงออกทางใบหน้า ท่าทางศีรษะ และรูปแบบการพูดที่หลากหลายจากมากกว่า 6,000 คน โดยการให้ DIRFA ได้รับการฝึกอบรมจากชุดข้อมูลที่หลากหลายและกว้างขวางนี้ โปรแกรมได้เรียนรู้ที่จะระบุและจำลองความละเอียดอ่อนที่ทำให้เกิดการแสดงออกและพูดของมนุษย์

ศาสตราจารย์ Lu Shijian ผู้เขียนหลักของการศึกษา และ Dr. Wu Rongliang ผู้เขียนคนแรก ได้แบ่งปันข้อมูลเชิงลึกที่มีคุณค่าเกี่ยวกับความสำคัญของงานของพวกเขา

“ผลกระทบของการศึกษานี้อาจมีผลกระทบอย่างลึกซึ้งและกว้างขวาง เนื่องจากเป็นการปฏิวัติในด้านการสื่อสารมัลติมีเดียโดยการทำให้สามารถสร้างวิดีโอที่มีความสมจริงสูงของบุคคลที่พูด โดยใช้เทคนิค เช่น AI และการเรียนรู้ของเครื่อง” ศาสตราจารย์ Lu กล่าว “โปรแกรมของเรายังสร้างขึ้นจากการศึกษาก่อนหน้านี้และเป็นตัวแทนของความก้าวหน้าในเทคโนโลยี เนื่องจากวิดีโอที่สร้างด้วยโปรแกรมของเรามีการเคลื่อนไหวของปากที่แม่นยำ การแสดงออกทางใบหน้าที่มีชีวิตชีวา และท่าทางศีรษะที่เป็นธรรมชาติ โดยใช้เพียงการบันทึกเสียงและภาพถ่ายของพวกเขา”

Dr. Wu Rongliang เพิ่มเติมว่า “การพูดมีการเปลี่ยนแปลงที่หลากหลาย บุคคลแต่ละคนออกเสียงคำเดียวกันแตกต่างกันในบริบทที่หลากหลาย รวมถึงการเปลี่ยนแปลงในความยาว การเปลี่ยนแปลงในระดับเสียง สูง-ต่ำ และอื่นๆ นอกจากนี้ นอกเหนือจากเนื้อหาที่เกี่ยวข้องกับภาษา การพูดยังให้ข้อมูลที่มีคุณค่าเกี่ยวกับสภาพทางอารมณ์ของผู้พูดและปัจจัยที่เกี่ยวข้องกับอัตลักษณ์ เช่น เพศ อายุ เชื้อชาติ และลักษณะบุคลิกภาพของพวกเขา วิธีการของเรานี้เป็นความพยายามที่เป็นเลิศในการปรับปรุงประสิทธิภาพจากมุมมองของการเรียนรู้การแสดงออกเสียงใน AI และการเรียนรู้ของเครื่อง”

การเปรียบเทียบ DIRFA กับวิธีการสร้างใบหน้าที่ขับเคลื่อนด้วยเสียงรุ่นล่าสุด (NTU Singapore)

การประยุกต์ใช้ที่เป็นไปได้

หนึ่งในการประยุกต์ใช้ที่มีแนวโน้มมากที่สุดของ DIRFA คือในอุตสาหกรรมสุขภาพ โดยเฉพาะอย่างยิ่งในด้านการพัฒนาอาสาสมัครเสมือนและแชทบอทที่ซับซ้อน ด้วยความสามารถในการสร้างการแสดงออกทางใบหน้าที่มีชีวิตชีวาและตอบสนอง DIRFA สามารถเพิ่มประสบการณ์ของผู้ใช้ในแพลตฟอร์มดิจิทัลด้านสุขภาพได้อย่างมาก ทำให้การโต้ตอบมีความส่วนตัวและน่าดึงดูดมากขึ้น เทคโนโลยีนี้อาจมีบทบาทสำคัญในการให้ความสะดวกสบายทางอารมณ์และการดูแลส่วนบุคคลผ่านสื่อเสมือน ซึ่งเป็นด้านที่ขาดไปบ่อยๆ ในโซลูชันดิจิทัลด้านสุขภาพในปัจจุบัน

DIRFA ยังมีศักยภาพที่จะช่วยเหลือบุคคลที่มีความพิการในการพูดหรือการแสดงออกทางใบหน้า สำหรับผู้ที่เผชิญกับความท้าทายในการสื่อสารทางวาจาหรือการแสดงออกทางใบหน้า DIRFA อาจเป็นเครื่องมือที่มีพลังในการช่วยให้พวกเขาแสดงความคิดและอารมณ์ผ่านอาวาตาร์หรือการแสดงออกดิจิทัลได้ มันสามารถเพิ่มความสามารถในการสื่อสารได้อย่างมีประสิทธิภาพ โดยช่วยลดช่องว่างระหว่างความตั้งใจและน้ำเสียงของพวกเขา โดยการให้ทางเลือกดิจิทัลในการแสดงออก DIRFA อาจมีบทบาทสำคัญในการเสริมศักยภาพให้กับบุคคลเหล่านี้ และให้โอกาสใหม่ๆ ในการโต้ตอบและแสดงออกในโลกดิจิทัล

ความท้าทายและทิศทางในอนาคต

การสร้างการแสดงออกทางใบหน้าที่มีชีวิตชีวาเพียงจากเสียงเป็นความท้าทายที่ซับซ้อนในด้าน AI และการสื่อสารมัลติมีเดีย ความสำเร็จในปัจจุบันของ DIRFA ในด้านนี้เป็นที่น่าชื่นชม แต่ความซับซ้อนของการแสดงออกของมนุษย์ทำให้ยังมี空间สำหรับการปรับปรุงเสมอ การแสดงออกของแต่ละบุคคลมีลักษณะเฉพาะ และการแสดงออกทางใบหน้าสามารถเปลี่ยนแปลงได้อย่างมากแม้จะใช้เสียงเดียวกัน การจับภาพความหลากหลายและความละเอียดอ่อนนี้ยังคงเป็นความท้าทายหลักสำหรับทีม DIRFA

Dr. Wu ยอมรับถึงข้อจำกัดบางประการในเวอร์ชันปัจจุบันของ DIRFA โดยเฉพาะอย่างยิ่งเกี่ยวกับอินเทอร์เฟซและระดับการควบคุมผลลัพธ์ ตัวอย่างเช่น การไม่สามารถปรับเปลี่ยนน้ำเสียงหรือการแสดงออกเฉพาะเจาะจง เช่น การเปลี่ยนจากหน้าบึ้งไปเป็นหน้ายิ้ม เป็นข้อจำกัดที่พวกเขาตั้งเป้าที่จะเอาชนะ การแก้ไขข้อจำกัดเหล่านี้มีความสำคัญต่อการขยายความสามารถและความเข้าถึงของผู้ใช้ของ DIRFA

เมื่อมองไปในอนาคต ทีม NTU วางแผนเพื่อปรับปรุง DIRFA ด้วยชุดข้อมูลที่หลากหลายมากขึ้น โดยรวมถึงการแสดงออกทางใบหน้าและคลิปเสียงที่กว้างขวางมากขึ้น การขยายตัวนี้คาดว่าจะช่วยให้การแสดงออกทางใบหน้าที่สร้างโดย DIRFA มีความแม่นยำและสมจริงมากขึ้น ทำให้มีความสามารถและความยืดหยุ่นมากขึ้นในการใช้งานและบริบทต่างๆ

ผลกระทบและศักยภาพของ DIRFA

DIRFA ด้วยแนวทางที่เป็นนวัตกรรมในการสังเคราะห์การแสดงออกทางใบหน้าที่มีชีวิตชีวาจากเสียง กำลังจะปฏิวัติในด้านการสื่อสารมัลติมีเดีย เทคโนโลยีนี้ผลักดันขอบเขตของการโต้ตอบดิจิทัล โดยทำให้เส้นแบ่งระหว่างโลกดิจิทัลและโลกแห่งความเป็นจริงพร่ามัว โดยการทำให้สามารถสร้างการแสดงออกดิจิทัลที่แม่นยำและสมจริงได้ DIRFA เพิ่มคุณภาพและความถูกต้องของการสื่อสารดิจิทัล

อนาคตของเทคโนโลยีเช่น DIRFA ในการเพิ่มประสิทธิภาพการสื่อสารดิจิทัลและแสดงออกมีความกว้างขวางและน่าตื่นเต้น เมื่อเทคโนโลยีเหล่านี้ต่อเนื่องในการพัฒนา พวกมันสัญญาว่าจะนำเสนอวิธีการโต้ตอบที่มีความสมจริงมากขึ้น ส่วนตัว และแสดงออกมากขึ้นในพื้นที่ดิจิทัล

คุณสามารถค้นหาผลการศึกษาที่เผยแพร่ ที่นี่