ไร้ลิ้น! นักวิจัยด้าน AI แก้ปัญหากายวิภาคที่ขาดหายไปในการสร้างภาพเคลื่อนไหวบนใบหน้า

สิ่งที่พลาดไปในปี 2026: เป็นช่วงเวลาของปีที่คุณภาพและปริมาณงานวิจัยขึ้นๆ ลงๆ ไปพร้อมกับ การประชุมช่วงท้ายๆ ในเดือนพฤศจิกายนและธันวาคม เพื่อให้ผ่านพ้นช่วงขาดแคลนงานวิจัยที่เกิดขึ้นเป็นระยะ เราจะพิจารณาบทความที่น่าสนใจบางชิ้นซึ่งเกือบได้รับคัดเลือกในปี 2026 แต่ต้องพลาดไปเพราะมีผลงานอื่นที่โดดเด่นกว่าในช่วงเปิดรับผลงานที่มีการแข่งขันสูงกว่า

จนกระทั่งไม่นานมานี้ ผู้สร้างดีปเฟกทั้งมือสมัครเล่นและมืออาชีพต่างมีเรื่องสำคัญกว่าให้จัดการ มากกว่าจะกังวลว่ามนุษย์ที่สร้างขึ้นใหม่ดูเหมือนมีลิ้นหรือไม่ เพราะลิ้นเป็นอวัยวะบนใบหน้าที่คาดเดาได้ยากที่สุด มองไม่เห็นเลยในกรณีที่เจ้าตัวพูดอุบอิบ และมักปรากฏให้เห็นเพียงเป็นครั้งคราวในสถานการณ์ปกติส่วนใหญ่

ด้วยเหตุนี้ เมื่อจำเป็นต้องมีลิ้น ในการสร้างภาพขึ้นใหม่ด้วย AI ลิ้นกลับไม่มีอยู่ตรงนั้น ในยุคที่การสร้างภาพขึ้นใหม่ด้วยวิธีแพร่กระจายโดยมือสมัครเล่นมีความสมจริงอย่างน่าทึ่ง และเราก็พิจารณามนุษย์ที่สร้างด้วย AI อย่างถี่ถ้วนยิ่งขึ้นเรื่อยๆ บางทีอาจถึงเวลาแล้วที่จะจัดการกับปัญหานี้

แก้ปัญหาเรื่องลิ้น

ในเดือนกรกฎาคม ความร่วมมือทางวิชาการระหว่างออสเตรเลียกับจีนได้นำเสนอแนวทางเพื่อแก้ปัญหาการขาดการจำลองลิ้นในเวิร์กโฟลว์ AI กรอบการทำงานที่เสนอซึ่งมีชื่อว่า TongueReenact นำวิธีการแทบทุกแบบในชุดเครื่องมือดีปเฟกมาใช้กับปัญหานี้ ทั้งการสาดจุดแบบเกาส์เซียน มนุษย์แบบพาราเมตริก ฟิลด์รังสีประสาท (NeRF) และการสร้างวิดีโอที่อาศัยการแพร่กระจาย (ขออภัย GANs งานนี้ไม่มีที่ให้คุณ)

ภาพต้นแบบจากผู้ขับ (บุคคลจริง) ซึ่งถ่ายทอดลักษณะต่างๆ ไปยังภาพเรนเดอร์ของ TongueReenact ที่อยู่ด้านล่าง ที่มา

แม้ดูเหมือนว่าโค้ดที่โครงการให้คำมั่นว่าจะเผยแพร่ยังไม่ได้ถูกส่งมอบนับตั้งแต่ตีพิมพ์บทความ และยังไม่มีการเผยแพร่วิดีโอประกอบ แต่ผลงานชิ้นนี้ก็ยังถือเป็นหมุดหมายสำคัญ เพราะเป็นงานชิ้นแรกที่จัดการกับปัญหาลิ้นในการสร้างภาพขึ้นใหม่ด้วย AI นอกเหนือจากวงการแพทย์ อีกทั้งยังแก้ปัญหาการขาดแคลนข้อมูลที่มีการใส่คำกำกับ ซึ่งจำเป็นต่อการพัฒนาแนวทางแก้ไขใดๆ

นักวิจัยนำกรอบการทำงานและข้อมูลที่มีอยู่หลากหลายมาใช้อย่างสร้างสรรค์ เพื่อสร้างกรอบการทำงานสำหรับแบ่งส่วนลิ้นโดยอาศัย SegmentAnything และสร้างป้ายกำกับเทียมให้กับข้อมูลที่แบ่งส่วนใหม่

บทความระบุว่า:

‘[We]นำเสนอกรอบการทำงานแรกสำหรับถ่ายทอดการเคลื่อนไหวของลิ้นข้ามอัตลักษณ์ในการสร้างการแสดงสีหน้าใหม่ เมื่อได้รับเฟรมต้นทางและวิดีโอขับเคลื่อน วิธีการของเราจะถ่ายทอดทั้งการเคลื่อนไหวของใบหน้าและการขยับลิ้นไปยังอัตลักษณ์ต้นทาง

‘ข้อค้นพบสำคัญของงานเราคือ การสังเคราะห์ลิ้นไม่อาจถือเป็นปัญหาการเติมภาพที่ขาดหายไปโดยทั่วไปได้ ลิ้นต้องอิงตำแหน่งเชิงพื้นที่ตามรูปทรงเรขาคณิตของใบหน้าต้นทาง ซึ่งเปลี่ยนแปลงไปในทุกเฟรมของวิดีโอขับเคลื่อน

ระบบเริ่มจากถ่ายทอดการเคลื่อนไหวบนใบหน้าของบุคคลในวิดีโอขับเคลื่อนไปยังใบหน้าต้นทาง โดยใช้การสปแล็ตแบบเกาส์เซียน 3 มิติและแบบจำลองใบหน้า FLAME วิธีนี้ทำให้ได้ใบหน้าเคลื่อนไหวที่มีท่าทางและสีหน้าถูกต้อง แต่ยังไม่มีลิ้น

ขั้นตอนการทำงานของ TongueReenact ด้านบน: ระบุภาพลิ้น แบ่งส่วนภาพ และปรับแต่งด้วยมือ เพื่อฝึกแบบจำลองตรวจจับ ด้านล่าง: ถ่ายทอดการเคลื่อนไหวบนใบหน้าจากวิดีโอขับเคลื่อนไปยังใบหน้าต้นทาง ก่อนที่แบบจำลองการแพร่กระจายจะสร้างลิ้นที่ขาดหายไปในตำแหน่งที่เหมาะสม

จากนั้นใช้แบบจำลอง Stable Diffusion สร้างลิ้นที่ขาดหายไป โดยอาศัยลักษณะของลิ้นในวิดีโอขับเคลื่อนและรูปทรงเรขาคณิตของใบหน้าที่สร้างขึ้นใหม่เป็นแนวทาง

เมื่อกล่าวถึงความจำเป็นในการแก้ไขข้อบกพร่องนี้ในการสร้างใบหน้าขึ้นใหม่ ผู้เขียนตั้งข้อสังเกตว่า*:

‘ระหว่างการแสดงอารมณ์ เช่น หัวเราะ รังเกียจ หรือตกใจ [the tongue]อาจครอบงำพื้นที่ภายในปากที่มองเห็นได้ทั้งหมด แต่ระบบสร้างการแสดงสีหน้าใหม่และระบบอวตารที่มีอยู่เกือบทั้งหมดกลับจำลองภายในปากเป็นเพียงช่องว่างไร้พื้นผิว หรือปล่อยให้สิ่งนี้ไร้ข้อจำกัดโดยสิ้นเชิง

‘การละเลยนี้ไม่ใช่เรื่องบังเอิญ เนื่องจากลิ้นเป็นโครงสร้างที่ปรากฏให้เห็นเพียงชั่วคราวโดยเฉพาะ โดยถูกซ่อนอยู่ทั้งหมดเมื่อใบหน้าอยู่ในสภาวะปกติ ปรากฏให้เห็นเป็นครั้งคราวระหว่างพูด และกลายเป็นจุดเด่นขึ้นมาอย่างฉับพลันเมื่อแสดงอารมณ์อย่างสุดขีด คุณสมบัติเหล่านี้ทำให้ลิ้นไม่เหมาะอย่างยิ่งกับการสร้างแบบจำลองพาราเมตริกแบบคงที่ที่ใช้กับส่วนอื่นๆ ของใบหน้า

‘การจัดการกับความท้าทายที่ถูกมองข้ามนี้คือแรงจูงใจหลักของงานเรา

ในการทดสอบ วิธีการใหม่นี้ทำผลงานได้ดีกว่าระบบแอนิเมชันใบหน้าที่แข่งขันกัน 5 ระบบอย่างมาก โดยมีความแม่นยำในตัวชี้วัดสำคัญด้านตำแหน่งและขนาดของลิ้นสูงกว่าคู่แข่งที่ใกล้เคียงที่สุดมากกว่า 100% อย่างไรก็ตาม ต้องยอมรับว่าการออกแบบการทดสอบลักษณะนี้ทำได้ยากเมื่อเป็นการบุกเบิกแนวทางใหม่ และกรอบการทำงานก่อนหน้านี้แทบไม่ได้รับมือกับโจทย์ใหม่นี้เลย หรือไม่ได้รับมือเลย

มาดูแนวทางใหม่นี้ให้ละเอียดยิ่งขึ้น

วิธีการ

เพื่อพัฒนาระบบที่สามารถระบุลิ้นในวิดีโอใบหน้าทั่วไปได้ จึงใช้ชุดข้อมูล NERSemble ซึ่งประกอบด้วยวิดีโอศีรษะมนุษย์ที่บันทึกจากหลายมุม ควบคู่กับเฟรมสังเคราะห์จากชุดข้อมูล VFHQ ซึ่งมีวิดีโอใบหน้าคุณภาพสูงมากกว่า 16,000 รายการ:

กดเพื่อเล่นตัวอย่างการสร้างภาพขึ้นใหม่จาก Radiance Field ที่มีลิ้นให้เห็นอย่างน่าสนใจจากเว็บไซต์โครงการ Nersemble อย่างไรก็ตาม ลิ้นที่เห็นในภาพนี้ถือเป็นเพียงรูปทรงเรขาคณิตทั่วไป และไม่มีโดเมนเฉพาะของตนเอง ที่มา 

ใช้โมเดลแยกส่วนใบหน้า MaskGAN เพื่อระบุตำแหน่งปากในภาพแต่ละภาพ จากนั้นใช้ตัวตรวจจับทางการแพทย์ TongueSAM ระบุบริเวณที่น่าจะเป็นลิ้น ก่อนส่งข้อมูลต่อไปยัง SegmentAnything เพื่อสร้างเส้นขอบเบื้องต้นของลิ้นที่มองเห็นได้ (กล่าวคือ ป้ายกำกับเทียม)

ตัวอย่างจากชุดข้อมูล TongueSAM ซึ่งจัดทำขึ้นเพื่อการวิเคราะห์ทางการแพทย์ ไม่ใช่เพื่อประเมินการแสดงสีหน้า แหล่งที่มา

แบ่งมาสก์ที่ได้ออกเป็น 3 กลุ่มตามสัดส่วนของลิ้นที่มองเห็น ทิ้งตัวอย่างที่ไม่ถูกต้อง และแก้ไขมาสก์ที่มีแนวโน้มดีด้วยตนเอง เพื่อแยกลิ้นออกจากริมฝีปาก ฟัน และเนื้อเยื่อส่วนอื่นในช่องปากที่อยู่โดยรอบ จากนั้นนำคำกำกับข้อมูลที่ปรับปรุงแล้วไปฝึกเครือข่ายแบ่งส่วนภาพ BiSeNet

จากนั้นนำโมเดลไปใช้กับตัวอย่างเพิ่มเติมจากบุคคลในชุดข้อมูล NERSemble และเฟรมสังเคราะห์จาก VFHQ โดยให้มนุษย์ตรวจสอบและแก้ไขผลการคาดการณ์ก่อนนำไปฝึกต่อ กระบวนการนี้ทำซ้ำจนกว่าประสิทธิภาพกับบุคคลที่ไม่เคยพบมาก่อนจะคงที่:

ขั้นตอนการประมวลผลข้อมูลที่มีอยู่ให้เป็นข้อมูล «โดเมนลิ้น»

สำหรับการสังเคราะห์ลิ้น ได้ขยายบริเวณช่องปากที่ BiSeNet ระบุไว้เล็กน้อยก่อนส่งให้โมเดลแพร่กระจายภาพ เพื่อเปิดพื้นที่ให้ลิ้นที่สร้างขึ้นยื่นเลยขอบเขตการแบ่งส่วนเริ่มต้นได้เมื่อรูปปากเปลี่ยนไป

สร้างภาพในปริภูมิแฝงของ Stable Diffusion Image Variations โดยใช้แนวทางกำกับแยกกัน ซึ่งอ้างอิงจากเรขาคณิตใบหน้าที่สร้างขึ้นใหม่และลิ้นที่มองเห็นในเฟรมต้นแบบ ทั้งยังสร้างใหม่เฉพาะบริเวณปากและลิ้นที่ระบุไว้เท่านั้น

ขั้นตอนการสร้างภาพ ส่วนอ้างอิง DINO V2 ที่มุมซ้ายบนแสดงการใช้ GAGAvatar (ดูด้านล่าง) ซึ่งใช้คุณลักษณะด้านรูปลักษณ์ของ DINO V2 ร่วมกับ FLAME

ข้อมูลและการทดสอบ

ฝึก BiSeNet ด้วยคลาสผลลัพธ์ 2 คลาสที่ได้จากขั้นตอนประมวลผลข้อมูลข้างต้น ได้แก่ พื้นหลัง และ ลิ้น โดยฝึกทั้งหมด 50,000 รอบ ด้วยอัตราการเรียนรู้ 10^-3 ใช้ภาพขนาด 512x512px และขนาดชุดข้อมูลต่อรอบ 4 ภาพ บน GPU NVIDIA A40 เครื่องเดียวที่มี VRAM 48GB ข้อมูลฝึกประกอบด้วยเฟรมจาก NERSemble และ VFHQ ที่กล่าวถึงข้างต้น

สำหรับส่วนการจำลองการแสดง ใช้โครงข่ายหลักแบบ Gaussian Splatting ของ GAGAvatar ที่ผ่านการฝึกไว้ล่วงหน้า นอกจากนี้ ยังใช้จุดตรวจสอบ Stable Diffusion Image Variations โดยมีตัวเข้ารหัส VAE และ CLIP ถูกตรึงไว้ จากนั้นจึงฝึกตัวเข้ารหัส Guidance และ UNET สำหรับลดสัญญาณรบกวนด้วยข้อมูล NERSemble เป็นจำนวน 85,000 รอบ ที่ขนาดแบตช์ 8 และใช้อินพุตขนาด 512×512 สำหรับการอนุมาน ใช้ขั้นตอน DDIM 20 ขั้น (สำหรับแบบจำลองการแพร่กระจายจำนวนมากในปัจจุบัน จำนวนนี้ถือว่าสูง โดยมีจุดประสงค์เพื่อเน้นรายละเอียด แต่ก็มาพร้อมข้อแลกเปลี่ยนบางประการที่หลีกเลี่ยงไม่ได้)

กรอบการทำงานสำหรับอวตารที่นำมาเปรียบเทียบ ได้แก่ GPAvatar, LivePortrait ซึ่งได้รับการยกย่อง, X-NeMo และ X-Portrait โดยประเมินแต่ละระบบกับคู่ภาพต้นทางและภาพขับเคลื่อนจาก VFHQ จำนวน 9,000 คู่ ซึ่งเป็นภาพของบุคคลคนละคน

ตัวชี้วัดที่ใช้ ได้แก่ ความคล้ายคลึงของแพตช์ภาพเชิงการรับรู้ที่เรียนรู้ได้ (LPIPS), การปรากฏของลิ้น (สัดส่วนของเฟรมที่ตรวจพบลิ้น), ค่า IoU ของลิ้น (ระดับการซ้อนทับระหว่างบริเวณลิ้นที่สร้างขึ้นกับบริเวณลิ้นในภาพขับเคลื่อน) และ ความคล้ายคลึงของพื้นที่ลิ้น (ขนาดของลิ้นที่สร้างขึ้นตรงกับขนาดของลิ้นในภาพขับเคลื่อนมากน้อยเพียงใด)

ผลการทดสอบเปรียบเทียบ TongueReenact กับกรอบการสร้างภาพใบหน้าให้เคลื่อนไหวตามต้นแบบอีก 5 ระบบ โดย TongueReenact ทำผลงานได้ดีที่สุดในตัวชี้วัดเฉพาะด้านลิ้นทั้ง 4 รายการ ลูกศรแสดงว่าคะแนนที่ต่ำกว่าหรือสูงกว่านั้นเป็นค่าที่ต้องการ

ผู้เขียนกล่าวถึงการเปรียบเทียบเบื้องต้นว่า

“วิธีการของเราทำผลงานได้ดีที่สุดในตัวชี้วัดการถ่ายโอนลิ้นทั้ง 4 รายการ โดยมีค่า Tongue IoU อยู่ที่ 0.3582 และค่า Tongue Area Similarity อยู่ที่ 0.4338 ซึ่งสูงกว่าคู่แข่งที่ใกล้เคียงที่สุดมากกว่าสองเท่า ผลดังกล่าวยืนยันว่าการถ่ายโอนการเคลื่อนไหวของลิ้นมีความแม่นยำมากขึ้นอย่างชัดเจน”

“ค่า Tongue Presence ที่ 0.7891 ยังแสดงให้เห็นเพิ่มเติมว่า วิธีการของเราสังเคราะห์การขยับลิ้นที่มองเห็นได้อย่างน่าเชื่อถือ ขณะที่วิธีการที่มีอยู่มักไม่สามารถสร้างการขยับดังกล่าวได้เลย”

ตัวอย่างบางส่วนจากตัวอย่างเชิงคุณภาพจำนวนมากที่แสดงไว้ในบทความต้นฉบับ ในที่นี้ เราเห็นการเปรียบเทียบระหว่างแนวทางใหม่กับวิธีการเดิมอีก 5 วิธี ซึ่งไม่มีวิธีใดสร้างลิ้นได้ โปรดดูตัวอย่างเพิ่มเติมและภาพที่มีความละเอียดสูงกว่าในบทความต้นฉบับ

แม้เราจะประเมินด้วยตนเองไม่ได้ เนื่องจากขณะนี้ยังไม่มีวิดีโอประกอบเพิ่มเติม ผู้เขียนยังได้ทดสอบความสอดคล้องตามเวลาด้วย T-LPIPS:

ผลการทดสอบความสอดคล้องตามเวลา

ผู้เขียนให้ความเห็นว่า

“โมเดลฉบับสมบูรณ์ของเรามีอาการสั่นไหวของการไหลต่ำกว่ามาก (0.218543 เทียบกับ 0.622901) และมีขนาดการไหลต่ำกว่ามากเช่นกัน (0.513165 เทียบกับ 1.254073) ซึ่งยืนยันว่าการลดสัญญาณรบกวนโดยยึดเรขาคณิตเป็นหลักช่วยให้การเคลื่อนไหวของลิ้นราบรื่นและเสถียร”

“ค่า T-LPIPS ที่ต่ำกว่ายังยืนยันเพิ่มเติมว่าการสังเคราะห์ลิ้นไม่ทำให้ความต่อเนื่องตามเวลาเสียไป”

บทสรุป

ปรากฏการณ์ หุบเขาอาถรรพ์ กำลังค่อย ๆ ถูกก้าวข้ามด้วยโมเดลวิดีโอที่ใช้การแพร่กระจายรุ่นใหม่บางส่วน อย่างไรก็ตาม กำลังเริ่มปรากฏอุปสรรคทางจิตวิทยารูปแบบใหม่ กล่าวคือ ผู้คนมีทัศนคติเชิงลบต่อเนื้อหาที่สร้างด้วย AI ด้วยเหตุผลอื่นที่ไม่เกี่ยวกับคุณภาพของสิ่งที่พวกเขากำลังรับชม

เรื่องนี้อาจทำให้การประเมินเชิงคุณภาพซับซ้อนขึ้น แม้ผมคิดว่าตัวชี้วัดจากการทดสอบแบบ “ปกปิด” ซึ่งผู้ใช้ต้องการให้คะแนนผลงานจาก AI ต่ำลง แต่ก็กลัวว่าจะให้คะแนนผลงานจริงต่ำลงด้วย อาจช่วยพัฒนามาตรวัด “เงา” สำหรับประเมินความสมจริงของ AI ได้

ดังนั้น แม้จะมีงานวิจัยที่มุ่งสร้างลักษณะอัตลักษณ์รองด้วย AI อย่าง เส้นผม การจำลองอารมณ์ การมอง และขณะนี้รวมถึงการเคลื่อนไหวของลิ้น แต่ในตอนนี้ประเด็นเหล่านี้อาจยังไม่ใช่เรื่องสำคัญ

* การแปลงการอ้างอิงในเนื้อหาของผู้เขียนให้เป็นไฮเปอร์ลิงก์โดยผม

เผยแพร่ครั้งแรกเมื่อวันพุธที่ 11 พฤศจิกายน 2026