Không có lưỡi! Các nhà nghiên cứu AI giải quyết vấn đề thiếu hụt giải phẫu trong hoạt ảnh khuôn mặt

Bỏ lỡ trong năm 2026: Đây là thời điểm trong năm mà chất lượng và số lượng nghiên cứu tăng giảm đồng thời với một vài hội nghị cuối cùng trong tháng 11 và tháng 12. Để vượt qua những giai đoạn khan hiếm thất thường này, chúng tôi điểm qua một số bài báo thú vị hơn suýt được chọn trong năm 2026 nhưng bị các công trình khác vượt qua vào những đợt gửi bài cạnh tranh hơn.

Cho đến gần đây, những người làm deepfake, dù nghiệp dư hay chuyên nghiệp, còn phải quan tâm đến những vấn đề lớn hơn việc liệu con người được tái dựng có vẻ như có lưỡi hay không. Xét cho cùng, lưỡi là đặc điểm trên khuôn mặt biến đổi thất thường nhất: hoàn toàn không thấy ở những người nói lí nhí, và chỉ thỉnh thoảng mới xuất hiện trong hầu hết các tình huống thông thường.

Vì vậy, khi cần đến lưỡi, nó lại không xuất hiện trong các bản tái dựng bằng AI. Trong bối cảnh hoạt động tái dựng bằng khuếch tán của giới nghiệp dư đã đạt đến mức chân thực đáng kinh ngạc, còn khả năng đánh giá con người do AI tạo ra của chúng ta ngày càng tinh tường, có lẽ đã đến lúc giải quyết vấn đề này.

Gỡ rối chuyện chiếc lưỡi

Vào tháng 7, một hợp tác học thuật giữa Australia và Trung Quốc đã đưa ra một quy trình nhằm khắc phục tình trạng thiếu mô phỏng lưỡi trong các quy trình AI. Có tên TongueReenact, khuôn khổ được đề xuất này vận dụng gần như mọi phương pháp trong bộ công cụ deepfake để giải quyết vấn đề, bao gồm kỹ thuật rải Gaussian, con người tham số hóa, trường bức xạ thần kinh (NeRF) và tạo video dựa trên khuếch tán (xin lỗi mạng sinh đối kháng (GANs), lần này các bạn không được chọn).

Phía trên là cảnh quay người điều khiển ngoài đời thực, với các đặc điểm được chuyển sang bản dựng TongueReenact bên dưới. Nguồn

Dù mã nguồn được hứa hẹn của dự án dường như vẫn chưa được cung cấp kể từ khi bài báo được công bố, và video bổ sung vẫn chưa được phát hành, đây vẫn là một công trình mang tính dấu mốc, bởi đây là công trình đầu tiên giải quyết vấn đề lưỡi trong tái dựng bằng AI bên ngoài lĩnh vực y tế, đồng thời xử lý tình trạng thiếu dữ liệu được gán nhãn nghiêm trọng—yếu tố thiết yếu cho mọi giải pháp được đề xuất.

Các nhà nghiên cứu đã tận dụng sáng tạo nhiều khuôn khổ và dữ liệu hiện có để xây dựng một khuôn khổ phân đoạn lưỡi dựa trên SegmentAnything, đồng thời tạo nhãn giả cho dữ liệu mới được phân đoạn.

Bài báo viết:

‘Chúng tôi [We] trình bày khuôn khổ đầu tiên để chuyển giao động thái của lưỡi giữa các danh tính khác nhau trong tái hiện khuôn mặt. Với một khung hình nguồn và một video điều khiển, phương pháp của chúng tôi chuyển cả chuyển động khuôn mặt lẫn cách cử động lưỡi sang danh tính trong khung hình nguồn.

‘Nhận định cốt lõi trong công trình của chúng tôi là không thể xem việc tổng hợp lưỡi như một bài toán tô khuyết chung chung. Lưỡi phải được định vị trong không gian theo hình học khuôn mặt nguồn, vốn thay đổi theo từng khung hình điều khiển.’

Trước tiên, hệ thống chuyển các chuyển động khuôn mặt của người điều khiển sang khuôn mặt nguồn bằng kỹ thuật rải Gaussian 3D và mô hình khuôn mặt FLAME. Kết quả là một khuôn mặt hoạt họa có tư thế và biểu cảm chính xác nhưng vẫn thiếu lưỡi.

Quy trình TongueReenact. Phía trên: Hình ảnh lưỡi được xác định, phân đoạn và tinh chỉnh thủ công để huấn luyện mô hình phát hiện. Phía dưới: Chuyển động khuôn mặt được chuyển từ video điều khiển sang khuôn mặt nguồn, sau đó mô hình khuếch tán tạo ra chiếc lưỡi còn thiếu ở vị trí thích hợp.

Sau đó, mô hình Stable Diffusion được dùng để tạo chiếc lưỡi còn thiếu, dựa trên hình dáng của lưỡi trong video điều khiển và hình học của khuôn mặt được tái dựng.

Về lý do cần khắc phục thiếu sót này trong tái dựng khuôn mặt, các tác giả nhận xét*:

‘Trong những biểu cảm mạnh như cười, ghê tởm hoặc ngạc nhiên, [the tongue] có thể chiếm lĩnh hoàn toàn vùng miệng nhìn thấy được. Tuy nhiên, gần như tất cả các hệ thống tái hiện và hình đại diện hiện nay đều mô hình hóa bên trong khoang miệng như một khoảng trống không có kết cấu, hoặc để nó hoàn toàn không bị giới hạn.

‘Sự bỏ qua này không phải là ngẫu nhiên, bởi lưỡi là một cấu trúc đặc biệt thoáng qua: bị che khuất hoàn toàn khi nghỉ, chỉ lộ ra từng lúc khi nói và đột ngột chiếm vị trí chủ đạo trong những biểu cảm mạnh. Vì thế, lưỡi về bản chất không phù hợp với phương pháp mô hình hóa tham số tĩnh áp dụng cho phần còn lại của khuôn mặt.

‘Giải quyết thách thức bị bỏ qua này là động lực trung tâm cho công trình của chúng tôi.’

Trong các thử nghiệm, phương pháp mới vượt trội đáng kể so với năm hệ thống hoạt họa khuôn mặt cạnh tranh, đạt lợi thế về độ chính xác hơn 100% so với đối thủ gần nhất ở các chỉ số quan trọng về vị trí và kích thước lưỡi — dù phải thừa nhận rằng những thử nghiệm kiểu này rất khó xây dựng khi đây là lĩnh vực hoàn toàn mới, còn các khuôn khổ trước đó chỉ giải quyết qua loa, hoặc hoàn toàn không giải quyết, thách thức mới này.

Hãy cùng tìm hiểu kỹ hơn về phương pháp mới này.

Phương pháp

Để phát triển một hệ thống có khả năng nhận diện lưỡi trong những cảnh quay khuôn mặt thông thường, nhóm nghiên cứu sử dụng bộ dữ liệu NERSemble gồm các bản ghi hình đầu người từ nhiều góc nhìn, cùng với các khung hình được tạo tổng hợp từ bộ dữ liệu VFHQ, vốn có hơn 16.000 video khuôn mặt chất lượng cao:

Nhấn để phát Một ví dụ thú vị về tái tạo trường bức xạ có liên quan đến lưỡi, lấy từ trang dự án Nersemble. Tuy nhiên, chiếc lưỡi ở đây được xem như hình học thông thường, không thuộc một miền riêng biệt nào. Nguồn 

Mô hình phân tích khuôn mặt MaskGAN được dùng để xác định miệng trong từng ảnh. Sau đó, bộ phát hiện y khoa TongueSAM được dùng để nhận diện vùng có khả năng chứa lưỡi, rồi vùng này được đưa vào SegmentAnything để tạo đường viền ban đầu (tức nhãn giả) cho phần lưỡi nhìn thấy được.

Các mẫu từ bộ dữ liệu TongueSAM, được thiết kế để sử dụng trong phân tích y khoa chứ không phải đánh giá biểu cảm khuôn mặt. Nguồn

Các mặt nạ thu được được chia thành ba nhóm, tùy theo mức độ lưỡi lộ rõ. Những ví dụ không chính xác bị loại bỏ, còn các mặt nạ có triển vọng được chỉnh sửa thủ công để phân biệt lưỡi với môi, răng và các mô khác xung quanh trong miệng. Các chú giải đã được tinh chỉnh này được dùng để huấn luyện mạng phân đoạn ảnh BiSeNet.

Sau đó, mô hình được áp dụng cho các đối tượng NERSemble bổ sung và những khung hình VFHQ tổng hợp; con người kiểm tra và chỉnh sửa các dự đoán trước khi tiếp tục huấn luyện. Quy trình này được lặp lại cho đến khi hiệu suất trên các đối tượng chưa từng xuất hiện ổn định:

Quy trình xử lý dữ liệu hiện có để tạo dữ liệu thuộc “miền lưỡi”.

Để tổng hợp lưỡi, vùng miệng do BiSeNet xác định được mở rộng nhẹ trước khi đưa vào mô hình khuếch tán, tạo khoảng trống để chiếc lưỡi được tạo ra có thể vượt ra ngoài vùng phân đoạn ban đầu khi miệng thay đổi hình dạng.

Quá trình tạo ảnh được thực hiện trong không gian tiềm ẩn của Stable Diffusion Image Variations, với các tín hiệu hướng dẫn riêng biệt lấy từ hình học khuôn mặt được tái tạo và chiếc lưỡi nhìn thấy trong khung hình điều khiển; chỉ vùng miệng/lưỡi được xác định mới được tạo lại.

Quy trình tạo sinh. Phần tham chiếu DINO V2 ở góc phần tư phía trên bên trái thể hiện việc sử dụng GAGAvatar (xem bên dưới), kết hợp các đặc trưng diện mạo DINO V2 với FLAME.

Dữ liệu và thử nghiệm

BiSeNet được huấn luyện với hai lớp đầu ra có được từ các bước xử lý dữ liệu nói trên: nền và lưỡi. Quá trình huấn luyện gồm 50.000 vòng lặp, với tốc độ học 10^-3, sử dụng ảnh 512x512px, kích thước lô 4, trên một GPU NVIDIA A40 duy nhất có 48GB VRAM. Dữ liệu huấn luyện gồm các khung hình NERSemble và VFHQ đã nêu.

Đối với phần tái hiện biểu cảm, nhóm nghiên cứu sử dụng backbone Gaussian Splatting GAGAvatar đã được huấn luyện trước GAGAvatar. Họ cũng sử dụng checkpoint Stable Diffusion Image Variations, trong đó bộ mã hóa VAE và CLIP được đóng băng. Sau đó, các bộ mã hóa hướng dẫn và UNET khử nhiễu được huấn luyện trên dữ liệu NERSemble trong 85.000 vòng lặp, với kích thước lô 8 và đầu vào 512×512. Khi suy luận, mô hình thực hiện 20 bước DDIM (đối với nhiều mô hình khuếch tán hiện nay, đây được xem là số bước khá cao, nhằm ưu tiên chi tiết, đi kèm một số đánh đổi không thể tránh khỏi).

Các khuôn khổ avatar cạnh tranh được thử nghiệm gồm GPAvatar; LivePortrait nổi tiếng; X-NeMo; và X-Portrait. Mỗi khuôn khổ được đánh giá trên 9.000 cặp nguồn/điều khiển VFHQ có danh tính khác nhau.

Các chỉ số được sử dụng gồm Độ tương đồng tri giác học được giữa các mảnh ảnh (LPIPS); Mức độ hiện diện của lưỡi (tỷ lệ khung hình phát hiện được lưỡi); IoU của lưỡi (mức độ chồng lấp giữa vùng lưỡi được tạo ra và vùng lưỡi trong khung hình điều khiển); và Độ tương đồng về diện tích lưỡi (mức độ tương đồng giữa kích thước lưỡi được tạo ra và kích thước lưỡi trong khung hình điều khiển).

Kết quả thử nghiệm so sánh TongueReenact với năm khung phương pháp tái hiện khuôn mặt đối thủ. TongueReenact đạt kết quả tốt nhất ở cả bốn chỉ số chuyên biệt về lưỡi; mũi tên cho biết điểm số thấp hơn hay cao hơn là tốt hơn.

Về phép so sánh ban đầu, các tác giả cho biết:

‘Phương pháp của chúng tôi đạt hiệu suất tốt nhất ở cả bốn chỉ số chuyển động lưỡi, với IoU của lưỡi là 0.3582 và Độ tương đồng diện tích lưỡi là 0.4338, cao hơn gấp đôi đối thủ gần nhất, qua đó xác nhận khả năng chuyển giao động thái lưỡi chính xác hơn đáng kể.

‘Chỉ số Hiện diện của lưỡi đạt 0.7891 càng cho thấy phương pháp của chúng tôi tổng hợp đáng tin cậy chuyển động lưỡi có thể nhìn thấy, trong khi các phương pháp hiện có thường không tạo ra chuyển động nào.’

Một số điểm nổi bật trong những ví dụ định tính phong phú được trình bày trong bài báo gốc. Ở đây, chúng ta thấy các phép so sánh giữa phương pháp mới và năm phương pháp tiền nhiệm, không phương pháp nào trong số đó có khả năng tạo ra lưỡi. Vui lòng tham khảo bài báo gốc để xem thêm ví dụ và hình ảnh có độ phân giải cao hơn.

Mặc dù hiện chưa có video bổ sung để chúng tôi tự đánh giá, các tác giả cũng kiểm tra tính nhất quán theo thời gian của hệ thống bằng T-LPIPS:

Kết quả kiểm tra tính nhất quán theo thời gian.

Các tác giả nhận xét:

‘Mô hình đầy đủ của chúng tôi giảm đáng kể độ giật của dòng chuyển động (0.218543 so với 0.622901) và độ lớn của dòng chuyển động (0.513165 so với 1.254073), xác nhận rằng phương pháp khử nhiễu neo theo hình học tạo ra chuyển động lưỡi mượt mà và ổn định.

‘T-LPIPS thấp hơn càng xác nhận rằng việc tổng hợp chuyển động lưỡi không làm suy giảm tính nhất quán theo thời gian.’

Kết luận

Hiệu ứng thung lũng kỳ lạ đang dần được khắc phục nhờ một số mô hình video mới nhất dựa trên khuếch tán. Tuy nhiên, một rào cản tâm lý mới đang bắt đầu xuất hiện: mọi người có xu hướng đánh giá tiêu cực nội dung do AI tạo ra vì những lý do không liên quan đến chất lượng của nội dung họ đang xem.

Điều này có thể khiến việc đánh giá định tính trở nên phức tạp hơn, dù tôi cho rằng các chỉ số dựa trên những thử nghiệm “mù” (trong đó người dùng muốn chấm thấp sản phẩm do AI tạo ra nhưng lại sợ chấm thấp sản phẩm thật) có thể giúp xây dựng một loại thang đo “ngầm” về mức độ chân thực của AI.

Vì vậy, mặc dù có nhiều hướng nghiên cứu chuyên sâu về việc dùng AI để tái tạo các đặc điểm nhận dạng thứ cấp như mái tóc, mô phỏng cảm xúc, ánh nhìn và hiện nay là chuyển động của lưỡi, thì trước mắt, những vấn đề này có thể chưa thực sự thiết thực.

* Phần tôi chuyển các trích dẫn trong dòng của tác giả thành siêu liên kết.

Đăng lần đầu vào Thứ Tư, ngày 11 tháng 11 năm 2026