Tanpa Lidah! Peneliti AI Menangani Anatomi yang Hilang dalam Animasi Wajah

Terlewat pada 2026: Inilah saatnya setiap tahun ketika kualitas dan volume penelitian naik turun seiring dengan beberapa konferensi terakhir pada November dan Desember. Untuk melewati masa-masa paceklik yang datang sesekali ini, kami menyoroti beberapa makalah menarik yang nyaris terpilih pada 2026, tetapi tersisih oleh karya lain pada periode pengajuan yang lebih kompetitif.

Hingga baru-baru ini, pelaku deepfake, baik amatir maupun profesional, memiliki persoalan yang lebih penting untuk ditangani daripada memastikan apakah manusia hasil rekonstruksi tampak memiliki lidah. Bagaimanapun, lidah adalah fitur wajah yang paling sulit diprediksi—sama sekali tak terlihat pada orang yang bergumam, dan hanya terlihat sesekali dalam kebanyakan situasi normal.

Akibatnya, ketika lidah diperlukan, lidah tidak muncul dalam rekonstruksi AI. Di tengah maraknya rekonstruksi berbasis difusi oleh para amatir yang telah mencapai tingkat realisme luar biasa, sementara kemampuan kita menilai manusia hasil AI semakin tajam, mungkin sudah saatnya persoalan ini ditangani.

Menangani Persoalan Lidah

Pada Juli, sebuah kolaborasi akademis antara Australia dan Tiongkok menawarkan alur kerja untuk mengatasi ketiadaan simulasi lidah dalam alur kerja AI. Kerangka kerja yang diberi judul TongueReenact ini mengerahkan hampir semua metode dalam perangkat deepfake untuk mengatasi masalah tersebut, termasuk splatting Gaussian, manusia parametrik, medan radiansi neural (NeRF), dan pembuatan video berbasis difusi (maaf, GAN, kalian tak terpilih kali ini).

Di atas, rekaman penggerak (nyata) yang karakteristiknya diterapkan pada hasil render TongueReenact di bawah. Sumber

Meskipun kode yang dijanjikan untuk proyek ini tampaknya belum dirilis sejak makalahnya diterbitkan, dan video pelengkapnya juga belum tersedia, karya ini tetap menjadi terobosan penting karena merupakan karya pertama yang menangani lidah dalam rekonstruksi berbasis AI di luar ranah medis—sekaligus mengatasi kekurangan data beranotasi yang sangat penting bagi setiap solusi yang diusulkan.

Para peneliti memanfaatkan berbagai kerangka kerja dan data yang sudah ada dengan cara inovatif untuk membuat kerangka kerja segmentasi lidah berbasis SegmentAnything dan menghasilkan label semu bagi data yang baru disegmentasi.

Makalah tersebut menyatakan:

‘[We]Kami menyajikan kerangka kerja pertama untuk mentransfer dinamika lidah lintas identitas dalam reenactment wajah. Dengan sebuah bingkai sumber dan video penggerak, metode kami mentransfer gerakan wajah sekaligus artikulasi lidah ke identitas sumber.

‘Wawasan utama dalam karya kami adalah bahwa sintesis lidah tidak dapat diperlakukan sebagai masalah pengisian bagian yang hilang secara umum. Posisi lidah harus disesuaikan dengan geometri wajah sumber, yang berubah pada setiap bingkai penggerak.’

Sistem ini memulai proses dengan menerapkan gerakan wajah orang dalam video penggerak ke wajah sumber menggunakan 3D Gaussian Splatting dan model wajah FLAME. Hasilnya adalah wajah animasi dengan pose dan ekspresi yang tepat, tetapi masih tanpa lidah.

Alur kerja TongueReenact. Atas: Citra lidah diidentifikasi, disegmentasi, lalu disempurnakan secara manual untuk melatih model deteksi. Bawah: Gerakan wajah dialihkan dari video penggerak ke wajah sumber, lalu model difusi menghasilkan lidah yang hilang pada posisi yang sesuai.

Model Stable Diffusion kemudian digunakan untuk menghasilkan lidah yang hilang, dengan panduan tampilan lidah dalam video penggerak dan geometri wajah hasil rekonstruksi.

Mengenai perlunya mengatasi kekurangan dalam rekonstruksi wajah ini, para penulis mengamati*:

‘Dalam ekspresi seperti tertawa, jijik, atau terkejut, [the tongue] dapat mendominasi seluruh area mulut yang terlihat. Namun, hampir semua sistem reenactment dan avatar yang ada memodelkan bagian dalam mulut sebagai rongga tanpa tekstur atau membiarkannya sama sekali tanpa batasan.

‘Pengabaian ini bukan tanpa alasan, sebab lidah adalah struktur yang keberadaannya sangat sementara: tersembunyi sepenuhnya saat wajah beristirahat, sesekali terlihat saat berbicara, dan tiba-tiba mendominasi dalam ekspresi ekstrem. Karena itu, lidah pada dasarnya sulit dimodelkan dengan pendekatan parametrik statis yang diterapkan pada bagian wajah lainnya.

‘Mengatasi tantangan yang terabaikan ini merupakan motivasi utama karya kami.’

Dalam pengujian, metode baru ini mengungguli lima sistem animasi wajah pesaing secara substansial, dengan keunggulan akurasi lebih dari 100% dibandingkan pesaing terdekatnya dalam pengukuran utama posisi dan ukuran lidah—meski harus diakui bahwa pengujian semacam ini sulit dirancang ketika kita merintis bidang baru dan kerangka kerja sebelumnya hanya sedikit, atau sama sekali tidak, menangani tantangan baru tersebut.

Mari kita cermati lebih dekat pendekatan baru ini.

Metode

Untuk mengembangkan sistem yang mampu mengidentifikasi lidah dalam rekaman wajah biasa, digunakan dataset NERSemble yang berisi rekaman kepala manusia dari berbagai sudut pandang, bersama bingkai yang dihasilkan secara sintetis dari dataset VFHQ, yang mencakup lebih dari 16.000 video wajah berkualitas tinggi:

Tekan untuk memutarContoh rekonstruksi Radiance Field yang menarik dan berkaitan dengan lidah dari situs proyek Nersemble. Namun, lidah yang terlihat di sini diperlakukan sebagai geometri umum dan tidak memiliki domain tersendiri.Sumber 

Model penguraian wajah MaskGAN digunakan untuk menemukan mulut pada setiap gambar. Setelah itu, detektor medis TongueSAM digunakan untuk mengidentifikasi kemungkinan area lidah, lalu area tersebut diproses dengan SegmentAnything untuk menghasilkan garis luar awal (yakni, label semu) dari lidah yang terlihat.

Contoh dari dataset TongueSAM, yang ditujukan untuk penggunaan analitis medis, bukan untuk mengevaluasi ekspresi wajah. Sumber

Masker yang dihasilkan dibagi menjadi tiga kelompok berdasarkan seberapa banyak bagian lidah yang terlihat. Contoh yang keliru dibuang, sedangkan masker yang menjanjikan diperbaiki secara manual agar lidah dapat dibedakan dari bibir, gigi, dan jaringan mulut lain di sekitarnya. Anotasi yang telah disempurnakan ini digunakan untuk melatih jaringan segmentasi gambar BiSeNet.

Model tersebut kemudian diterapkan pada subjek NERSemble tambahan dan bingkai sintetis VFHQ. Prediksinya diperiksa dan diperbaiki oleh manusia sebelum pelatihan dilanjutkan—proses ini diulang sampai kinerja pada subjek yang belum pernah dilihat sebelumnya stabil:

Alur kerja untuk mengolah data yang sudah ada menjadi data ‘domain lidah’.

Untuk menyintesis lidah, area mulut yang diidentifikasi BiSeNet sedikit diperbesar sebelum dimasukkan ke model difusi. Dengan begitu, lidah yang dihasilkan memiliki ruang untuk menjulur melewati segmentasi awal saat bentuk mulut berubah.

Pembuatan dilakukan dalam ruang laten Variasi Gambar Stable Diffusion, dengan panduan terpisah yang diperoleh dari geometri wajah hasil rekonstruksi dan lidah yang terlihat dalam bingkai penggerak; hanya area mulut/lidah yang telah diidentifikasi yang dibuat ulang.

Alur kerja generatif. Referensi DINO V2 di kuadran kiri atas menggambarkan penggunaan GAGAvatar (lihat di bawah), yang memanfaatkan fitur tampilan DINO V2 bersama FLAME.

Data dan Pengujian

BiSeNet dilatih dengan dua kelas keluaran yang diperoleh dari tahap pemrosesan data yang disebutkan sebelumnya: latar belakang dan lidah. Pelatihan dilakukan selama 50,000 iterasi dengan laju pembelajaran 10^-3, menggunakan gambar berukuran 512x512px dengan ukuran batch 4, pada satu GPU NVIDIA A40 dengan VRAM 48GB. Data pelatihan terdiri atas bingkai NERSemble dan VFHQ yang disebutkan sebelumnya.

Untuk bagian peniruan ekspresi, digunakan tulang punggung Gaussian Splatting GAGAvatar yang telah dilatih sebelumnya. Checkpoint Stable Diffusion Image Variations juga digunakan, dengan encoder VAE dan CLIP dalam keadaan dibekukan. Encoder panduan dan UNET untuk denoising kemudian dilatih menggunakan data NERSemble selama 85,000 iterasi dengan ukuran batch 8 dan masukan berukuran 512×512. Untuk inferensi, digunakan 20 langkah DDIM (jumlah ini dianggap tinggi untuk banyak model difusi saat ini dan dirancang untuk mengutamakan detail, dengan konsekuensi tertentu yang tak terhindarkan).

Kerangka kerja avatar pesaing yang diuji adalah GPAvatar; LivePortrait yang banyak dipuji; X-NeMo; dan X-Portrait. Masing-masing dievaluasi menggunakan 9,000 pasangan sumber/penggerak VFHQ lintas identitas.

Metrik yang digunakan adalah Kemiripan Persepsi Terpelajar Antar-Petak Citra (LPIPS); Keberadaan Lidah (proporsi bingkai yang mendeteksi lidah); IoU Lidah (tumpang tindih antara area lidah yang dihasilkan dan area lidah dalam bingkai penggerak); serta Kemiripan Luas Lidah (seberapa dekat ukuran lidah yang dihasilkan dengan ukuran lidah dalam bingkai penggerak).

Hasil pengujian yang membandingkan TongueReenact dengan lima kerangka kerja pesaing untuk reenactment wajah. TongueReenact memperoleh hasil terbaik pada keempat metrik khusus lidah; panah menunjukkan apakah skor yang lebih rendah atau lebih tinggi lebih diutamakan.

Mengenai perbandingan awal, para penulis menyatakan:

‘Metode kami menunjukkan kinerja terbaik pada keempat metrik transfer lidah, dengan IoU Lidah sebesar 0.3582 dan Kemiripan Luas Lidah sebesar 0.4338—lebih dari dua kali lipat hasil pesaing terdekat—yang menegaskan bahwa transfer dinamika lidah jauh lebih akurat.

‘Skor Keberadaan Lidah sebesar 0.7891 semakin menunjukkan bahwa metode kami secara andal menyintesis artikulasi lidah yang terlihat, sementara metode yang ada sering kali tidak menghasilkannya sama sekali.’

Beberapa sorotan dari sekian banyak contoh kualitatif yang ditampilkan dalam makalah sumber. Di sini, kita melihat perbandingan pendekatan baru dengan lima metode pesaing sebelumnya, yang semuanya tidak mampu menghasilkan lidah. Silakan merujuk ke makalah asli untuk melihat lebih banyak contoh dengan resolusi lebih tinggi.

Meski kita belum dapat menilainya sendiri karena saat ini belum tersedia materi video tambahan, para penulis juga menguji konsistensi temporal sistem menggunakan T-LPIPS:

Hasil pengujian konsistensi temporal.

Para penulis berkomentar:

‘Model lengkap kami menghasilkan jitter aliran yang jauh lebih rendah (0.218543 vs. 0.622901) dan magnitudo aliran yang lebih rendah (0.513165 vs. 1.254073), yang menegaskan bahwa denoising berjangkar geometri menghasilkan gerakan lidah yang mulus dan stabil.

‘T-LPIPS yang lebih rendah semakin menegaskan bahwa sintesis lidah tidak mengorbankan koherensi temporal.’

Kesimpulan

Efek lembah ganjil perlahan-lahan mulai teratasi oleh sejumlah model video berbasis difusi terbaru. Namun, kini mulai muncul hambatan psikologis baru: orang-orang memandang negatif materi yang dihasilkan AI bukan karena kualitas tontonan mereka.

Hal ini berpotensi mempersulit evaluasi kualitatif, meski saya kira metrik yang didasarkan pada pengujian ‘buta’ (ketika pengguna ingin memberi nilai lebih rendah pada keluaran AI, tetapi khawatir akan memberi nilai lebih rendah pada keluaran nyata) dapat membantu mengembangkan semacam skala ‘bayangan’ untuk realisme AI.

Karena itu, meski ada sejumlah jalur penelitian yang kuat untuk mereproduksi ciri identitas sekunder dengan AI, seperti rambut, simulasi emosi, arah pandangan, dan kini gerakan lidah, untuk saat ini semua itu mungkin tidak lagi relevan.

* Pengubahan sitasi sebaris para penulis menjadi tautan oleh saya.

Pertama kali diterbitkan pada Rabu, 11 November 2026