Dil Yok! Yapay Zekâ Araştırmacıları Yüz Animasyonundaki Eksik Anatomiyi Ele Alıyor

2026’da gözden kaçanlar: Araştırma dünyasının niteliği ve üretkenliği, kasım ve aralık aylarındaki son birkaç konferansla birlikte iniş çıkış gösterirken yılın o dönemine geldik. Bu aralıklı kıtlık dönemlerini aşmak için, 2026’da seçkiye girmeye çok yaklaşmış ancak başvuruların daha rekabetçi olduğu dönemlerde başka çalışmaların gerisinde kalmış, daha ilgi çekici makalelerden bazılarına göz atıyoruz.

Yakın zamana kadar, amatör ya da profesyonel deepfake üreticilerinin, yeniden oluşturulan insanın dilinin olup olmadığına kafa yormaktan daha önemli sorunları vardı. Ne de olsa dil, yüzün en değişken özelliklerinden biridir: «mırıldananlarda» hiç görünmez, olağan koşulların çoğunda ise yalnızca ara sıra görülür.

Sonuç olarak, yapay zekâ tarafından oluşturulan yeniden yapılandırmalarda dile ihtiyaç duyduğunuzda dil orada olmaz. Amatörlerin difüzyon tabanlı yeniden yapılandırmalarının çarpıcı bir gerçekçilik düzeyine ulaştığı ve yapay zekâ tarafından oluşturulan insanlara yönelik eleştirel bakışımızın giderek keskinleştiği bu ortamda, sorunu ele almanın zamanı gelmiş olabilir.

Sorunu Dile Getirmek

Temmuz ayında Avustralya ve Çin’den araştırmacıların yürüttüğü bir akademik iş birliği, yapay zekâ iş akışlarında dil simülasyonunun eksikliğini gidermeye yönelik bir yöntem sundu. TongueReenact başlıklı önerilen çerçeve, sorunu çözmek için deepfake araç kutusundaki hemen her yönteme başvuruyor. Bunlar arasında Gaussian Splatting, parametrik insan modelleri, Neural Radiance Fields (NeRF) ve difüzyon tabanlı video üretimi de var (kusura bakmayın GAN’ler, bu seçkiye giremediniz).

Yukarıda, özellikleri aşağıdaki TongueReenact çıktısına aktarılan sürücüye ait (gerçek) kayıt. Kaynak

Makalede yayımlanacağı vaat edilen kodun henüz paylaşılmadığı ve ek videonun da hâlâ yayımlanmadığı görülse de bu çalışma yine de önemli bir dönüm noktası niteliğinde. Çünkü tıp alanı dışında, yapay zekâ tabanlı yeniden yapılandırmada dili ele alan ilk çalışma olmasının yanı sıra, önerilen her çözüm için elzem olan etiketli veri eksikliğini de ele alıyor.

Araştırmacılar, SegmentAnything tabanlı bir dil segmentasyonu çerçevesi oluşturmak ve yeni segmentlere ayrılmış veriler için sözde etiketler üretmek amacıyla mevcut çeşitli çerçevelerden ve verilerden yenilikçi biçimde yararlandı.

Makalede şöyle deniyor:

‘[We] yüz canlandırmada kimlikler arası dil hareketlerinin aktarımı için ilk çerçeveyi sunuyoruz. Bir kaynak kare ve sürücü video verildiğinde yöntemimiz, hem yüz hareketlerini hem de dilin eklemlenme hareketlerini kaynak kimliğe aktarır.

‘Çalışmamızın temel içgörüsü, dil sentezinin genel bir görüntü tamamlama problemi olarak ele alınamayacağıdır. Dil, her sürücü kareyle birlikte değişen kaynak yüz geometrisine uzamsal olarak sabitlenmelidir.’

Sistem önce, 3D Gaussian Splatting ve FLAME yüz modelini kullanarak sürücü kişinin yüz hareketlerini kaynak yüze aktarır. Böylece doğru poz ve ifadeye sahip, ancak dili hâlâ eksik olan animasyonlu bir yüz elde edilir.

TongueReenact iş akışı. Üstte: Dil görüntüleri belirlenir, segmentlere ayrılır ve bir tespit modelini eğitmek için elle iyileştirilir. Altta: Yüz hareketleri bir sürücü videodan kaynak yüze aktarılır; ardından bir difüzyon modeli eksik dili uygun konumda oluşturur.

Eksik dili oluşturmak için daha sonra, sürücü videodaki görünümü ve yeniden oluşturulan yüzün geometrisini temel alan bir Stable Diffusion modeli kullanılır.

Yüzün yeniden yapılandırılmasındaki bu eksikliğin giderilmesi gerektiğine ilişkin olarak yazarlar şöyle diyor*:

‘Gülme, tiksinme ya da şaşırma gibi ifadeli hareketler sırasında [the tongue] görünür ağız bölgesine tamamen hâkim olabilir. Buna karşın, mevcut yüz canlandırma ve avatar sistemlerinin neredeyse tümü ya ağız içini dokusuz bir boşluk olarak modeller ya da onu tamamen kısıtsız bırakır.

‘Bu ihmal tesadüf değildir. Dil, dinlenme hâlindeyken tamamen gizlenen, konuşma sırasında ara sıra açığa çıkan ve aşırı yüz ifadelerinde aniden baskın hâle gelen, benzersiz biçimde geçici bir yapıdır. Bu özellikleri, dili yüzün geri kalanına uygulanan statik parametrik modellemeye temelden dirençli kılar.

‘Gözden kaçan bu zorluğu ele almak, çalışmamızın temel motivasyonudur.’

Testlerde yeni yöntem, beş rakip yüz animasyonu sistemini kayda değer ölçüde geride bıraktı ve dilin konumu ile boyutuna ilişkin temel ölçütlerde en yakın rakibine kıyasla %100’ü aşan bir doğruluk avantajı sağladı. Bununla birlikte, yeni bir alanda öncü çalışmalar yapılırken ve önceki çerçeveler bu yeni zorluğu ya çok sınırlı ölçüde ya da hiç ele almamışken bu tür testleri tasarlamanın güç olduğunu kabul etmek gerekir.

Yeni yaklaşıma daha yakından bakalım.

Yöntem

Sıradan yüz görüntülerinde dilleri belirleyebilen bir sistem geliştirmek için, insan kafalarının çok açılı kayıtlarından oluşan NERSemble veri kümesiyle, 16.000’den fazla yüksek kaliteli yüz videosu içeren VFHQ veri kümesinden sentetik olarak oluşturulan kareler birlikte kullanıldı:

Oynatmak için basın NERSemble proje sitesinden, ilginç biçimde “dille ilgili” bir Işınım Alanı yeniden yapılandırma örneği. Ancak burada görülen dil, kendine özgü bir alanı olmayan genel bir geometri olarak ele alınıyor. Kaynak 

Her görüntüde ağzın yerini belirlemek için MaskGAN yüz ayrıştırma modeli kullanıldı. Ardından, olası dil bölgesini saptamak üzere TongueSAM tıbbi dedektöründen yararlanıldı ve bu bölge SegmentAnything’e aktarıldı. Böylece görünür dilin ilk taslağı (yani sözde etiketi) oluşturuldu.

Yüz ifadelerini değerlendirmekten ziyade tıbbi analiz amacıyla hazırlanan TongueSAM veri kümesinden örnekler. Kaynak

Ortaya çıkan maskeler, dilin ne kadarının görünür olduğuna göre üç gruba ayrıldı. Hatalı örnekler elendi; umut vadeden maskeler ise dili çevresindeki dudaklardan, dişlerden ve diğer ağız dokularından ayırt edecek şekilde elle düzeltildi. Bu iyileştirilmiş açıklamalar, BiSeNet görüntü bölümleme ağını eğitmek için kullanıldı.

Model daha sonra NERSemble’daki ek deneklere ve sentetik VFHQ karelerine uygulandı; daha ileri eğitimden önce tahminleri insanlar tarafından incelenip düzeltildi. Daha önce görülmemiş deneklerdeki performans istikrara kavuşana kadar bu süreç tekrarlandı:

Mevcut verileri “dil alanı” verilerine dönüştürme iş akışı.

Dil sentezi için, BiSeNet’in belirlediği ağız bölgesi difüzyon modeline aktarılmadan önce biraz genişletildi. Böylece ağız şekli değişirken üretilen dil, ilk bölümlemenin sınırlarının ötesine uzanabildi.

Üretim, Stable Diffusion Image Variations modelinin gizil uzayında gerçekleştirildi. Yeniden oluşturulan yüz geometrisinden ve yönlendirici karede görünen dilden ayrı ayrı rehberlik sinyalleri elde edildi; yalnızca belirlenen ağız/dil bölgesi yeniden üretildi.

Üretim iş akışı. Sol üst çeyrekteki DINO V2 referansı, FLAME ile birlikte DINO V2 görünüm özelliklerini kullanan GAGAvatar’ın kullanımını gösteriyor (aşağıya bakın).

Veriler ve Testler

BiSeNet, yukarıda açıklanan veri işleme aşamalarından elde edilen iki çıktı sınıfıyla eğitildi: arka plan ve dil. Eğitim, tek bir NVIDIA A40 GPU’da, 48 GB VRAM ile; 512×512 piksellik görüntüler ve 4 yığın boyutu kullanılarak, 10^-3 öğrenme oranında 50.000 iterasyon boyunca yürütüldü. Eğitim verileri, yukarıda belirtilen NERSemble ve VFHQ karelerinden oluşuyordu.

Yeniden canlandırma aşamasında, önceden eğitilmiş GAGAvatar Gaussian Splatting omurgası kullanıldı. Ayrıca, VAE ve CLIP kodlayıcısı dondurulmuş olan Stable Diffusion Image Variations kontrol noktası da kullanıldı. Ardından, yönlendirme kodlayıcıları ile gürültü giderme UNET’i NERSemble verileri üzerinde, 512×512 boyutunda girdiler ve 8 yığın boyutu ile 85.000 iterasyon boyunca eğitildi. Çıkarım sırasında 20 DDIM adımı kullanıldı (bu sayı, günümüzdeki pek çok difüzyon modelinde ayrıntıyı öne çıkarmak üzere tasarlanmış yüksek bir değer sayılır ve kaçınılmaz bazı ödünleşimleri beraberinde getirir).

Test edilen rakip avatar çerçeveleri GPAvatar, övgüyle karşılanan LivePortrait, X-NeMo ve X-Portrait‘tı. Bunların her biri, kaynak ve sürücü kimliklerinin farklı olduğu 9.000 VFHQ çifti üzerinde değerlendirildi.

Kullanılan ölçütler şunlardı: Öğrenilmiş Algısal Görüntü Parçası Benzerliği (LPIPS); Dil Varlığı (dilin tespit edildiği karelerin oranı); Dil IoU’su (üretilen dil bölgesi ile yönlendirici karedeki dil bölgesinin örtüşme oranı) ve Dil Alanı Benzerliği (üretilen dilin boyutunun yönlendirici karedeki dilin boyutuyla ne ölçüde eşleştiği).

TongueReenact ile rakip beş yüz yeniden canlandırma çerçevesinin karşılaştırıldığı test sonuçları. TongueReenact, dile özgü dört ölçütün tamamında en iyi sonucu elde ediyor; oklar, düşük mü yoksa yüksek puanların mı tercih edildiğini gösteriyor.

Yazarlar ilk karşılaştırmayla ilgili olarak şöyle diyor:

‘Yöntemimiz, dil aktarımına yönelik dört ölçütün tamamında en iyi performansı gösteriyor. Dil IoU değeri 0.3582, Dil Alanı Benzerliği değeri ise 0.4338; bu, en yakın rakibin değerinin iki katından fazla ve dil hareketlerinin çok daha doğru aktarıldığını doğruluyor. ‘

‘0.7891 olan Dil Varlığı değeri de mevcut yöntemlerin çoğu zaman hiç dil üretmediği durumlarda yöntemimizin görünür dil hareketlerini güvenilir biçimde sentezlediğini gösteriyor.’

Kaynak makalede sunulan kapsamlı nitel örneklerden bazı öne çıkanlar. Burada yeni yaklaşımın, dil üretme kapasitesine sahip olmayan önceki beş rakip yöntemle karşılaştırmalarını görüyoruz. Daha fazla örnek ve daha yüksek çözünürlük için lütfen orijinal makaleye başvurun.

Mevcut durumda ek video materyali bulunmadığından bunu kendimiz değerlendiremiyoruz; yine de yazarlar sistemin zamansal tutarlılığını T-LPIPS kullanarak da test etti:

Zamansal tutarlılık testlerinin sonuçları.

Yazarlar bu konuda şöyle diyor:

‘Tam modelimiz, akış titreşimini (0.218543’e karşı 0.622901) ve akış büyüklüğünü (0.513165’e karşı 1.254073) önemli ölçüde azaltıyor. Bu da geometriye dayalı gürültü gidermenin akıcı ve kararlı dil hareketleri sağladığını doğruluyor. ‘

‘T-LPIPS değerinin daha düşük olması, dil sentezinin zamansal tutarlılığı bozmadığını da doğruluyor.’

Sonuç

Tekinsiz vadi etkisi, en yeni difüzyon tabanlı video modellerinin bazıları sayesinde giderek aşılmaya başlıyor. Ancak yeni bir psikolojik engel de belirmeye başlıyor: İnsanlar, yapay zekâ tarafından üretilen içerik hakkında izledikleri şeyin kalitesi dışındaki nedenlerle olumsuz bir yargıya varıyor.

Bu durum nitel değerlendirmeyi zorlaştıracak gibi görünüyor. Yine de, kullanıcının yapay zekâ çıktısına düşük puan vermek isteyip gerçek çıktıya düşük puan vermekten çekindiği “kör” testlere dayalı ölçütlerin, yapay zekâ gerçekçiliğine yönelik bir tür “gölge” ölçeği geliştirmeye yardımcı olabileceğini düşünüyorum.

Dolayısıyla, saç, duygu simülasyonu, bakış ve artık dil hareketleri gibi ikincil kimlik özelliklerinin yapay zekâ aracılığıyla yeniden üretilmesine yönelik güçlü araştırma çalışmaları olsa da, bunlar şimdilik anlamını yitirmiş olabilir.

* Yazarların metin içi atıflarını bağlantılara dönüştürmem.

İlk olarak 11 Kasım 2026 Çarşamba günü yayımlandı