Video Kayıtlarında Duyguları Değiştirmek için Yapay Zeka Kullanma

Yunanistan ve İngiltere’den araştırmacılar, insanların video kayıtlarındaki ifadelerini ve görünür ruh hallerini değiştirmek için yeni bir derin öğrenme yaklaşımı geliştirdiler. Bu yaklaşım, önceki girişimlerin eşleştiremediği bir şekilde, orijinal sesin lip hareketlerine sadakatini korur.

Makale sonundaki videoya eşlik eden görsel, aktör Al Pacino’nun ifadesinin NED tarafından yüksek düzeyde semantic kavramlara dayalı olarak nasıl değiştirildiğini gösteriyor. ‘Referans-temelli’ yöntem, sağ tarafta, bir kaynak videodan yorumlanan duyguları tüm video dizisine uygular. Kaynak: https://www.youtube.com/watch?v=Li6W8pRDMJQ

Bu özel alan, derin sahte duygular olarak bilinen kategorinin içinde yer alır. Bu kategoride, orijinal konuşmacının kimliği korunur, ancak ifadeleri ve mikro-ifadeleri değiştirilir. Bu yapay zeka teknolojisi olgunlaştıkça, film ve televizyon prodüksiyonlarının aktörlerin ifadelerini ince bir şekilde değiştirmelerine olanak tanır, ancak aynı zamanda ‘duygu-değiştirilmiş’ video derin sahteleri olarak bilinen yeni bir kategori açar.

Yüzleri Değiştirmek

Kamuya açık figürlerin, örneğin politikacıların, yüz ifadeleri titizlikle düzenlenir; 2016’da Hillary Clinton’ın yüz ifadeleri medya tarafından yoğun bir şekilde incelenmiştir ve seçim şanslarını olumsuz etkileyebilecek potansiyelleri vardır; yüz ifadeleri, ayrıca, FBI’nin ilgi alanındadır ve iş görüşmelerinde kritik bir göstergedir, bu nedenle (uzak bir perspektifte) canlı ‘ifade-kontrol’ filtresi, Zoom’da ön eleme geçmeye çalışan iş arayanlar için arzu edilen bir gelişme olacaktır.

2005 yılında İngiltere’de yapılan bir çalışmada, yüz görünümünün oy verme kararlarını etkilediği iddia edildi, 2019’da Washington Post’ta yayınlanan bir makale, ‘bağlam dışı’ video kliplerinin paylaşımını inceledi. Bu, şu anda sahte haber savunucularının bir kamu figürünün nasıl davrandığını, cevap verdiğini veya hissettiğini gerçekten değiştirebilmelerine en yakın şeydir.

Neural İfade Manipülasyonuna Doğru

Şu anda, yüz ifadesini manipüle etmede durum oldukça ilkel, çünkü ayrıştırma gibi yüksek düzeyde kavramları (örneğin üzgün, kızgın, mutlu, gülümseyen) gerçek video içeriğinden ayırma işlemi gerekiyor. Geleneksel derin sahte mimarileri bu ayrıştırmayı oldukça iyi başarmış gibi görünse de, duyguları farklı kimliklere yansıtma hala her kimlik için eşleşen ifadelerin bulunduğu iki yüz kümesi gerektirir.

Derin sahteler için kullanılan yüz görüntü örnekleri. Şu anda, bir kişinin yüz ifadesini sadece ID-spesifik ifade<>ifade yollarını bir derin sahte sinir ağı içinde oluşturarak değiştirebilirsiniz. 2017 dönemi derin sahte yazılımları, bir ‘gülümseme’ için içkin, anlamsal bir anlayışa sahip değildir – sadece iki konu arasındaki algılanan yüz geometrisi değişikliklerini eşleştirir ve uyumlu hale getirir.

Arzu edilen ve henüz mükemmel bir şekilde başarılmayan şey, konu B’nin (örneğin) nasıl gülümsediğini tanımak ve sadece mimik ‘gülümseme’ anahtarını mimariye eklemektir, konu A’nın gülümsediği bir eşleştirme resmine ihtiyacınız olmadan.

Yeni makale, Neural Emotion Director: Konuşma-koruyan semantic kontrolü “vahşi” videolarda yüz ifadeleri olarak adlandırılmış ve Atina Ulusal Teknik Üniversitesi’nden, Hellas Vakfı’nın Araştırma ve Teknoloji Enstitüsü’nden ve İngiltere’deki Exeter Üniversitesi’nden araştırmacılardan gelmektedir.

Ekibin geliştirdiği çerçeveler, Neural Emotion Director (NED) olarak adlandırılmış ve 3D-tabanlı bir duygu-çevirme ağı, 3D-Tabanlı Duygu Manipülatörü içerir.

NED, alınan ifade parametre dizisini hedef alana çevirir. Eğitimi, paralel olmayan veriler üzerinde yapılır, yani her kimliğin karşılık gelen yüz ifadelerine sahip olduğu veri kümeleri üzerinde eğitim yapmaya gerek yoktur.

Makale sonundaki video, NED’nin YouTube veri kümesinden alınan görüntüler üzerinde çeşitli testleri gösterir ve görünür bir duygusal durumu uygular.

Yazarlar, NED’nin rastgele ve öngörülemez durumlar için aktörleri ‘yöneten’ ilk video tabanlı yöntem olduğunu iddia etmektedirler ve kodu proje sayfasında yayınlamışlardır.

Yöntem ve Mimari

Sistem, ‘duygu’ etiketleriyle işaretlenmiş iki büyük video verisi kümesi üzerinde eğitilir.

Çıktı, geleneksel yüz görüntü sentezleme tekniklerini kullanarak videoya arzulanan duyguyu rendre eden bir video yüz renderleyici tarafından sağlanır, bu teknikler arasında yüz segmentasyonu, yüz landmark hizalama ve blending bulunur, sadece yüz alanı sentezlenir ve ardından orijinal görüntüye uygulanır.

NED’nin pipeline mimarisi. Kaynak: https://arxiv.org/pdf/2112.00585.pdf

Sistem ilk olarak, girdi çerçevelerinde yüz ifadesini tanımlamak için 3D yüz geri kazanımı ve yüz landmark hizalaması gerçekleştirir. Daha sonra, bu geri kazanılan ifade parametreleri, 3D-tabanlı Duygu Manipülatörü’ne geçirilir ve bir stil vektörü, ya bir anlamsal etiket (örneğin ‘mutlu’) ya da bir referans dosyası yoluyla hesaplanır.

Bir referans dosyası, belirli bir tanınan ifade/emareyi gösteren bir videodur, bu daha sonra hedef videonun tümüne uygulanır ve orijinal ifadeyi değiştirir.

YouTube videolarından örneklenen çeşitli aktörlerin duygu transferi pipeline’indeki aşamaları.

Son olarak oluşturulan 3D yüz şekli, Normalized Mean Face Coordinate (NMFC) ve göz görüntüleri (yukarıdaki resimdeki kırmızı noktalar) ile birleştirilir ve sinirsel renderleyiciye geçirilir, bu da nihai manipülasyonu gerçekleştirir.

Sonuçlar

Araştırmacılar, yöntemin etkinliğini önceki çalışmalara karşı değerlendirmek için kapsamlı çalışmalar, kullanıcı çalışmaları ve silme çalışmaları gerçekleştirdiler ve NED’nin bu alt sektördeki mevcut durumun çoğunda daha iyi performans gösterdiğini buldular.

Makale yazarları, bu çalışmanın sonraki uygulamalarının ve benzer araçların principalmente televizyon ve sinema endüstrilerinde faydalı olacağını öngörüyorlar ve diyorlar ki:

‘Yöntemimiz, film post-prodüksiyonu, video oyunları ve foto-gerçekçi duygusal avatarlar gibi alanlarda nöral renderleme teknolojilerinin yeni olanaklar açar.’

Bu, bu alanda erken bir çalışmadır, ancak video yerine still imágenes ile yüz yeniden canlandırma denemesi yapan ilk çalışmalardan biridir. Videolar esasen çok hızlı çalışan still resimlerdir, ancak önceki uygulamaları menos etkili kılan zaman considerationları vardır. Ekli videoda ve makaledeki örneklerde, yazarlar NED’nin çıktısını diğer recent yöntemlerle karşılaştırmaktadır.

NED’nin daha ayrıntılı karşılaştırmaları ve daha fazla örnekleri, aşağıdaki tam videoda bulunabilir:

3 Aralık 2021, 18:30 GMT+2 – Makale yazarlarından birinin talebi üzerine, ‘referans dosyası’ ile ilgili düzeltmeler yapılmıştır (aslında bir video kliptir, ben yanlışlıkla still bir fotoğraf olarak bahsetmiştim). Ayrıca, Araştırma ve Teknoloji Vakfı’nın Bilgisayar Bilimi Enstitüsü’nün ismi düzeltildi.
3 Aralık 2021, 20:50 GMT+2 – Makale yazarlarından birinin talebi üzerine, yukarıda belirtilen kurumun ismi hakkında daha fazla düzeltme talebi.