AI Araştırmacıları Kullanıcı Fotoğraflarından 3D Video Oyunu Yüz Modelleri Oluşturuyor

Çinli bir oyun şirketi olan NetEase’ (NTES ) deki bir araştırma ekibi, fotoğraflardan yüzleri otomatik olarak çıkaran ve görüntülenen veriyle oyun içi modeller oluşturan bir sistem geliştirdi. Makale, Face-to-Parameter Translation for Game Character Auto-Creation başlıklı bir makale olarak yayımlandı ve Synced tarafından Medium’da özetlendi.

Daha fazla oyun geliştiricisi, zaman alan görevleri otomatikleştirmek için AI’ı kullanmaya başladı. Örneğin, oyun geliştiricileri karakterlerin ve nesnelerin hareketlerini render etmek için AI algoritmalarını kullanıyor. Oyun geliştiricileri tarafından AI’ın başka bir recent kullanımı, daha güçlü karakter özelleştirme araçları oluşturmak.

Karakter özelleştirme, rol yapma video oyunlarının çok sevilen bir özelliği olup oyuncuların avatarlarını birçok farklı şekilde özelleştirmelerine olanak tanır. Oyuncuların çoğu, avatarlarını kendilerine benzeten bir şekilde özelleştirmeyi tercih eder, bu da karakter özelleştirme sistemlerinin karmaşıklığı arttıkça daha da mümkün hale gelir. Ancak, bu karakter oluşturma araçları daha da karmaşık hale geldikçe, çok daha karmaşık hale gelirler. Kendinize benzeyen bir karakter oluşturmak, kaydırıcıları ayarlamak ve kriptik parametreleri değiştirmek saatler alabilir. NetEase araştırma ekibi, oyuncunun fotoğrafını analiz eden ve oyun içi karakterin yüzünü oluşturan bir sistem yaratmak suretiyle her şeyi değiştirmeyi amaçlıyor.

Otomatik karakter oluşturma aracı, iki parçadan oluşur: bir taklit öğrenme sistemi ve bir parametre çevirisi sistemi. Parametre çevirisi sistemi, girdi resminden özellikler çıkarır ve öğrenme sistemi için parametreler oluşturur. Bu parametreler daha sonra taklit öğrenme modeli tarafından girdi yüzünün temsilini oluşturmak ve geliştirmek için kullanılır.

Taklit öğrenme sistemi, oyun motorunun karakter modellerini sürekli bir stil ile oluşturduğu şekilde bir mimariye sahiptir. Taklit modeli, sakal, ruj, kaşlar ve saç stilı gibi karmaşık değişkenleri dikkate alarak yüzün temel gerçeğini çıkarmak için tasarlanmıştır. Yüz parametreleri, girdi ile karşılaştırılarak gradyan inişi yoluyla güncellenir. Girdi özellikleri ve oluşturulan model arasındaki fark sürekli olarak kontrol edilir ve model, oyun içi model girdi özellilerine uyana kadar ayarlanır.

Taklit ağı eğitildikten sonra, parametre çevirisi sistemi, taklit ağı çıkışlarını girdi resim özellikleriyle karşılaştırır ve yüz parametrelerinin hesaplanmasına izin veren bir özellik alanı belirler.

En büyük zorluk, 3D karakter modellerinin insan fotoğraflarına dayalı olarak ayrıntı ve görünümü koruyabilmesiydi. Bu, 3D oluşturulan görüntüler ve gerçek insanların 2D resimleri karşılaştırıldığı ve her ikisinin temel özelliklerinin aynı olduğu bir alanlar arası sorunudur.

Araştırmacılar bu sorunu iki farklı teknik kullanarak çözdüler. İlk teknik, model eğitimini iki farklı öğrenme görevine ayırarak yapıldı: yüz içeriği görevi ve ayırt edici görev. Bir kişinin yüzünün genel şekli ve yapısı, iki global görünüm değerleri arasındaki farkı/loss’u en aza indirerek belirlenir, mentre ayırt edici/ince detaylar, küçük bir bölgedeki gölgeler gibi şeylerin arasındaki loss’u en aza indirerek doldurulur. İki farklı öğrenme görevi, tam bir temsil elde etmek için birleştirilir.

3D modelleri oluşturmak için kullanılan ikinci teknik, bir simüle edilmiş iskelet yapısı kullanan bir 3D yüz oluşturma sistemiydi, bu da kemik şeklini dikkate almaya izin verdi. Bu, araştırmacılara, ızgaralara veya yüz ağlarına güvenen diğer 3D modelleme sistemlerine kıyasla çok daha sofistike ve precisa 3D görüntüler oluşturma olanağı sağladı.

2D resimlere dayalı gerçekçi 3D modeller oluşturabilen bir sistemin yaratılması assez etkileyici, ancak otomatik oluşturma sistemi yalnızca 2D fotoğraflarla çalışmıyor. Sistem, yüzlerin ve karikatürlerin çizimlerini de 3D modeller olarak render edebiliyor ve oldukça yüksek bir doğruluk payı sunuyor. Araştırma ekibi, sistemin 2D karakterlere dayalı olarak doğru modeller oluşturabildiğini düşünüyor, çünkü sistem ham piksel değerlerini yorumlamak yerine yüz semantiğini analiz ediyor.

Otomatik karakter oluşturma aracı, fotoğraflara dayalı karakterler oluşturmak için kullanılabilir, ancak araştırmacılar, kullanıcıların bunu bir yardımcı teknik olarak da kullanabileceğini ve oluşturulan karakteri tercihlerine göre daha da düzenleyebileceğini söylüyor.