AI Araştırmacıları Kullanıcı Fotoğraflarından 3D Video Oyunu Yüz Modelleri Oluşturdu

NetEase adlı bir Çin oyun şirketindeki bir araştırma ekibi, fotoğraflardan yüzleri otomatik olarak çıkarabilen ve görüntüleme verilerini kullanarak oyun içi modeller oluşturabilen bir sistem geliştirdi. Face-to-Parameter Translation for Game Character Auto-Creation adlı makalenin sonuçları, Synced tarafından Medium’da özetlendi.

Daha fazla oyun geliştiricisi, zaman alıcı görevleri otomatikleştirmek için AI’ı kullanmaya başladı. Örneğin, oyun geliştiricileri karakterlerin ve nesnelerin hareketlerini oluşturmak için AI algoritmalarını kullanıyor. Oyun geliştiricilerinin AI’ı kullandığı bir başka recent kullanım alanı, daha güçlü karakter özelleştirme araçları oluşturmaktır.

Karakter özelleştirme, rol yapma video oyunlarının çok sevilen bir özelliğidir ve oyuncuların oyun içi avatarlarını birçok farklı şekilde özelleştirmesine olanak tanır. Çok sayıda oyuncu, avatarlarını kendilerine benzetecek şekilde özelleştirmeyi tercih eder, bu da karakter özelleştirme sistemlerinin karmaşıklığı arttıkça daha da mümkün hale gelir. Ancak, bu karakter oluşturma araçları daha da karmaşık hale geldikçe, aynı zamanda daha da karmaşık hale gelir. Kendinize benzeyen bir karakter oluşturmak, kaydırıcıları ayarlamak ve kriptik parametreleri değiştirmek için saatlerce sürebilir. NetEase araştırma ekibi, bir fotoğrafı analiz eden ve oyun içi karakterin yüzünü oluşturan bir sistem oluşturarak her şeyi değiştirmeyi hedefliyor.

Otomatik karakter oluşturma aracı, iki parçadan oluşur: bir taklit öğrenme sistemi ve bir parametre çevirisi sistemi. Parametre çevirisi sistemi, girdi resminden özellikler çıkarır ve öğrenme sistemi için parametreler oluşturur. Bu parametreler, girdi yüzünün temsilini yinelemeli olarak oluşturmak ve geliştirmek için taklit öğrenme modeli tarafından kullanılır.

Taklit öğrenme sistemi, oyun motorunun karakter modellerini sürekli bir stil ile oluşturduğu şekilde bir mimariye sahiptir. Taklit modeli, sakallar, ruj, kaşlar ve saç stili gibi karmaşık değişkenleri dikkate alarak yüzün temel gerçeklerini çıkarmak için tasarlanmıştır. Yüz parametreleri, girdi ile karşılaştırılarak gradient iniş yöntemi ile güncellenir. Girdi özellikleri ile oluşturulan model arasındaki fark sürekli olarak kontrol edilir ve model, oyun içi modelin girdi özellikleriyle uyumlu olana kadar ayarlamalar yapılır.

Taklit ağı eğitildikten sonra, parametre çevirisi sistemi, taklit ağının çıkışlarını girdi resim özellikleriyle karşılaştırır ve yüz parametrelerinin hesaplanmasına olanak tanıyan bir özellik alanı belirler.

En büyük zorluk, 3B karakter modellerinin insan fotoğraflarına dayalı olarak ayrıntı ve görünümü koruyabilmesiydi. Bu, 3B oluşturulan görüntüler ve gerçek insanların 2B görüntülerinin karşılaştırılması ve her ikisinin temel özelliklerinin aynı olması gereken bir alanlar arası sorunudur.

Araştırmacılar, bu sorunu iki farklı teknikle çözdüler. İlk teknik, model eğitimini iki farklı öğrenme görevine ayırmaktı: yüz içeriği görevi ve ayırt edici görev. Bir kişinin yüzünün genel şekli ve yapısı, iki global görünüm değerinin arasındaki farkı/loss’ı en aza indirerek belirlenir, mentre ayırt edici/ince detaylar, küçük bir bölgedeki gölgeler gibi şeylerin arasındaki loss’ı en aza indirerek doldurulur. İki farklı öğrenme görevi, tam bir temsil elde etmek için birleştirilir.

3B modelleri oluşturmak için kullanılan ikinci teknik, bir simüle edilmiş iskelet yapısını kullanarak bir 3B yüz inşaat sistemiydi, bu da kemik şeklini dikkate alıyordu. Bu, araştırmacılara, ızgaralara veya yüz mesh’lerine güvenen diğer 3B modelleme sistemlerine kıyasla çok daha sofistike ve doğru 3B görüntüler oluşturma olanağı sağladı.

2B görüntülerden gerçekçi 3B modeller oluşturabilen bir sistemin yaratılması, kendi başına yeterli olmakla kalmaz, aynı zamanda otomatik generation sistemi yalnızca 2B fotoğraflarla değil, aynı zamanda yüzlerin çizimleri ve karikatürlerini de etkileyici bir doğrulukla 3B modellere dönüştürebilir. Araştırma ekibi, sistemin 2B karakterlere dayalı olarak doğru modeller oluşturabildiğini düşünüyor, çünkü sistem ham piksel değerlerini yorumlamak yerine yüz anlambilimini analiz ediyor.

Otomatik karakter oluşturucu, fotoğraflara dayalı karakterler oluşturmak için kullanılabilir, ancak araştırmacılara göre kullanıcılar, oluşturulan karakteri tercihlerine göre daha da düzenlemek için bir yardımcı teknik olarak da kullanabilmelidir.