Peneliti AI Membuat Model Wajah Permainan Video 3D dari Foto Pengguna

Sebuah tim peneliti di NetEase, sebuah perusahaan permainan Tiongkok, telah membuat sebuah sistem yang dapat secara otomatis mengekstrak wajah dari foto dan menghasilkan model dalam permainan dengan data gambar. Hasil dari makalah, yang berjudul Face-to-Parameter Translation for Game Character Auto-Creation, telah diringkas oleh Synced on Medium.

Semakin banyak pengembang permainan yang memilih untuk menggunakan AI untuk mengotomatisasi tugas-tugas yang memakan waktu. Sebagai contoh, pengembang permainan telah menggunakan algoritma AI untuk membantu merender gerakan karakter dan objek. Salah satu penggunaan AI lainnya oleh pengembang permainan adalah menciptakan alat kustomisasi karakter yang lebih kuat.

Kustomisasi karakter adalah fitur yang sangat disukai dalam permainan video role-playing, yang memungkinkan pemain untuk mengkustomisasi avatar mereka dalam berbagai cara. Banyak pemain memilih untuk membuat avatar mereka terlihat seperti diri mereka sendiri, yang menjadi lebih mudah dicapai karena kesophistikasi sistem kustomisasi karakter meningkat. Namun, ketika alat kustomisasi karakter menjadi lebih canggih, mereka juga menjadi lebih kompleks. Menciptakan karakter yang mirip dengan diri sendiri dapat memakan waktu berjam-jam untuk menyesuaikan slider dan mengubah parameter yang tidak jelas. Tim peneliti NetEase bertujuan untuk mengubah semua itu dengan menciptakan sistem yang menganalisis foto pemain dan menghasilkan model wajah pemain pada karakter dalam permainan.

Alat pembuatan karakter otomatis terdiri dari dua bagian: sistem pembelajaran imitasi dan sistem terjemahan parameter. Sistem terjemahan parameter mengekstrak fitur dari gambar input dan membuat parameter untuk sistem pembelajaran. Parameter ini kemudian digunakan oleh model pembelajaran imitasi untuk menghasilkan dan memperbaiki representasi wajah input.

Sistem pembelajaran imitasi memiliki arsitektur yang mensimulasikan cara mesin permainan membuat model karakter dengan gaya yang konstan. Model imitasi dirancang untuk mengekstrak kebenaran wajah, mempertimbangkan variabel yang kompleks seperti jenggot, lipstik, alis, dan gaya rambut. Parameter wajah diperbarui melalui proses gradien turun, dibandingkan dengan input. Perbedaan antara fitur input dan model yang dihasilkan terus diperiksa, dan penyesuaian dilakukan pada model sampai model dalam permainan sesuai dengan fitur input.

Setelah jaringan imitasi dilatih, sistem terjemahan parameter memeriksa output jaringan imitasi terhadap fitur gambar input, memutuskan ruang fitur yang memungkinkan perhitungan parameter wajah yang optimal.

Tantangan terbesar adalah memastikan bahwa model karakter 3D dapat mempertahankan detail dan penampilan berdasarkan foto manusia. Ini adalah masalah cross-domain, di mana gambar 3D yang dihasilkan dan gambar 2D orang nyata harus dibandingkan dan fitur inti keduanya harus sama.

Peneliti menyelesaikan masalah ini dengan dua teknik yang berbeda. Teknik pertama adalah membagi pelatihan model mereka menjadi dua tugas pembelajaran yang berbeda: tugas konten wajah dan tugas diskriminatif. Bentuk umum dan struktur wajah seseorang ditentukan dengan meminimalkan perbedaan/kerugian antara dua nilai penampilan global, sedangkan detail halus diisi dengan meminimalkan kerugian antara hal-hal seperti bayangan di wilayah kecil. Dua tugas pembelajaran yang berbeda digabungkan untuk mencapai representasi yang lengkap.

Teknik kedua yang digunakan untuk menghasilkan model 3D adalah sistem konstruksi wajah 3D yang menggunakan struktur kerangka yang disimulasikan, mempertimbangkan bentuk tulang. Ini memungkinkan peneliti untuk menciptakan gambar 3D yang lebih canggih dan akurat dibandingkan dengan sistem pemodelan 3D lainnya yang bergantung pada grid atau mesh wajah.

Penciptaan sistem yang dapat membuat model 3D yang realistis berdasarkan gambar 2D sudah cukup mengesankan, tetapi sistem generasi otomatis tidak hanya bekerja pada foto 2D. Sistem ini juga dapat mengambil sketsa dan karikatur wajah dan merendernya sebagai model 3D dengan akurasi yang mengesankan. Tim peneliti menduga bahwa sistem ini dapat menghasilkan model yang akurat berdasarkan karakter 2D karena sistem menganalisis semantik wajah bukan menafsirkan nilai piksel mentah.

Sementara generator karakter otomatis dapat digunakan untuk membuat karakter berdasarkan foto, peneliti mengatakan bahwa pengguna juga harus dapat menggunakannya sebagai teknik tambahan dan mengedit karakter yang dihasilkan sesuai dengan preferensi mereka.