Peneliti AI Membuat Model Wajah 3D untuk Permainan Video dari Foto Pengguna

Sebuah tim peneliti di NetEase (NTES ), sebuah perusahaan permainan China, telah menciptakan sistem yang dapat secara otomatis mengekstrak wajah dari foto dan menghasilkan model dalam permainan dengan data gambar. Hasil dari makalah tersebut, yang berjudul Face-to-Parameter Translation for Game Character Auto-Creation, telah dirangkum oleh Synced di Medium.

Lebih banyak pengembang permainan memilih untuk menggunakan AI untuk mengotomatisasi tugas-tugas yang memakan waktu. Misalnya, pengembang permainan telah menggunakan algoritma AI untuk membantu menghasilkan gerakan karakter dan objek. Penggunaan AI lain oleh pengembang permainan adalah menciptakan alat kustomisasi karakter yang lebih kuat.

Kustomisasi karakter adalah fitur yang sangat disukai dalam permainan video role-playing, yang memungkinkan pemain untuk mengkustomisasi avatar mereka dalam berbagai cara. Banyak pemain memilih untuk membuat avatar mereka terlihat seperti diri mereka sendiri, yang menjadi lebih mudah dicapai karena kemajuan sistem kustomisasi karakter. Namun, karena alat kustomisasi karakter menjadi lebih canggih, mereka juga menjadi lebih kompleks. Menciptakan karakter yang mirip dengan diri sendiri dapat memakan waktu berjam-jam dengan menyesuaikan slider dan mengubah parameter yang rumit. Tim peneliti NetEase bertujuan untuk mengubah semua itu dengan menciptakan sistem yang menganalisis foto pemain dan menghasilkan model wajah pemain pada karakter dalam permainan.

Alat kustomisasi karakter otomatis terdiri dari dua bagian: sistem pembelajaran imitasi dan sistem terjemahan parameter. Sistem terjemahan parameter mengekstrak fitur dari gambar input dan membuat parameter untuk sistem pembelajaran. Parameter tersebut kemudian digunakan oleh model pembelajaran imitasi untuk secara iteratif menghasilkan dan memperbaiki representasi wajah input.

Sistem pembelajaran imitasi memiliki arsitektur yang mensimulasikan cara mesin permainan membuat model karakter dengan gaya yang konsisten. Model imitasi dirancang untuk mengekstrak kebenaran wajah, mempertimbangkan variabel yang kompleks seperti jenggot, lipstik, alis, dan gaya rambut. Parameter wajah diperbarui melalui proses gradien turun, dibandingkan dengan input. Perbedaan antara fitur input dan model yang dihasilkan secara terus-menerus diperiksa, dan penyesuaian dilakukan pada model sampai model dalam permainan sesuai dengan fitur input.

Setelah jaringan imitasi telah dilatih, sistem terjemahan parameter memeriksa output jaringan imitasi melawan fitur gambar input, memutuskan ruang fitur yang memungkinkan perhitungan parameter wajah yang optimal.

Tantangan terbesar adalah memastikan bahwa model karakter 3D dapat mempertahankan detail dan penampilan berdasarkan foto manusia. Ini adalah masalah antar-domain, di mana gambar 3D yang dihasilkan dan gambar 2D orang nyata harus dibandingkan dan fitur inti keduanya harus sama.

Peneliti menyelesaikan masalah ini dengan dua teknik yang berbeda. Teknik pertama adalah membagi pelatihan model menjadi dua tugas pembelajaran yang berbeda: tugas konten wajah dan tugas diskriminatif. Bentuk umum dan struktur wajah seseorang ditentukan dengan meminimalkan perbedaan/kerugian antara dua nilai penampilan global, sedangkan detail diskriminatif/halus diisi dengan meminimalkan kerugian antara hal-hal seperti bayangan di wilayah kecil. Dua tugas pembelajaran yang berbeda digabungkan untuk mencapai representasi yang lengkap.

Teknik kedua yang digunakan untuk menghasilkan model 3D adalah sistem konstruksi wajah 3D yang menggunakan struktur tulang yang disimulasikan, mempertimbangkan bentuk tulang. Ini memungkinkan peneliti untuk menciptakan gambar 3D yang lebih canggih dan akurat dibandingkan dengan sistem pemodelan 3D lain yang bergantung pada grid atau mesh wajah.

Penciptaan sistem yang dapat menghasilkan model 3D yang realistis berdasarkan gambar 2D sudah cukup mengesankan, tetapi sistem generasi otomatis tidak hanya bekerja pada foto 2D. Sistem juga dapat mengambil sketsa dan karikatur wajah dan merendernya sebagai model 3D dengan akurasi yang mengesankan. Tim peneliti menduga bahwa sistem dapat menghasilkan model yang akurat berdasarkan karakter 2D karena sistem menganalisis semantik wajah bukan menginterpretasikan nilai piksel mentah.

Sementara generator karakter otomatis dapat digunakan untuk menciptakan karakter berdasarkan foto, peneliti mengatakan bahwa pengguna juga harus dapat menggunakannya sebagai teknik tambahan dan mengedit karakter yang dihasilkan sesuai dengan preferensi mereka.