นักวิจัย AI สร้างแบบจำลองใบหน้าเกม 3 มิติจากภาพถ่ายของผู้ใช้

ทีมนักวิจัยจาก NetEase (NTES ) บริษัทเกมของจีนได้สร้างระบบที่สามารถ 추출ใบหน้าจากภาพถ่ายและสร้างแบบจำลองในเกมโดยใช้ข้อมูลจากภาพถ่ายได้ผลลัพธ์ของงานวิจัยที่มีชื่อว่า Face-to-Parameter Translation for Game Character Auto-Creation ได้รับการสรุปโดย Synced บน Medium

นักพัฒนาเกมมีจำนวนมากขึ้นที่เลือกใช้ AI ในการทำหน้าที่ที่ใช้เวลานาน เช่น นักพัฒนาเกมได้ใช้ AI ในการสร้างการเคลื่อนไหวของตัวละครและวัตถุในเกม การใช้ AI ในการสร้างเครื่องมือปรับแต่งตัวละครที่มีพลังมากขึ้น也是การใช้ AI ในเกมที่ได้รับความนิยม

การปรับแต่งตัวละครเป็นคุณสมบัติที่ได้รับความนิยมมากในเกมเล่นบทบาทที่ผู้เล่นสามารถปรับแต่งตัวละครของตนเองได้หลายรูปแบบ ผู้เล่นหลายคนเลือกที่จะทำให้ตัวละครของตนเองดูเหมือนกับตัวเอง ซึ่งสามารถทำได้มากขึ้นเมื่อระบบปรับแต่งตัวละครมีความซับซ้อนมากขึ้น อย่างไรก็ตาม เมื่อระบบปรับแต่งตัวละครมีความซับซ้อนมากขึ้น ก็จะใช้เวลานานในการสร้างตัวละครที่ดูเหมือนกับตัวเองได้ ทีมวิจัยของ NetEase มีเป้าหมายที่จะเปลี่ยนแปลงสิ่งนี้โดยการสร้างระบบที่วิเคราะห์ภาพถ่ายของผู้เล่นและสร้างแบบจำลองใบหน้าของผู้เล่นในตัวละครในเกม

เครื่องมือสร้างตัวละครอัตโนมัติประกอบด้วยสองส่วน คือ ระบบการเรียนรู้โดยการจำลองและระบบแปลพารามิเตอร์ ระบบแปลพารามิเตอร์จะ 추출คุณลักษณะจากภาพถ่ายและสร้างพารามิเตอร์สำหรับระบบการเรียนรู้โดยการจำลอง พารามิเตอร์เหล่านี้จะถูกใช้โดยระบบการเรียนรู้โดยการจำลองเพื่อสร้างและปรับปรุงการแสดงภาพใบหน้าจากภาพถ่าย

ระบบการเรียนรู้โดยการจำลองมีสถาปัตยกรรมที่เลียนแบบวิธีการสร้างแบบจำลองตัวละครในเกมโดยใช้スタイルที่คงที่ ระบบการเรียนรู้โดยการจำลองถูกออกแบบมาเพื่อ 추출คุณลักษณะของใบหน้าโดยคำนึงถึงตัวแปรที่ซับซ้อน เช่น ขนหนู ลิปสติก คิ้วและทรงผม พารามิเตอร์ของใบหน้าจะถูกปรับปรุงโดยใช้กระบวนการการลดความแตกต่าง ระหว่างคุณลักษณะของภาพถ่ายและแบบจำลองที่สร้างขึ้น

หลังจากที่ระบบการเรียนรู้โดยการจำลองได้รับการฝึกอบรมแล้ว ระบบแปลพารามิเตอร์จะตรวจสอบผลลัพธ์ของระบบการเรียนรู้โดยการจำลองกับคุณลักษณะของภาพถ่ายและตัดสินใจเกี่ยวกับพื้นที่คุณลักษณะที่ทำให้สามารถคำนวณพารามิเตอร์ใบหน้าที่เหมาะสมที่สุด

ความท้าทายที่ยิ่งใหญ่ที่สุดคือการรับประกันว่าแบบจำลองตัวละคร 3 มิติสามารถเก็บรักษาความละเอียดและรูปลักษณ์จากภาพถ่ายของมนุษย์ได้ นี่คือปัญหา cross-domain ที่ภาพ 3 มิติและภาพ 2 มิติของมนุษย์จริงต้องถูกเปรียบเทียบและคุณลักษณะหลักของทั้งสองจะต้องเหมือนกัน

นักวิจัยได้แก้ปัญหานี้โดยใช้เทคนิคสองแบบ เทคนิคแรกคือการแบ่งการฝึกอบรมแบบจำลองออกเป็นสองงานการเรียนรู้ คือ การเรียนรู้ใบหน้าและงานการเรียนรู้แบบจำลอง คุณลักษณะโดยทั่วไปและโครงสร้างของใบหน้าจะถูกกำหนดโดยการลดความแตกต่างระหว่างค่าความปรากฏทั่วไปสองค่า ในขณะที่รายละเอียดที่มีความแตกต่างจะถูกเติมโดยการลดความแตกต่างระหว่างสิ่งต่างๆ เช่น เงาในพื้นที่เล็กๆ สองงานการเรียนรู้จะถูกผสมเข้าด้วยกันเพื่อให้ได้การแสดงภาพที่สมบูรณ์

เทคนิคที่สองที่ใช้ในการสร้างแบบจำลอง 3 มิติคือระบบสร้างใบหน้า 3 มิติที่ใช้โครงกระดูกจำลอง โดยคำนึงถึงรูปร่างของกระดูก ซึ่งช่วยให้นักวิจัยสามารถสร้างภาพ 3 มิติที่มีความซับซ้อนและแม่นยำมากกว่าระบบสร้างแบบจำลอง 3 มิติอื่นๆ ที่อาศัย网หรือใบหน้าเมช

การสร้างระบบที่สามารถสร้างแบบจำลอง 3 มิติที่สมจริงจากภาพ 2 มิตินั้นเป็นเรื่องที่น่าประทับใจ แต่ระบบสร้างตัวละครอัตโนมัตินี้ไม่ทำงานเฉพาะกับภาพถ่าย 2 มิติเท่านั้น ระบบยังสามารถรับภาพวาดและภาพการ์ตูนของใบหน้าและแสดงเป็นแบบจำลอง 3 มิติที่มีความแม่นยำสูง ทีมวิจัยสันนิษฐานว่าระบบสามารถสร้างแบบจำลองที่แม่นยำจากภาพ 2 มิติเพราะระบบวิเคราะห์语义ของใบหน้าแทนที่จะวิเคราะห์ค่าพิกเซลที่ไม่ได้ประมวลผล

แม้ว่าเครื่องมือสร้างตัวละครอัตโนมัติสามารถใช้ในการสร้างตัวละครจากภาพถ่ายได้ แต่นักวิจัยก็เชื่อว่าผู้ใช้ควรสามารถใช้เครื่องมือนี้เป็นเทคนิคเสริมและแก้ไขตัวละครที่สร้างขึ้นตามความชอบของตนเองได้