Các nhà nghiên cứu AI tạo ra mô hình khuôn mặt trò chơi video 3D từ ảnh người dùng

Một nhóm nghiên cứu tại NetEase (NTES ), một công ty trò chơi điện tử Trung Quốc, đã tạo ra một hệ thống có thể tự động trích xuất khuôn mặt từ ảnh và tạo ra mô hình trong trò chơi với dữ liệu hình ảnh. Kết quả của bài báo, có tiêu đề Face-to-Parameter Translation for Game Character Auto-Creation, đã được tóm tắt bởi Synced trên Medium.

Ngày càng nhiều nhà phát triển trò chơi đang chọn sử dụng AI để tự động hóa các nhiệm vụ tốn thời gian. Ví dụ, các nhà phát triển trò chơi đã sử dụng thuật toán AI để giúp render các chuyển động của nhân vật và đối tượng. Một ứng dụng gần đây khác của AI trong phát triển trò chơi là tạo ra các công cụ tùy chỉnh nhân vật mạnh mẽ hơn.

Tùy chỉnh nhân vật là một tính năng được yêu thích của trò chơi điện tử nhập vai, cho phép người chơi tùy chỉnh hình đại diện của mình theo nhiều cách khác nhau. Nhiều người chơi chọn làm cho hình đại diện của mình trông giống như họ, điều này trở nên dễ dàng hơn khi hệ thống tùy chỉnh nhân vật trở nên tinh vi hơn. Tuy nhiên, khi các công cụ tạo nhân vật trở nên tinh vi hơn, chúng cũng trở nên phức tạp hơn. Tạo ra một nhân vật giống như mình có thể mất hàng giờ để điều chỉnh các thanh trượt và thay đổi các tham số bí ẩn. Nhóm nghiên cứu của NetEase nhằm thay đổi tất cả điều này bằng cách tạo ra một hệ thống phân tích ảnh của người chơi và tạo ra mô hình khuôn mặt của người chơi trên nhân vật trong trò chơi.

Công cụ tạo nhân vật tự động bao gồm hai phần: hệ thống học tập bắt chước và hệ thống dịch tham số. Hệ thống dịch tham số trích xuất các tính năng từ hình ảnh đầu vào và tạo ra các tham số cho hệ thống học tập bắt chước sử dụng. Các tham số này sau đó được sử dụng bởi mô hình học tập bắt chước để tạo ra và cải thiện dần mô hình khuôn mặt đầu vào.

Hệ thống học tập bắt chước có kiến trúc mô phỏng cách trò chơi tạo ra mô hình nhân vật với phong cách không đổi. Mô hình bắt chước được thiết kế để trích xuất thực tế của khuôn mặt, tính đến các biến phức tạp như râu, son môi, lông mày và kiểu tóc. Các tham số khuôn mặt được cập nhật thông qua quá trình gradient descent, so sánh với đầu vào. Sự khác biệt giữa các tính năng đầu vào và mô hình được tạo ra不断 được kiểm tra và điều chỉnh cho đến khi mô hình trong trò chơi phù hợp với các tính năng đầu vào.

Sau khi mạng lưới bắt chước đã được đào tạo, hệ thống dịch tham số kiểm tra đầu ra của mạng lưới bắt chước với các tính năng hình ảnh đầu vào, quyết định không gian tính năng cho phép tính toán các tham số khuôn mặt tối ưu.

Thử thách lớn nhất là đảm bảo rằng các mô hình nhân vật 3D có thể giữ lại chi tiết và ngoại hình dựa trên ảnh của con người. Đây là một vấn đề liên miền, nơi các hình ảnh 3D được tạo ra và các hình ảnh 2D của người thực phải được so sánh và các tính năng cốt lõi của cả hai phải giống nhau.

Các nhà nghiên cứu đã giải quyết vấn đề này bằng hai kỹ thuật khác nhau. Kỹ thuật đầu tiên là chia quá trình đào tạo mô hình thành hai nhiệm vụ học tập khác nhau: nhiệm vụ nội dung khuôn mặt và nhiệm vụ phân biệt. Hình dạng và cấu trúc chung của khuôn mặt một người được xác định bằng cách giảm thiểu sự khác biệt / mất mát giữa hai giá trị ngoại hình toàn cầu, trong khi các chi tiết phân biệt / tinh vi được điền vào bằng cách giảm thiểu mất mát giữa các thứ như bóng trong một khu vực nhỏ. Hai nhiệm vụ học tập khác nhau được hợp nhất để đạt được một biểu diễn hoàn chỉnh.

Kỹ thuật thứ hai được sử dụng để tạo ra mô hình 3D là một hệ thống xây dựng khuôn mặt 3D sử dụng cấu trúc xương mô phỏng, tính đến hình dạng xương. Điều này cho phép các nhà nghiên cứu tạo ra các hình ảnh 3D tinh vi và chính xác hơn so với các hệ thống mô hình 3D khác dựa trên lưới hoặc mạng lưới khuôn mặt.

Việc tạo ra một hệ thống có thể tạo ra các mô hình 3D thực tế dựa trên hình ảnh 2D là ấn tượng, nhưng hệ thống tạo tự động không chỉ hoạt động trên ảnh 2D. Hệ thống cũng có thể lấy các bản phác thảo và hình ảnh hài hước của khuôn mặt và hiển thị chúng dưới dạng mô hình 3D với độ chính xác ấn tượng. Các nhà nghiên cứu nghi ngờ rằng hệ thống có thể tạo ra các mô hình chính xác dựa trên các nhân vật 2D vì hệ thống phân tích ngữ nghĩa khuôn mặt thay vì giải thích các giá trị pixel thô.

Mặc dù công cụ tạo nhân vật tự động có thể được sử dụng để tạo ra các nhân vật dựa trên ảnh, nhưng các nhà nghiên cứu cho rằng người dùng cũng nên sử dụng nó như một kỹ thuật bổ sung và chỉnh sửa thêm nhân vật được tạo ra theo sở thích của họ.