Các nhà nghiên cứu AI tạo ra mô hình khuôn mặt trò chơi video 3D từ ảnh của người dùng

Một nhóm các nhà nghiên cứu tại NetEase, một công ty trò chơi của Trung Quốc, đã tạo ra một hệ thống có thể tự động trích xuất khuôn mặt từ ảnh và tạo ra mô hình trong trò chơi bằng dữ liệu hình ảnh. Kết quả của bài báo, có tiêu đề Face-to-Parameter Translation for Game Character Auto-Creation, đã được tóm tắt bởi Synced trên Medium.

Ngày càng nhiều nhà phát triển trò chơi đang chọn sử dụng AI để tự động hóa các nhiệm vụ tốn thời gian. Ví dụ, các nhà phát triển trò chơi đã sử dụng các thuật toán AI để giúp hiển thị chuyển động của các nhân vật và đối tượng. Một ứng dụng gần đây khác của AI bởi các nhà phát triển trò chơi là tạo ra các công cụ tùy chỉnh nhân vật mạnh mẽ hơn.

Tùy chỉnh nhân vật là một tính năng được yêu thích của các trò chơi điện tử nhập vai, cho phép người chơi tùy chỉnh hình đại diện của họ theo nhiều cách khác nhau. Nhiều người chơi chọn tạo hình đại diện của họ giống như chính họ, điều này trở nên dễ dàng hơn khi hệ thống tùy chỉnh nhân vật trở nên tinh vi hơn. Tuy nhiên, khi các công cụ tạo nhân vật trở nên tinh vi hơn, chúng cũng trở nên phức tạp hơn. Việc tạo ra một nhân vật giống như chính mình có thể mất hàng giờ để điều chỉnh các thanh trượt và thay đổi các tham số bí ẩn. Nhóm nghiên cứu của NetEase nhằm thay đổi tất cả điều đó bằng cách tạo ra một hệ thống phân tích ảnh của người chơi và tạo ra mô hình khuôn mặt của người chơi trên nhân vật trong trò chơi.

Công cụ tạo nhân vật tự động bao gồm hai phần: hệ thống học tập bắt chước và hệ thống dịch tham số. Hệ thống dịch tham số trích xuất các tính năng từ hình ảnh đầu vào và tạo ra các tham số cho hệ thống học tập sử dụng. Các tham số này sau đó được sử dụng bởi mô hình học tập bắt chước để tạo ra và cải thiện mô hình khuôn mặt đầu vào.

Hệ thống học tập bắt chước có kiến trúc mô phỏng cách trò chơi tạo ra các mô hình nhân vật với phong cách không đổi. Mô hình bắt chước được thiết kế để trích xuất thực tế của khuôn mặt, tính đến các biến số phức tạp như râu, son môi, lông mày và kiểu tóc. Các tham số khuôn mặt được cập nhật thông qua quá trình gradient descent, so sánh với đầu vào. Sự khác biệt giữa các tính năng đầu vào và mô hình được tạo ra不断 được kiểm tra, và các điều chỉnh được thực hiện cho mô hình cho đến khi mô hình trong trò chơi phù hợp với các tính năng đầu vào.

Sau khi mạng lưới bắt chước đã được đào tạo, hệ thống dịch tham số kiểm tra đầu ra của mạng lưới bắt chước so với các tính năng hình ảnh đầu vào, quyết định không gian tính năng cho phép tính toán các tham số khuôn mặt tối ưu.

Thử thách lớn nhất là đảm bảo rằng các mô hình nhân vật 3D có thể bảo tồn chi tiết và ngoại hình dựa trên ảnh của con người. Đây là một vấn đề liên miền, nơi các hình ảnh 3D được tạo ra và các hình ảnh 2D của người thực phải được so sánh và các tính năng cốt lõi của cả hai phải giống nhau.

Các nhà nghiên cứu đã giải quyết vấn đề này bằng hai kỹ thuật khác nhau. Kỹ thuật đầu tiên là chia nhỏ quá trình đào tạo mô hình thành hai nhiệm vụ học tập khác nhau: nhiệm vụ nội dung khuôn mặt và nhiệm vụ phân biệt. Hình dạng và cấu trúc chung của khuôn mặt một người được xác định bằng cách giảm thiểu sự khác biệt / mất mát giữa hai giá trị ngoại hình toàn cầu, trong khi các chi tiết phân biệt / tinh tế được điền vào bằng cách giảm thiểu mất mát giữa các thứ như bóng trong một khu vực nhỏ. Hai nhiệm vụ học tập khác nhau được hợp nhất lại để đạt được một đại diện hoàn chỉnh.

Kỹ thuật thứ hai được sử dụng để tạo ra các mô hình 3D là một hệ thống xây dựng khuôn mặt 3D sử dụng một cấu trúc xương mô phỏng, tính đến hình dạng xương. Điều này cho phép các nhà nghiên cứu tạo ra các hình ảnh 3D tinh vi và chính xác hơn so với các hệ thống mô hình 3D khác dựa trên lưới hoặc mạng lưới khuôn mặt.

Việc tạo ra một hệ thống có thể tạo ra các mô hình 3D thực tế dựa trên hình ảnh 2D là ấn tượng, nhưng hệ thống tạo tự động không chỉ hoạt động trên ảnh 2D. Hệ thống cũng có thể lấy các bản phác thảo và hình ảnh khuôn mặt và hiển thị chúng dưới dạng mô hình 3D với độ chính xác ấn tượng. Nhóm nghiên cứu nghi ngờ rằng hệ thống có thể tạo ra các mô hình chính xác dựa trên các nhân vật 2D vì hệ thống phân tích các ngữ nghĩa khuôn mặt thay vì giải thích các giá trị pixel thô.

Trong khi công cụ tạo nhân vật tự động có thể được sử dụng để tạo ra các nhân vật dựa trên ảnh, các nhà nghiên cứu cho biết người dùng cũng nên có thể sử dụng nó như một kỹ thuật bổ sung và chỉnh sửa thêm nhân vật được tạo ra theo sở thích của họ.