Công ty Disney Kết hợp CGI với Rendering Neuron để Tackle ‘Thung lũng kỳ lạ’

Phòng nghiên cứu trí tuệ nhân tạo của Disney đã phát triển một phương pháp kết hợp để mô phỏng khuôn mặt chất lượng điện ảnh, kết hợp điểm mạnh của việc渲染 khuôn mặt neuron với sự nhất quán của phương pháp dựa trên CGI.

Bài báo đang chờ được công bố có tiêu đề Rendering with Style: Kết hợp Traditional và Neural Approaches cho High Quality Face Rendering, và được giới thiệu trong một video mới 10 phút tại kênh YouTube của Disney Research (được nhúng ở cuối bài viết này*).

Meshes kết hợp với渲染 khuôn mặt neuron. Xem video nhúng ở cuối bài viết để có chi tiết và chất lượng tốt hơn. Nguồn: https://www.youtube.com/watch?v=k-RKSGbWLng (đã được thay thế bằng https://www.youtube.com/watch?v=TwpLqTmvqVk)

Como video lưu ý, 渲染 khuôn mặt neuron (bao gồm cả deepfakes) có thể tạo ra mắt và miệng nội thất thực tế hơn nhiều so với CGI, trong khi các texture khuôn mặt dựa trên CGI phù hợp hơn và phù hợp cho đầu ra VFX cấp điện ảnh.

Do đó, Disney đang thử nghiệm việc cho phép bộ tạo neuron StyleGan2 của NVIDIA xử lý các tính năng xung quanh khuôn mặt và các yếu tố ‘quan trọng’ như mắt, trong khi chồng lên các texture khuôn mặt CGI nhất quán vào đầu ra.

Từ video (xem cuối bài viết), khái niệm kiến trúc về phương pháp kết hợp của Disney, nơi một lưới CGI cũ được tích hợp vào môi trường khuôn mặt neuron.

Video lưu ý:

‘[Có] vẫn còn một khoảng cách lớn giữa những gì người ta có thể dễ dàng chụp và渲染 so với các bản sao kỹ thuật số photorealistic cuối cùng, hoàn chỉnh với tóc, mắt và răng. Để đóng khoảng cách này, thường cần phải có rất nhiều công việc thủ công từ các nghệ sĩ có kỹ năng.’

Kiểm soát Ánh sáng

Phương pháp kết hợp này cũng có lợi khi tái chiếu sáng – một thách thức đáng chú ý cho việc渲染 khuôn mặt neuron, vì các chồng lên texture khuôn mặt CGI có thể dễ dàng tái chiếu sáng hơn.

Một phiên bản hoạt hình của phương pháp CGI/Neuron.

Trong các môi trường khó khăn hơn, chẳng hạn như quay ngoại cảnh, các nhà nghiên cứu đã phát triển một phương pháp để vẽ lại xung quanh một loại khu vực phi quân sự xung quanh người được ‘tạo’.

Một biên giới đen được tạo ra để cho phép một ‘bàn vẽ’ để vẽ lại các phần bên ngoài của bản sắc và tích hợp texture khuôn mặt CGI vào đầu ra kết hợp CGI/neuron.

Video lưu ý:

‘[渲染 neuron] không khớp hoàn hảo với ràng buộc nền. – nó chỉ được sử dụng như một hướng dẫn, vì tối ưu hóa cho các thành phần con người thực tế như tóc, mắt và răng là mục tiêu chính. Thử thách hơn là cố gắng duy trì một bản sắc nhất quán, trong khi thay đổi ánh sáng môi trường.’

Tạo Lưới CGI từ 渲染 Neuron

Đội ngũ nghiên cứu cũng đã phát triển một bộ tự động mã hóa biến thể được đào tạo trên một (không xác định) cơ sở dữ liệu lớn của hình ảnh khuôn mặt 3D, và tuyên bố rằng nó có thể tạo ra ‘ngẫu nhiên nhưng hợp lý’ lưới khuôn mặt 3D từ dữ liệu thực tế.

Có những hạn chế cho nghiên cứu này để vượt qua, bao gồm khó khăn trong việc giữ tóc nhất quán trong các渲染 neuron, và video (xem dưới) cho thấy một số ví dụ về tóc đột biến nhanh trong một vòng quay nhất quán xung quanh một khuôn mặt CGI/neuron.

Thời gian nhất quán trong渲染 video neuron là một vấn đề rộng lớn hơn nhiều so với chỉ của Disney, và dường như có thể rằng các phiên bản sau của hệ thống này có thể sử dụng thêm tóc ‘trong hậu kỳ’, hoặc các phương pháp khác để tạo tóc hơn là hy vọng một phương pháp neuron mới sẽ giải quyết vấn đề này.

Sử dụng cho Tạo Dữ liệu

Phương pháp này cũng được đề xuất như một phương pháp tạo dữ liệu tổng hợp, và làm phong phú bộ sưu tập hình ảnh khuôn mặt, mà trong những năm gần đây đã trở nên nhàm chán.

Disney hình dung phương pháp mới này sẽ tạo ra các tập dữ liệu hình ảnh khuôn mặt.

‘[Mỗi] kết quả photorealistic mà chúng tôi tạo ra có một hình học cơ bản và bản đồ ngoại hình, được渲染 từ các góc nhìn máy ảnh không xác định với ánh sáng đã biết. Thông tin ‘ground truth’ này có thể rất quan trọng cho việc đào tạo các ứng dụng hạ nguồn, chẳng hạn như tái tạo khuôn mặt 3D, nhận dạng khuôn mặt, hoặc hiểu cảnh. Và mỗi kết quả渲染 có thể được coi là một mẫu dữ liệu, và chúng tôi có thể tạo ra nhiều biến thể của nhiều cá nhân khác nhau.

‘Hơn nữa, ngay cả đối với một người được渲染 trong một biểu cảm duy nhất với một góc nhìn duy nhất và ánh sáng, chúng tôi có thể tạo ra các biến thể ngẫu nhiên của渲染 photorealistic bằng cách thay đổi hạt ngẫu nhiên trong quá trình tối ưu hóa.’

Các nhà nghiên cứu lưu ý rằng sự đa dạng của đầu ra có thể cấu hình này có thể hữu ích trong việc đào tạo các ứng dụng nhận dạng khuôn mặt, kết luận:

‘[Phương pháp] của chúng tôi có thể tận dụng công nghệ hiện tại cho việc chụp, mô hình hóa và渲染 khuôn mặt, và tự động tạo ra các bản渲染 khuôn mặt photorealistic hoàn chỉnh phù hợp với bản sắc, biểu cảm và cấu hình cảnh mong muốn. Phương pháp này có ứng dụng và渲染 khuôn mặt cho phim và giải trí, giúp tiết kiệm lao động thủ công của các nghệ sĩ và cũng cho việc tạo dữ liệu trong các lĩnh vực học sâu khác nhau.’

Để có một cái nhìn sâu hơn về phương pháp mới này, hãy xem video 10 phút được phát hành hôm nay:

 * Liên kết video gốc đã được thay thế bằng một liên kết khác có vẻ giống hệt 8 giờ sau khi bài viết này được xuất bản. Tôi đã thay đổi tất cả các liên kết liên quan, vì không có dấu vết của video gốc.

8:24 GMT+2 – Thay thế video, vì nó đã được thay thế bởi kênh YouTube của Disney Research vì một số lý do.