Disney Kết Hợp CGI Với Rendering Neuron Để Đối Phó Với ‘Thung Lũng Không Thể Hiểu’

Bộ phận nghiên cứu trí tuệ nhân tạo của Disney đã phát triển một phương pháp kết hợp để mô phỏng khuôn mặt chất lượng phim, kết hợp điểm mạnh của việc渲染 khuôn mặt neuron với sự nhất quán của phương pháp dựa trên CGI.

Bài báo đang chờ được xuất bản có tiêu đề Rendering với Phong Cách: Kết Hợp Các Phương Pháp Truyền Thống và Neuron Để渲染 Khuôn Mặt Chất Lượng Cao, và được xem trước trong một video mới 10 phút tại kênh YouTube của Disney Research (đính kèm ở cuối bài viết*).

Các lưới kết hợp với渲染 khuôn mặt neuron. Xem video đính kèm ở cuối bài viết để có chi tiết và chất lượng tốt hơn. Nguồn: https://www.youtube.com/watch?v=k-RKSGbWLng (đã được thay thế bằng https://www.youtube.com/watch?v=TwpLqTmvqVk)

Như video đã lưu ý, 渲染 neuron của khuôn mặt (bao gồm cả deepfakes) có thể tạo ra mắt và miệng nội thất thực tế hơn nhiều so với CGI có thể, trong khi các kết cấu khuôn mặt được điều khiển bởi CGI hơn là nhất quán và phù hợp cho đầu ra VFX cấp độ điện ảnh.

Do đó, Disney đang thử nghiệm việc cho phép bộ tạo neuron NVIDIA StyleGan2 xử lý các đặc điểm xung quanh của khuôn mặt và các yếu tố ‘quan trọng đối với cuộc sống’ như mắt, trong khi chồng lên các kết cấu khuôn mặt CGI nhất quán vào đầu ra.

Từ video (xem cuối bài viết), khái niệm kiến trúc về phương pháp kết hợp của Disney, nơi một lưới CGI cổ điển, loại được sử dụng để tái tạo ‘trẻ’ Carrie Fisher và người late Peter Cushing cho Rogue One (2016), được tích hợp vào môi trường khuôn mặt neuron.

Video lưu ý:

‘[Vẫn] còn một khoảng cách lớn giữa những gì người ta có thể dễ dàng chụp và渲染 so với các bản sao kỹ thuật số photorealistic cuối cùng, hoàn chỉnh với tóc, mắt và miệng nội thất. Để đóng khoảng cách này, thường cần rất nhiều công việc thủ công từ các nghệ sĩ có kỹ năng.’

Thực tế, thậm chí các hệ thống bắt giữ khuôn mặt hiện đại không cố gắng tái tạo mắt, miệng nội thất hoặc tóc, những thứ có vấn đề về tính xác thực trong các kỹ thuật này (mắt) hoặc tính nhất quán thời gian (tóc).

Video minh họa những gì các nghệ sĩ VFX sẽ nhận được sau một phiên bắt giữ khuôn mặt hiện đại. Mắt, tóc, râu và miệng nội thất sẽ phải được xử lý bởi các đội riêng biệt trong quy trình sản xuất, ngoài việc kết cấu và ánh sáng.

Kiểm Soát Ánh Sáng

Phương pháp kết hợp cũng là một lợi thế với việc tái chiếu sáng – một thách thức đáng kể cho việc渲染 neuron của khuôn mặt, vì các chồng lên kết cấu khuôn mặt CGI có thể được chiếu sáng lại dễ dàng hơn.

Một phiên bản hoạt hình của phương pháp CGI/Neuron.

Trong các môi trường thách thức hơn, như quay ngoại cảnh, các nhà nghiên cứu đã phát triển một phương pháp để vẽ lại xung quanh một loại khu vực trung lập xung quanh người được ‘tạo’.

Một biên giới đen được tạo ra để cho phép một ‘họa canvas’ để vẽ lại các phần bên ngoài của bản sắc và tích hợp kết cấu khuôn mặt CGI vào đầu ra kết hợp CGI/neuron.

Video lưu ý:

‘[渲染 neuron] không khớp hoàn hảo với ràng buộc nền. – nó chỉ được sử dụng như một hướng dẫn, vì tối ưu hóa cho các thành phần con người thực tế như tóc, mắt và răng là mục tiêu chính. Thách thức hơn là cố gắng duy trì một bản sắc nhất quán, trong khi thay đổi ánh sáng môi trường.’

Tạo Lưới CGI Từ 渲染 Neuron

Đội ngũ nghiên cứu cũng đã phát triển một bộ tự động mã hóa biến thể được đào tạo trên một cơ sở dữ liệu lớn (không xác định) của hình ảnh khuôn mặt 3D, và tuyên bố rằng nó có thể tạo ra ‘ngẫu nhiên nhưng hợp lý’ lưới khuôn mặt 3D từ dữ liệu thực.

Có những hạn chế cho nghiên cứu này để vượt qua, bao gồm khó khăn trong việc giữ tóc nhất quán về thời gian trong các bản渲染 neuron, và video (xem dưới) cho thấy một số ví dụ về tóc biến đổi nhanh trong một bản quay nhất quán xung quanh khuôn mặt CGI/neuron.

Tính nhất quán thời gian trong渲染 video neuron là một vấn đề rộng lớn hơn nhiều so với chỉ của Disney, và dường như có khả năng các phiên bản sau của hệ thống này có thể sử dụng thêm tóc ‘trong bài viết’, hoặc các phương pháp khác để tạo tóc khác với hy vọng rằng một phương pháp neuron mới sẽ giải quyết nó.

Sử Dụng Để Tạo Dữ Liệu

Phương pháp này cũng được đề xuất như một phương pháp tạo dữ liệu tổng hợp, và làm giàu bộ dữ liệu hình ảnh khuôn mặt, điều này trong những năm gần đây đã trở nên độc át.

Disney hình dung phương pháp mới này sẽ làm đầy bộ dữ liệu hình ảnh khuôn mặt.

‘[Mỗi] kết quả photorealistic chúng tôi tạo ra có một hình học cơ bản tương ứng, và bản đồ ngoại hình, được渲染 từ các góc nhìn máy ảnh không xác định với ánh sáng đã biết. Thông tin ‘ground truth’ này có thể rất quan trọng cho việc đào tạo các ứng dụng hạ nguồn, như tái tạo khuôn mặt 3D, nhận dạng khuôn mặt, hoặc hiểu cảnh. Và mỗi kết quả渲染 có thể được coi là một mẫu dữ liệu, và chúng tôi có thể tạo ra nhiều biến thể của nhiều cá nhân khác nhau.

‘Hơn nữa, thậm chí đối với một người được渲染 trong một biểu cảm duy nhất với một góc nhìn duy nhất và ánh sáng, chúng tôi có thể tạo ra các biến thể ngẫu nhiên của bản渲染 photorealistic bằng cách thay đổi hạt ngẫu nhiên trong quá trình tối ưu hóa.’

Các nhà nghiên cứu lưu ý rằng sự đa dạng của đầu ra có thể cấu hình này có thể hữu ích trong việc đào tạo các ứng dụng nhận dạng khuôn mặt, kết luận:

‘[Phương pháp] của chúng tôi có thể tận dụng công nghệ hiện tại cho việc bắt giữ, mô hình hóa và渲染 khuôn mặt, và tự động tạo ra các bản渲染 khuôn mặt photorealistic hoàn chỉnh phù hợp với bản sắc, biểu cảm và cấu hình cảnh mong muốn. Phương pháp này có ứng dụng và渲染 khuôn mặt cho phim và giải trí, giúp tiết kiệm lao động thủ công của các nghệ sĩ và cũng cho việc tạo dữ liệu trong các lĩnh vực học sâu khác nhau.’

Để có một cái nhìn sâu hơn về phương pháp mới, hãy xem video 10 phút được phát hành hôm nay:

 * Liên kết video gốc đã được thay thế bằng một liên kết khác rõ ràng là giống hệt. Tôi đã thay đổi tất cả các liên kết liên quan, vì không có dấu vết của video gốc.

8:24 GMT+2 – Thay thế video, vì nó đã được thay thế bằng một video khác trên kênh YouTube của Disney Research vì một số lý do.