Adobe: Tái chiếu sáng Thế giới Thực với Rendering Neural

Những nhà nghiên cứu từ Adobe đã tạo ra một hệ thống rendering neural cho các cảnh trong nhà trong thế giới thực, có khả năng tái chiếu sáng tinh vi, cung cấp giao diện thời gian thực và xử lý các bề mặt bóng và phản xạ – một thách thức đáng chú ý đối với các phương pháp tổng hợp hình ảnh cạnh tranh như Neural Radiance Fields (NeRF).

Tại đây, một cảnh trong thế giới thực đã được tái tạo từ một số hình ảnh tĩnh, làm cho cảnh trở nên có thể điều hướng. Ánh sáng có thể được thêm và thay đổi màu sắc và chất lượng, trong khi phản xạ vẫn chính xác, và các bề mặt bóng phản xạ chính xác sự thay đổi của nguồn ánh sáng và / hoặc phong cách của người dùng. Nguồn: https://www.youtube.com/watch?v=d3ma4opFpgM

Hệ thống mới cho phép kiểm soát giao diện người dùng kiểu Photoshop đối với các khía cạnh ánh sáng của một cảnh 3D thực đã được chụp vào không gian neural, bao gồm bóng và phản xạ.

Giao diện người dùng cho phép người dùng thêm (và điều chỉnh) nguồn ánh sáng vào một cảnh trong thế giới thực đã được tái tạo từ một số hình ảnh tĩnh, và điều hướng tự do trong đó như thể nó là một kịch bản dựa trên lưới CGI.

Bài báo này, được gửi đến ACM Transactions on Graphics và có tiêu đề Free-viewpoint Indoor Neural Relighting from Multi-view Stereo, là một sự hợp tác giữa Adobe Research và các nhà nghiên cứu từ Université Côte d’Azur.

Nguồn: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (nhấp để xem phiên bản đầy đủ)

Giống như Neural Radiance Fields (NeRF), hệ thống sử dụng photogrammetry (trên cùng bên trái), trong đó sự hiểu biết về một cảnh được suy luận từ một số lượng hạn chế các hình ảnh, và các ‘điểm nhìn’ bị thiếu được đào tạo thông qua học máy cho đến khi một mô hình hoàn chỉnh và hoàn toàn trừu tượng của cảnh được có sẵn cho việc tái diễn giải.

Hệ thống đã được đào tạo hoàn toàn trên dữ liệu tổng hợp (CGI), nhưng các mô hình 3D được sử dụng đã được xử lý chính xác như thể một người đang chụp một số hình ảnh hạn chế của một cảnh thực để giải thích neural.

Biểu diễn ngầm của cảnh được thu được từ tài liệu nguồn thông qua một Mạng nơ-ron tích chập (CNN), và được chia thành nhiều lớp, bao gồm phản xạ, bức xạ nguồn (bức xạ / chiếu sáng toàn cầu) và albedo.

Cấu trúc của hệ thống tái chiếu sáng neural của Adobe. Bộ dữ liệu đa góc nhìn được tiền xử lý, và hình học lưới 3D được tạo ra từ dữ liệu đầu vào. Khi một nguồn ánh sáng mới phải được thêm, bức xạ được tính toán trong thời gian thực, và tầm nhìn được tổng hợp lại. (nhấp để xem phiên bản đầy đủ)

Thuật toán kết hợp các khía cạnh của việc theo dõi tia truyền thống (Monte Carlo) và Rendering dựa trên hình ảnh (IBR, rendering neural).

Mặc dù một lượng đáng kể nghiên cứu gần đây về Neural Radiance Fields đã liên quan đến việc trích xuất hình học 3D từ hình ảnh phẳng, nhưng đề xuất của Adobe là lần đầu tiên tái chiếu sáng tinh vi đã được chứng minh thông qua phương pháp này.

Thuật toán cũng giải quyết một hạn chế truyền thống khác của NeRF và các phương pháp tương tự, bằng cách tính toán một bản đồ phản xạ hoàn chỉnh, nơi mỗi phần của hình ảnh được gán một vật liệu phản xạ 100%.

Văn bản phản xạ ánh xạ các đường dẫn ánh sáng. (nhấp để xem phiên bản đầy đủ)

Với bản đồ phản xạ tích hợp này, có thể ‘điều chỉnh’ độ phản xạ để thích ứng với các mức độ phản xạ khác nhau trong các loại vật liệu như gỗ, kim loại và đá. Bản đồ phản xạ (trên) cũng cung cấp một khuôn mẫu hoàn chỉnh cho việc ánh xạ tia, có thể được tái sử dụng cho mục đích điều chỉnh ánh sáng khuếch tán.

Các lớp khác trong hệ thống rendering neural của Adobe. (nhấp để xem phiên bản đầy đủ)

Chụp ban đầu của cảnh sử dụng 250-350 hình ảnh RAW từ đó một lưới được tính toán thông qua Stereo đa góc nhìn. Dữ liệu được tóm tắt thành các bản đồ tính năng đầu vào 2D, sau đó được chiếu lại vào tầm nhìn mới. Thay đổi ánh sáng được tính toán bằng cách tính trung bình các lớp khuếch tán và bóng của cảnh được chụp.

Lớp phản xạ gương được tạo ra thông qua một phép tính gương đơn nhanh (một lần bật), ước tính các giá trị nguồn ban đầu và sau đó là các giá trị đích. Các bản đồ chứa thông tin về ánh sáng ban đầu của cảnh được lưu trữ trong dữ liệu neural, tương tự như cách các bản đồ bức xạ thường được lưu trữ với dữ liệu cảnh CGI truyền thống.

Giải quyết Phản xạ Rendering Neural

Có lẽ thành tựu chính của công việc này là việc tách biệt thông tin phản xạ khỏi các lớp khác trong dữ liệu. Thời gian tính toán được giữ thấp bằng cách đảm bảo rằng các tầm nhìn ‘phản xạ’ được tính toán chỉ cho tầm nhìn người dùng hoạt động, chứ không phải cho toàn bộ cảnh.

Những nhà nghiên cứu tuyên bố rằng công việc này đại diện cho lần đầu tiên khả năng tái chiếu sáng đã được kết hợp với khả năng điều hướng tầm nhìn miễn phí trong một khuôn khổ duy nhất cho các cảnh phải tái tạo các bề mặt phản xạ một cách thực tế.

Một số hy sinh đã được thực hiện để đạt được chức năng này, và những nhà nghiên cứu thừa nhận rằng các phương pháp trước đó sử dụng lưới đa góc nhìn phức tạp hơn cho thấy hình học được cải thiện cho các vật thể nhỏ. Các hướng tương lai cho phương pháp của Adobe sẽ bao gồm việc sử dụng hình học đa góc nhìn để cải thiện khía cạnh này.