Adobe: Thắp sáng thế giới thực bằng kết xuất thần kinh

Các nhà nghiên cứu từ Adobe đã tạo ra một hệ thống kết xuất nơ-ron cho các cảnh trong nhà trong thế giới thực có khả năng tái tạo ánh sáng tinh vi, cung cấp giao diện thời gian thực và xử lý các bề mặt bóng và phản xạ – một thách thức đáng chú ý đối với các phương pháp tổng hợp hình ảnh cạnh tranh như Trường bức xạ thần kinh (NeRF) .

Ở đây, cảnh trong thế giới thực đã được tái tạo từ một số hình ảnh tĩnh, làm cho cảnh có thể điều hướng được. Ánh sáng có thể được thêm vào và thay đổi về màu sắc và chất lượng, trong khi phản xạ vẫn chính xác và các bề mặt bóng thể hiện chính xác sự thay đổi của người dùng về nguồn sáng và/hoặc phong cách. Nguồn: https://www.youtube.com/watch?v=d3ma4opFpgM

Hệ thống mới cho phép điều khiển theo kiểu Photoshop, điều khiển bằng GUI đối với các khía cạnh ánh sáng của cảnh 3D thực được chụp vào một không gian thần kinh, bao gồm cả bóng và phản xạ.

GUI cho phép người dùng thêm (và điều chỉnh) nguồn sáng vào cảnh trong thế giới thực đã được tái tạo từ một số ít ảnh và điều hướng tự do qua nó như thể đó là một kịch bản dựa trên lưới kiểu CGI.

giấy, đã gửi tới Giao dịch ACM trên Đồ họa và có tên Chế độ xem miễn phí Chiếu sáng thần kinh trong nhà từ Âm thanh nổi đa chế độ xem, là sự hợp tác giữa Adobe Research và các nhà nghiên cứu từ Đại học Côte d'Azur.

Nguồn: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (nhấp để xem phiên bản độ phân giải đầy đủ)

Như với Trường bức xạ thần kinh (NeRF), hệ thống sử dụng phương pháp quang trắc (phía trên bên trái), trong đó sự hiểu biết về một cảnh được suy ra từ một số lượng ảnh hạn chế và các góc nhìn 'còn thiếu' được đào tạo thông qua học máy cho đến khi có sẵn mô hình hoàn chỉnh và trừu tượng hoàn toàn của cảnh đó cho quảng cáo. hoc diễn giải lại.

Hệ thống đã được đào tạo hoàn toàn dựa trên dữ liệu tổng hợp (CGI), nhưng các mô hình 3D được sử dụng đã được xử lý chính xác như sẽ xảy ra nếu một người chụp một số bức ảnh giới hạn về cảnh thực để diễn giải bằng thần kinh. Hình ảnh trên cho thấy một cảnh tổng hợp đang được chiếu lại, nhưng chế độ xem 'phòng ngủ' trong hình ảnh trên cùng (hoạt hình) ở trên được lấy từ ảnh thực tế được chụp trong phòng thực.

Sự biểu diễn ngầm của cảnh được lấy từ vật liệu nguồn thông qua Mạng thần kinh chuyển đổi (CNN) và được chia thành nhiều lớp, bao gồm độ phản xạ, bức xạ nguồn (bức xạ/chiếu sáng toàn cầu) và suất phản chiếu.

Kiến trúc của hệ thống chiếu sáng Adobe. Tập dữ liệu nhiều chế độ xem được xử lý trước và hình dạng lưới 3D được tạo từ dữ liệu đầu vào. Khi phải thêm một ánh sáng mới, bức xạ được tính toán trong thời gian thực và chế độ xem độ sáng được tổng hợp. (bấm vào để xem phiên bản độ phân giải đầy đủ)

Thuật toán kết hợp các khía cạnh của phương pháp dò tia truyền thống (Monte Carlo) và Kết xuất dựa trên hình ảnh (IBR, kết xuất thần kinh).

Mặc dù một số lượng lớn nghiên cứu gần đây về Trường bức xạ thần kinh có liên quan đến việc trích xuất hình học 3D từ hình ảnh phẳng, nhưng sản phẩm của Adobe là lần đầu tiên khả năng tái tạo ánh sáng tinh vi cao được chứng minh thông qua phương pháp này.

Thuật toán cũng giải quyết một hạn chế truyền thống khác của NeRF và các phương pháp tương tự, bằng cách tính toán bản đồ phản chiếu hoàn chỉnh, trong đó mọi phần của hình ảnh được gán một vật liệu phản chiếu 100%.

Các kết cấu được nhân đôi vạch ra các đường dẫn ánh sáng. (bấm vào để xem phiên bản độ phân giải đầy đủ)

Với bản đồ hệ số phản xạ tích hợp này, có thể 'giảm bớt' hệ số phản xạ để phù hợp với các mức phản xạ khác nhau trong các loại vật liệu khác nhau như gỗ, kim loại và đá. Bản đồ hệ số phản xạ (ở trên) cũng cung cấp một mẫu hoàn chỉnh cho bản đồ tia, có thể được sử dụng lại cho mục đích điều chỉnh ánh sáng khuếch tán.

Các lớp khác trong hệ thống kết xuất thần kinh Adobe. (bấm vào để xem phiên bản độ phân giải đầy đủ)

Chụp cảnh ban đầu sử dụng 250-350 ảnh RAW từ đó lưới được tính toán qua Âm thanh nổi nhiều góc nhìn. Dữ liệu được tóm tắt thành các bản đồ tính năng đầu vào 2D, sau đó được chiếu lại vào chế độ xem mới. Những thay đổi về ánh sáng được tính toán bằng cách lấy trung bình các lớp bóng và khuếch tán của cảnh được chụp.

Lớp hình ảnh phản chiếu được tạo thông qua tính toán gương một tia nhanh (một lần nảy), ước tính giá trị nguồn ban đầu và sau đó là giá trị đích. Các bản đồ chứa thông tin về ánh sáng ban đầu của cảnh được lưu trữ trong dữ liệu thần kinh, tương tự như cách bản đồ độ phóng xạ thường được lưu trữ với dữ liệu cảnh CGI truyền thống.

Giải quyết các phản xạ kết xuất thần kinh

Có lẽ thành tựu chính của công việc là tách thông tin phản xạ khỏi lớp khuếch tán và các lớp khác trong dữ liệu. Thời gian tính toán được giảm xuống bằng cách đảm bảo rằng các chế độ xem hỗ trợ 'phản xạ' trực tiếp, chẳng hạn như gương, chỉ được tính cho chế độ xem người dùng đang hoạt động, thay vì cho toàn bộ cảnh.

Các nhà nghiên cứu tuyên bố rằng công trình này lần đầu tiên cho thấy khả năng tái tạo ánh sáng phù hợp với khả năng điều hướng chế độ xem tự do trong một khung duy nhất dành cho các cảnh phải tái tạo các bề mặt phản chiếu một cách chân thực.

Một số hy sinh đã được thực hiện để đạt được chức năng này và các nhà nghiên cứu thừa nhận rằng các phương pháp trước đây sử dụng các mắt lưới trên mỗi khung nhìn phức tạp hơn thể hiện hình học được cải thiện cho các đối tượng nhỏ. Các hướng tiếp cận trong tương lai của Adobe sẽ bao gồm việc sử dụng hình học trên mỗi lần xem để cải thiện khía cạnh này.