Liệu Môi Trường Thực Tế Tăng Cường Của Apple Có Thể Giải Quyết Vấn Đề Phản Xạ Trong Rendering Neural?

Đầu tư mạnh mẽ và lâu dài của Apple vào các công nghệ Thực tế Tăng cường đang được đẩy mạnh trong năm nay, với một loạt các công cụ mới cho các nhà phát triển để chụp và chuyển đổi các vật thể trong thế giới thực thành các mặt của Thực tế Tăng cường, và một niềm tin ngày càng tăng trong ngành rằng thiết bị đeo Thực tế Tăng cường chuyên dụng đang đến để hỗ trợ các trải nghiệm nhập vai mà cơn bão nghiên cứu và phát triển này có thể kích hoạt.

Trong số một loạt thông tin mới về nỗ lực của Apple trong Thực tế Tăng cường, một bài báo mới từ bộ phận nghiên cứu thị giác máy tính của công ty tiết lộ một phương pháp sử dụng hình ảnh toàn cảnh 360 độ với độ phân giải cao (HDR) để cung cấp phản xạ và ánh sáng cụ thể cho các vật thể được superimposed vào các cảnh Thực tế Tăng cường.

Được đặt tên là Đánh giá Bản đồ Môi Trường HDR cho Thực tế Tăng cường Thời gian Thực, bài báo, bởi Kỹ sư Nghiên cứu Thị giác Máy tính của Apple Gowri Somanath và Quản lý Học máy Senior Daniel Kurz, đề xuất việc tạo ra các môi trường HDR động thông qua một mạng nơ-ron tích chập (CNN) chạy trong môi trường xử lý di động. Kết quả là các vật thể phản xạ có thể phản chiếu các môi trường mới, chưa từng thấy, theo yêu cầu:

Trong quy trình tạo vật thể AR mới của Apple, một nồi áp suất được tạo bằng photogrammetry hoàn chỉnh với môi trường xung quanh, dẫn đến các phản xạ thuyết phục không được ‘nướng’ vào kết cấu. Nguồn: https://docs-assets.developer.apple.com/

Phương pháp, được công bố tại CVPR 2021, chụp một ảnh của toàn bộ cảnh và sử dụng EnvMapNet CNN để ước tính một hình ảnh toàn cảnh HDR hoàn chỉnh về mặt thị giác, cũng được gọi là ‘light probe’.

Bản đồ kết quả xác định các nguồn sáng mạnh (được đánh dấu ở cuối trong đoạn hoạt hình trên) và tính toán chúng trong quá trình kết xuất các vật thể ảo.

Cấu trúc của EnvMapNet, xử lý hình ảnh hạn chế thành các bản đồ ánh sáng HDR toàn cảnh. Nguồn: https://arxiv.org/pdf/2011.10687.pdf

Thuật toán có thể chạy trong dưới 9ms trên iPhone XS và có khả năng kết xuất các vật thể phản xạ trong thời gian thực, với sai số hướng giảm 50% so với các phương pháp trước đó và khác nhau để giải quyết vấn đề.

Light Probes

Môi trường ánh sáng HDR đã là một yếu tố trong hiệu ứng thị giác từ khi hình ảnh độ phân giải cao (được phát minh vào năm 1986) trở thành một lực lượng đáng kể thông qua sự tiến bộ của công nghệ máy tính vào những năm 1990. Bất kỳ ai xem cảnh quay hậu trường có thể đã nhận thấy sự hiện diện siêu thực của các kỹ thuật viên cầm các quả bóng gương trên que – hình ảnh tham chiếu để được kết hợp như các yếu tố môi trường khi tái tạo các yếu tố CGI cho cảnh.

Nguồn: https://beforesandafters.com/

Tuy nhiên, sử dụng các quả bóng crom cho phản xạ ánh sáng kết cấu predates những năm 1990, quay lại giấy SIGGRAPH năm 1983 Pyramidal Parametrics, đã giới thiệu các hình ảnh tĩnh của một robot CGI phản xạ trong một phong cách sẽ trở nên nổi tiếng gần một thập kỷ sau đó thông qua các hiệu ứng ‘kim loại lỏng’ của James Cameron’s Terminator 2: Judgement Day.

HDR Environments In Neural Rendering?

Neural rendering cung cấp khả năng tạo ra video photorealistic từ đầu vào rất thưa thớt, bao gồm cả bản đồ phân khúc thô.