Hệ Thống Tập Trung Thật Sự Cho Thực Tại Tăng Cường ‘Rẻ’

Những nhà nghiên cứu từ Viện Kỹ sư Điện và Điện tử (IEEE) đã phát triển một phương pháp để tăng tính xác thực của các cài đặt thực tại tăng cường dựa trên dự án với chi phí thấp, thông qua những chiếc kính đặc biệt khiến hình ảnh 3D được dự án vào và ra khỏi焦 điểm theo cách giống như nếu những vật thể đó là thật, vượt qua một chướng ngại vật nhận thức quan trọng cho việc sử dụng thực tế của các hệ thống dự án trong môi trường được kiểm soát.

Hệ thống IEEE tái tạo các mặt phẳng độ sâu cho hình ảnh thực và CGI được chồng lên vào các phòng. Trong trường hợp này, ba con thỏ Stanford CGI được chồng lên cùng mặt phẳng độ sâu với ba vật thể thế giới thực, và độ mờ của chúng được kiểm soát bởi nơi người xem đang nhìn và tập trung. Các máy chiếu 3D có thể đặt footage lên bề mặt cố định, bề mặt di chuyển, hoặc thậm chí hình học phức tạp, cung cấp phạm vi rộng mà khó có thể tái tạo dưới các hạn chế xử lý nghiêm ngặt của các hệ thống AR như HoloLens. Nguồn: https://www.youtube.com/watch?v=I8DGTQnxm38

Hệ thống sử dụng các thấu kính có thể điều chỉnh焦 điểm điện (ETL) được nhúng vào kính của người xem (điều này là cần thiết trong mọi trường hợp để tách hai luồng hình ảnh thành một trải nghiệm 3D tích hợp thuyết phục), và giao tiếp với hệ thống dự án, sau đó tự động thay đổi mức độ mờ của hình ảnh dự án mà người xem nhìn thấy.

Các thấu kính ETL báo cáo lại thông tin về sự chú ý của người dùng và đặt mức độ mờ trên cơ sở mỗi mặt phẳng cho việc渲染 của hình học dự án. Phát triển của hệ thống được phác thảo trong một video đi kèm, được nhúng ở cuối bài viết này.

Bài báo này, có tiêu đề Multifocal Stereoscopic Projection Mapping, cung cấp một mức độ khả dụng mới cho một lĩnh vực đã bị hạn chế bởi sự thiếu tích hợp với cách người dùng tập trung vào các vật thể khác nhau, và hứa hẹn sẽ vượt qua các vấn đề mà các hệ thống này đã gặp phải với mâu thuẫn giữa hội tụ và điều tiết (VAC) – một hội chứng trong đó khoảng cách được nhận thức giữa một vật thể không khớp với khoảng cách焦 điểm logic của nó, khiến vật thể đó ‘lơ lửng’ trong một cách không thuyết phục sắc nét nơi nó nên bị mờ trong bối cảnh vị trí của nó.

Trong các môi trường AR, như HoloLens của Microsoft, foveated rendering được sử dụng để tập trung sức mạnh xử lý,渲染 chi tiết và焦 điểm dựa trên nơi người dùng đang nhìn và tập trung. Tuy nhiên, các hệ thống AR đeo được như HoloLens có tải trọng phần cứng trên bo mạch cao hơn, vì chúng thực sự phải cung cấp hình ảnh 3D cho người xem.

Lợi Thế Của Thực Tại Tăng Cường Dự Án

Ngược lại, kính ETL chỉ gửi thông tin焦 điểm như một biến số bổ sung cho các đường ống CGI từ xa, có thể thay đổi焦 điểm của hình ảnh dự án nhanh hơn vòng tròn mà thông tin焦 điểm phải thực hiện trong một thiết bị AR đeo được (tức là thông tin焦 điểm > gửi đến bộ xử lý từ xa >渲染 > gửi lại cho người đeo), cải thiện độ trễ, điều này bản thân nó là một nguyên nhân gây ra sự mất định hướng của người xem trong các hệ thống AR.

Trên thực tế, foveated rendering được sử dụng nhiều để thích nghi với các nguồn lực hạn chế có sẵn cũng như để cung cấp một trải nghiệm焦 điểm xác thực cho người dùng, với các khu vực lớn của hình ảnh chồng lên nhau khó đạt được trong các hệ thống như HoloLens, và ‘letterbox rendering’ và các cạnh không ổn định là một phàn nàn nhất quán.

Từ SIGGRAPH 98 – một tầm nhìn của thực tại tăng cường trong môi trường văn phòng, được trích dẫn trong bài báo mới. Nguồn: https://www.youtube.com/watch?v=I8DGTQnxm38 và https://web.media.mit.edu/~raskar/UNC/Office/

Bài báo quan sát một số lợi thế đã biết mà ánh xạ dự án lập thể (PM) có hơn các triển khai hiện đại hơn của thực tại tăng cường, những thứ dựa trên thiết bị đeo nặng và cường độ cao, như các tác giả lưu ý*:

Thứ nhất, trường nhìn (FOV) có thể được thực hiện rộng nhất có thể bằng cách tăng số lượng máy chiếu để bao phủ toàn bộ môi trường. Thứ hai, kính chắn ánh sáng chủ động được sử dụng thường nhẹ hơn, và do đó, gánh nặng vật lý của chúng ít hơn so với HMD. Thứ ba, nhiều người dùng có thể chia sẻ cùng một trải nghiệm AR nếu điểm nhìn của họ đủ gần với nhau. Nhờ những lợi thế này, các nhà nghiên cứu đã tìm thấy ánh xạ dự án lập thể phù hợp cho một loạt các ứng dụng, bao gồm nhưng không giới hạn ở hướng dẫn bảo tàng, lập kế hoạch kiến trúc, thiết kế sản phẩm, đào tạo y tế, giao diện thay đổi hình dạng, và hội nghị truyền hình.

Một triển khai như vậy được thiết kế bởi Microsoft Research vào năm 2012, trước khi công ty tập trung vào AR trên thiết bị trong những năm gần đây:

Các nhà nghiên cứu IEEE cho rằng hệ thống nhập焦 điểm mới là hệ thống đầu tiên giải quyết VAC bằng cách kiểm soát các mặt phẳng đa焦 điểm, và cũng là hệ thống đầu tiên giải quyết vấn đề này theo cách chung và có thể áp dụng rộng rãi, mà không cần thiết bị dự án chuyên dụng đắt tiền.

Đường ống渲染 tập trung vào焦 điểm do các nhà nghiên cứu thiết kế bao gồm thông tin焦 điểm nhận được từ kính ETL của người xem ngay từ đầu của quá trình渲染, thay vì yêu cầu máy tính cơ bản渲染 và sau đó làm mờ. Tùy thuộc vào triển khai, điều này có thể tiết kiệm thêm tài nguyên xử lý và cải thiện độ trễ khi焦 điểm của người xem lang thang xung quanh các yếu tố ảo.

Kỹ thuật này được báo cáo là hoạt động tốt trên nhiều bề mặt dự án có thể, bao gồm bề mặt phẳng, không phẳng (tức là cong hoặc hình học phức tạp, chẳng hạn như các mẫu mà hình ảnh X-quang y tế có thể được áp đặt) và bề mặt di chuyển.

Một mannequin thực tại hỗn hợp sử dụng dự án 3D, được thiết kế cho môi trường giáo dục y tế, được trích dẫn trong bài báo. Nguồn: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Các hệ thống dự án của loại này yêu cầu môi trường tối, chẳng hạn như cài đặt bảo tàng, và hệ thống ETL giảm góc nhìn có sẵn của người xem, mặc dù các nhà nghiên cứu cho rằng xu hướng tăng kích thước khẩu độ cho thiết bị ETL sẽ giảm thiểu hạn chế này theo thời gian. Mặc dù các tác giả cũng lưu ý rằng hệ thống yêu cầu một máy chiếu tốc độ cao để cung cấp đủ khung hình để tách thành hai luồng, nhưng họ đã sử dụng một máy chiếu ngoài hộp, có sẵn trên thị trường cho triển khai của họ.

*My conversion of inline citations to hyperlinks.