Autentyczny system fokusu dla „tanich” rozszerzonych rzeczywistości

Naukowcy z Instytutu Inżynierów Elektryków i Elektroników (IEEE) opracowali metodę zwiększania autentyczności tanich, projekcyjnych instalacji rozszerzonej rzeczywistości, za pomocą specjalnych okularów, które powodują, że projekowane trójwymiarowe obrazy wchodzą i wychodzą z ostrości w taki sam sposób, jakby były one rzeczywiste, pokonując krytyczną przeszkodę percepcyjną dla praktycznego użytkowania systemów projekcyjnych w kontrolowanych środowiskach.

System IEEE odtwarza płaszczyzny głębi dla projekcji rzeczywistych i CGI, które będą nakładane na pokoje. W tym przypadku trzy CGI króliki Stanford są nakładane na tę samą płaszczyznę głębi co trzy rzeczywiste obiekty, a ich rozmycie jest kontrolowane przez to, gdzie użytkownik patrzy i skupia się. 3D projektor może umieścić nagranie na stałych powierzchniach, poruszających się powierzchniach lub nawet złożonej geometrii, oferując szerokie pokrycie, które jest trudne do odtworzenia pod surowymi ograniczeniami przetwarzania systemów AR, takich jak HoloLens. Źródło: https://www.youtube.com/watch?v=I8DGTQnxm38

System wykorzystuje elektrycznie nastawne soczewki (ETL) wbudowane w okulary użytkownika (które są w każdym przypadku niezbędne do oddzielenia dwóch strumieni obrazu w przekonujące, zintegrowane doświadczenie 3D), oraz które komunikują się z systemem projekcyjnym, który automatycznie zmienia poziom rozmycia projekcji widzianej przez użytkownika.

Soczewki ETL przekazują informacje o uwadze użytkownika i ustawiają poziom rozmycia na podstawie płaszczyzny dla renderowania geometrii projekcji. Rozwój systemu jest opisany w załączonym filmie, umieszczonym na końcu tego artykułu.

Artykuł artykuł, zatytułowany Multifocal Stereoscopic Projection Mapping, oferuje nowy poziom użyteczności polu, które było ograniczone przez brak integracji z tym, jak użytkownicy skupiają się na różnych obiektach, oraz które obiecują pokonać problemy, jakie te systemy miały z konfliktem zbieżności i akomodacji (VAC) – zespołem, w którym odległość między obiektem a użytkownikiem nie odpowiada logicznej odległości skupienia, powodując, że obiekt „unosi się” w niewiarygodnie ostrym sposobie, gdzie powinien być rozmyty w kontekście jego umiejscowienia.

W środowiskach AR, takich jak Microsoft HoloLens, foveated rendering jest wykorzystywany do koncentrowania mocy przetwarzania, renderowania szczegółów i skupienia na podstawie tego, gdzie użytkownik patrzy i skupia się. Jednak noszone systemy AR, takie jak HoloLens, mają znacznie większe obciążenie sprzętowe, ponieważ muszą dostarczyć obraz 3D użytkownikowi.

Przewaga projekcji rozszerzonej rzeczywistości

W przeciwieństwie do tego, okulary z ETL są po prostu wysyłające informacje o skupieniu jako dodatkową zmienną do zdalnych potoków CGI, które mogą zmienić skupienie projekcji szybciej niż czas potrzebny do przesłania informacji o skupieniu w noszonym urządzeniu AR (tj. informacja o skupieniu > wysłana do zdalnego procesora > renderowana > wysłana z powrotem do użytkownika), poprawiając opóźnienie, które jest samo w sobie potencjalną przyczyną dezorientacji w systemach AR.

W efekcie, foveated rendering jest wykorzystywany tak bardzo do dostosowania się do ograniczonych dostępnych zasobów, jak i do zapewnienia autentycznego doświadczenia skupienia dla użytkownika, z dużymi obszarami nakładanych obrazów, które są trudne do osiągnięcia w systemach HoloLens, oraz ograniczonym „renderowaniem w formacie listu” i niestabilnymi krawędziami stałym skargą.

Z SIGGRAPH 98 – wizja rozszerzonej rzeczywistości w środowisku biurowym, cytowana w nowym artykule. Źródło: https://www.youtube.com/watch?v=I8DGTQnxm38 i https://web.media.mit.edu/~raskar/UNC/Office/

Artykuł obserwuje szereg znanych zalet, które stereoskopyczne mapowanie projekcji (PM) ma nad nowocześniejszymi wdrożeniami rozszerzonej rzeczywistości, które polegają na ciężkim i intensywnym sprzęcie noszonym, jak zauważają autorzy*:

Po pierwsze, pole widzenia (FOV) można zwiększyć do maksimum, zwiększając liczbę projektorów, aby pokryć całe środowisko. Po drugie, okulary z aktywnymi zasłonami są zwykle znacznie lżejsze i ich ciężar fizyczny jest mniejszy niż w przypadku HMD. Po trzecie, wielu użytkowników może dzielić ten sam doświadczenie AR, jeśli ich punkty widzenia są wystarczająco blisko siebie. Dzięki tym zaletom, badacze stwierdzili, że stereoskopyczne mapowanie projekcji jest odpowiednie dla szerokiego zakresu aplikacji, w tym, ale nie tylko przewodników muzealnych, planowania architektonicznego, projektowania produktów, szkolenia medycznego, interfejsów zmieniających kształt i wideokonferencji.

Jedna z takich implementacji została opracowana przez Microsoft Research w 2012 roku, przed koncentracją firmy na urządzeniach AR w ostatnich latach:

Badacze IEEE twierdzą, że nowy system wejścia skupienia jest pierwszym, który rozwiązuje problem VAC, kontrolując wielofokalne płaszczyzny, i jest również pierwszym, który rozwiązuje ten problem w sposób ogólny i szeroko stosowalny, bez potrzeby drogiego, specjalistycznego sprzętu projekcyjnego.

Pipeline renderowania skupienia opracowana przez badaczy obejmuje informacje o skupieniu otrzymane z okularów ETL użytkownika na samym początku procesu renderowania, zamiast wymagać od komputera podstawowego renderowania, a następnie rozmycia. W zależności od wdrożenia, może to dodatkowo zaoszczędzić zasoby przetwarzania i poprawić opóźnienie, gdy wzrok użytkownika wędruje po wirtualnych elementach.

Technika ta jest zgłaszana jako działająca dobrze na różnych możliwych powierzchniach projekcji, w tym płaskich, nieplanarnych (tj. zakrzywionych lub złożonej geometrii, takiej jak manekiny, na które można nałożyć medyczną obrazowanie rentgenowskie) i powierzchniach poruszających się.

Manekin rzeczywistości mieszanej, który wykorzystuje projekcję 3D, zaprojektowany dla środowiska edukacji medycznej, cytowany w artykule. Źródło: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Systemy projekcyjne tego typu wymagają ciemnych środowisk, takich jak ustawienia muzealne, a system ETL redukuje kąt widzenia użytkownika, chociaż badacze twierdzą, że trend zwiększania rozmiarów otworu ETL będzie łagodził tę ograniczenie w czasie. Chociaż autorzy zauważają również, że system wymaga projektorów o wysokiej szybkości, aby zapewnić wystarczającą liczbę klatek do podziału na dwa strumienie, użyli projektorów dostępnych na rynku dla swojej implementacji.

*Moja konwersja cytatów wewnętrznych na linki.