Autentický systém zaostřování pro „levnou“ augmentovanou realitu

Výzkumníci z Institute of Electrical and Electronics Engineers (IEEE) vyvinuli metodu, která zvyšuje autenticitu low-cost, projekční augmentované reality, pomocí speciálních brýlí, které způsobují, že projekční 3D obrázky přecházejí do a out of focus stejným způsobem, jako by byly skutečné, překonávající kritickou percepční bariéru pro praktické použití projekčních systémů v kontrolovaném prostředí.

Systém IEEE rekreuje depth planes pro projekční reálnou a CGI obraz, která bude superimposed do místností. V tomto případě jsou tři CGI Stanford bunnies superimposed na stejnou depth plane jako tři reálné objekty, a jejich rozmazanost je řízena tím, kde se divák dívá a zaostřuje. 3D Projekční mohou umístit footage na pevné povrchy, pohyblivé povrchy nebo dokonce komplexní geometrii, nabízející širokou pokrytí, které je obtížné rekreovat pod těžkými procesními omezeními AR systémů, jako je HoloLens. Source: https://www.youtube.com/watch?v=I8DGTQnxm38

Systém používá elektricky zaostřovací čočky (ETL) vložené do brýlí diváka (které jsou v každém případě nutné pro oddělení dvou obrazových proudů do přesvědčivého, integrovaného 3D zážitku), a které komunikují s projekčním systémem, který pak automaticky mění úroveň rozmazanosti projekčního obrazu viděného divákem.

Čočky ETL reportují zpět informace o uživatelském zaostřovacím zaměření a nastavují úroveň rozmazanosti na základě zaostřovací roviny pro rendering projekční geometrie. Vývoj systému je popsán v doprovodném videu, vloženém na konci tohoto článku.

Článek, nazvaný Multifocal Stereoscopic Projection Mapping, nabízí novou úroveň použitelnosti pro oblast, která byla omezena nedostatkem integrace se způsobem, jakým uživatelé zaostřují na různé objekty, a která slibuje překonat problémy, se kterými tyto systémy měly potíže s vergence–accommodation conflict (VAC) – syndromem, ve kterém vzdálenost mezi objektem neodpovídá jeho logické zaostřovací vzdálenosti, způsobující, že objekt „plave“ v neuvěřitelně ostrém způsobem, kde by měl být rozmazán v kontextu jeho umístění.

V AR prostředích, jako je Microsoft HoloLens, foveated rendering je používán pro koncentraci procesní síly, rendering detailu a zaostření na základě toho, kde se zařízení-nosící uživatel dívá a zaostřuje. Nicméně, nositelné AR systémy, jako je HoloLens, mají mnohem vyšší hardwareovou zátěž, protože musí dodávat 3D obraz divákovi.

Výhoda projekční augmentované reality

Na rozdíl od toho, ETL-povolené brýle jednoduše posílají zaostřovací informace jako další proměnnou do vzdálených CGI potrubí, které mohou změnit zaostření projekční obrazu rychleji, než zaostřovací informace musí udělat v nositelném AR zařízení (tj. zaostřovací informace > odeslán do vzdáleného procesoru > renderován > odeslán zpět nositeli), zlepšující latenci, která je sama o sobě potenciální příčinou dezorientace diváka v AR systémech.

Ve skutečnosti je foveated rendering používán stejně tak, aby se přizpůsobil omezeným dostupným zdrojům, jakož i aby poskytl autentický zaostřovací zážitek pro uživatele, s velkými oblastmi superimposed obrazu, které jsou obtížné dosáhnout v HoloLens-style systémech, a omezené „letterbox rendering“ a nestabilní hrany konzistentní stížnost.

Z SIGGRAPH 98 – vize augmentované reality v kancelářském prostředí, citované v novém článku. Source: https://www.youtube.com/watch?v=I8DGTQnxm38 a https://web.media.mit.edu/~raskar/UNC/Office/

Článek pozoruje řadu známých výhod, které stereoskopické projekční mapování (PM) má nad modernějšími implementacemi augmentované reality, které spoléhají na těžké a intenzivní tělo-nosné vybavení, jak autoři poznamenávají*:

První, field-of-view (FOV) může být učiněn tak široký, jak je možné, zvýšením počtu projektorů, aby pokryl celé prostředí. Druhý, aktivní-červené brýle jsou obvykle mnohem lehčí a jejich fyzická zátěž je menší než HMD. Třetí, více uživatelů může sdílet stejnou AR zkušenost, pokud jejich pohledy jsou dostatečně blízko u sebe. Díky těmto výhodám, výzkumníci našli stereoskopické PM vhodné pro širokou škálu aplikací, včetně, ale neomezené na musejní průvodce, architektonické plánování, produkční design, lékařské vzdělávání, měnící se rozhraní, a telekonferencing.

Jedna taková implementace byla navržena Microsoft Research v roce 2012, předtím, než společnost soustředila na zařízení-AR v posledních letech:

Výzkumníci z IEEE tvrdí, že nový systém zaostřovacího vstupu je první, který řeší VAC kontrolou multifokálních rovin, a je také první, který řeší tento problém obecným a široce použitelným způsobem, bez potřeby drahého, specializovaného projekčního vybavení.

Zaostřovací renderovací potrubí navržené výzkumníky zahrnuje zaostřovací informace přijaté od brýlí diváka na samém začátku renderovacího procesu, spíše než vyžadující, aby základní počítač renderoval a poté rozmazal. V závislosti na implementaci, toto může dále šetřit procesní zdroje a zlepšit latenci, jak se divákův zaostřovací pohled pohybuje kolem virtuálních prvků.

Technika je hlášena pracovat dobře na různých možných projekčních površích, včetně plochých, neplanárních (tj. zakřivených nebo komplexní geometrie, jako jsou dummy, na které by mohla být uvalena lékařská x-ray obraz) a pohyblivých površích.

Smíšená realita manekýn, který používá 3D projekci, navržen pro lékařské vzdělávací prostředí, citovaný v článku. Source: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Systémy projekce tohoto typu vyžadují tmavá prostředí, jako jsou muzejní prostředí, a systém ETL snižuje dostupný úhel pohledu diváka, i když výzkumníci tvrdí, že trend směrem k větším průměrů ETL zařízení bude zmírnit toto omezení v průběhu času. I když autoři také poznamenávají, že systém vyžaduje vysokorychlostní projektor, aby poskytl dostatek snímků pro oddělení do dvou proudů, použili komerčně dostupný projektor pro svou implementaci.

*Můj převod inline citací na hypertextové odkazy.