Autentický zaostřovací systém pro „levnou“ rozšířenou realitu

Výzkumníci z Institutu elektrických a elektronických inženýrů (IEEE) vyvinuli metodu, jak zvýšit autenticitu levných instalací rozšířené reality založených na projekcích, a to pomocí speciálních brýlí, které způsobují, že se promítaný 3D obraz rozostřuje a rozostřuje. způsobem, jakým by tomu bylo, kdyby objekty byly skutečné, a překonávají tak kritickou percepční překážku pro praktické použití projekčních systémů v kontrolovaných prostředích.

Systém IEEE obnovuje hloubkové roviny pro promítané skutečné a CGI snímky, které budou superponovány do místností. V tomto případě jsou tři zajíčci CGI Stanford superponováni ve stejné hloubkové rovině jako tři objekty skutečného světa a jejich rozostření je řízeno tím, kam se divák dívá a kde zaostřuje. 3D projektory mohou umístit záběry na pevné povrchy, pohyblivé povrchy nebo dokonce složitou geometrii, čímž nabízejí široké pokrytí, které je obtížné znovu vytvořit při přísných omezeních zpracování systémů AR, jako je HoloLens. Zdroj: https://www.youtube.com/watch?v=I8DGTQnxm38

Systém využívá elektricky laditelné čočky (ETL) zabudované do brýlí diváka (které jsou v každém případě nezbytné k oddělení dvou obrazových proudů do přesvědčivého, integrovaného 3D zážitku) a komunikující s projekčním systémem, který poté automaticky mění úroveň rozmazání promítaného obrazu viděného divákem.

ETL čočky poskytují informace o uživatelově zaměřené pozornosti a nastavují úroveň rozmazání pro každou rovinu pro vykreslení promítané geometrie. Vývoj systému je popsán v doprovodném videu, které je vloženo na konci tohoto článku.

Jedno papírS názvem Multifokální stereoskopické mapování projekce, nabízí novou úroveň použitelnosti v oblasti, která byla omezena nedostatečnou integrací se způsobem, jakým se uživatelé zaostřují na různé objekty, a která slibuje překonání problémů, které tyto systémy měly s konfliktem vergence-akomodace (VAC) – syndromem, kdy vnímaná vzdálenost mezi objektem neodpovídá jeho logické zaostřovací vzdálenosti, což způsobuje, že objekt „pluje“ nepřesvědčivě ostře tam, kde by měl být v kontextu svého umístění rozostřený.

V prostředích AR, jako je například HoloLens od Microsoftu, používá se foveated rendering soustředit výpočetní výkon, detaily vykreslování a zaostření podle toho, kam se uživatel, který nosí zařízení, dívá a zaostřuje. Nositelné systémy AR, jako je funkce HoloLens, však mají mnohem vyšší hardwarovou zátěž na palubě, protože ve skutečnosti musí divákovi doručit 3D obraz.

Výhoda projektované rozšířené reality

Naproti tomu brýle s podporou ETL jednoduše odesílají fokální informace jako další proměnnou do vzdálených CGI potrubí, což může změnit ohnisko promítaného obrazu rychleji než zpáteční cesta, kterou musí fokální informace provést v nositelném zařízení AR (tj. informace o zaměření > odeslány do vzdáleného procesoru > vykresleny > odeslány zpět uživateli), zlepšení latence, což je samo o sobě a možná příčina dezorientace diváka v systémech AR.

Ve skutečnosti se foveované vykreslování používá jak k přizpůsobení se omezeným dostupným zdrojům, tak k poskytnutí autentického zážitku pro uživatele, přičemž velké plochy překrývajících se obrazů je v systémech ve stylu HoloLens obtížné dosáhnout, a omezené „vykreslování do schránky“ a nestabilní okraje důsledná stížnost.

Od SIGGRAPH 98 – vize rozšířené reality v kancelářském prostředí, citovaná v novém článku. Zdroj: https://www.youtube.com/watch?v=I8DGTQnxm38 a https://web.media.mit.edu/~raskar/UNC/Office/

Článek sleduje řadu známých výhod, které má stereoskopické projekční mapování (PM) oproti modernějším implementacím rozšířené reality, které se spoléhají na těžké a intenzivní vybavení nošené na těle, jak poznamenávají autoři*:

Za prvé, zorné pole (FOV) může být co nejširší zvýšením počtu projektorů, aby pokryly celé prostředí. Za druhé, používané brýle s aktivní závěrkou jsou obvykle mnohem lehčí, a proto je jejich fyzická zátěž menší než u HMD. Za třetí, více uživatelů může sdílet stejnou zkušenost s AR, pokud jsou jejich názory dostatečně blízko u sebe. Díky těmto výhodám výzkumníci zjistili, že stereoskopické PM jsou vhodné pro širokou škálu aplikací, včetně, ale bez omezení na ně muzejní průvodci, architektonické plánování, design produktu, lékařský výcvik, rozhraní měnící tvara telekonference.

Jedna taková implementace byla navržena společností Microsoft Research v roce 2012, ještě předtím, než se společnost v posledních letech zaměřila na rozšířenou realitu v zařízeních:

Výzkumníci IEEE tvrdí, že nový vstupní systém zaostření je první, který řeší VAC řízením multifokusových rovin, a je také prvním, který tento problém řeší obecným a široce použitelným způsobem, bez potřeby drahého specializovaného projekčního zařízení.

Výzkumníci navrhli renderovací systém zaměřený na zaostření, který zahrnuje informace o zaostření získané z ETL brýlí diváka na samém začátku procesu vykreslování, namísto toho, aby základní počítač musel vykreslit a poté rozmazat. V závislosti na implementaci to může dále ušetřit výpočetní prostředky a zlepšit latenci, když se divákův pohled pohybuje po virtuálních prvcích.

Uvádí se, že tato technika dobře funguje na různých možných projekčních plochách, včetně plochých, nerovinných (tj. zakřivená nebo složitá geometrie, jako jsou figuríny, na které by bylo možné aplikovat lékařské rentgenové snímky) a pohyblivých ploch.

Manekýn se smíšenou realitou, který používá 3D projekci, navržený pro prostředí lékařského vzdělávání, citovaný v článku. Source: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Projekční systémy tohoto typu vyžadují tmavá prostředí, například v muzeích, a systém ETL zmenšuje dostupný úhel pohledu diváka, ačkoli vědci tvrdí, že trend směrem ke zvětšujícím se velikostem clony pro zařízení ETL toto omezení časem zmírní. Autoři sice také poznamenávají, že systém vyžaduje vysokorychlostní projektor, aby poskytl dostatek snímků k rozdělení do dvou proudů, ale pro svou implementaci použili běžně dostupný, komerčně dostupný projektor.

*Moje konverze vložených citací na hypertextové odkazy.