En ægte fokuseringssystem til ‘billig’ forstærket virkelighed

Forskere fra Institute of Electrical and Electronics Engineers (IEEE) har udviklet en metode til at øge autenticiteten af lavprisede, projektorbaserede forstærkede virkelighedsinstallationer, gennem specielle briller, der får projicerede 3D-billeder til at gå ind og ud af fokus på samme måde, som de ville, hvis objekterne var virkelige, og som overvinder en kritisk perceptuel hindring for praktisk brug af projektersystemer i kontrollerede miljøer.

IEEE-systemet genskaber dybdeplaner for projicerede virkelige og CGI-billeder, der skal lagres over i rummet. I dette tilfælde er tre CGI-Stanford-kaniner lagt over på samme dybdeplan som tre virkelige objekter, og deres uklarhed styres af, hvor tilskueren kigger og fokuserer. 3D-projektorer kan projicere billeder på faste overflader, bevægelige overflader eller endda komplekse geometrier, og tilbyder en bred dækning, der er svær at genskabe under de strenge procesbegrænsninger for AR-systemer som HoloLens. Kilde: https://www.youtube.com/watch?v=I8DGTQnxm38

Systemet bruger elektrisk fokuserbare linser (ETL) indlejret i tilskuerens briller (som i forvejen er nødvendige for at adskille de to billedstrømme i en overbevisende, integreret 3D-oplevelse), og som kommunikerer med projektersystemet, som derefter automatisk ændrer niveauet for uklarhed af det projicerede billede, som tilskueren ser.

ETL-linsen rapporterer tilbage information om brugerens fokusering og ændrer niveauet for uklarhed på en per-plan-basis for det projicerede geometri. Udviklingen af systemet er beskrevet i en ledsagende video, der er indlejret i slutningen af denne artikel.

Artiklen, med titlen Multifokal stereoskopisk projicering, tilbyder en ny niveau af brugervenlighed til et felt, der har været begrænset af manglen på integration med, hvordan brugere fokuserer på forskellige objekter, og som lover at overvinde de problemer, som sådanne systemer har haft med vergence-accommodation-konflikt (VAC) – et syndrom, hvor den opfattede afstand mellem et objekt ikke matcher dens logiske fokuseringsafstand, og som får objektet til at ‘flyde’ i en uvirkelig, skarp måde, hvor det burde være uklart i konteksten af dets placering.

I AR-miljøer, såsom Microsofts HoloLens, bruges foveated rendering til at koncentrere proceskraft, renderingdetaljer og fokus baseret på, hvor enhedsbærende brugeren kigger og fokuserer. Men, bærbare AR-systemer som HoloLens har en meget højere hardwarebelastning på grund af, at de faktisk skal levere 3D-billedet til brugeren.

Fordelene ved projiceret forstærket virkelighed

Til gengæld sender ETL-aktiverede briller blot fokuseringsinformation som en ekstra variabel til fjern-CGI-rørledninger, som kan ændre fokus for projicerede billeder hurtigere end den rundtur, som fokuseringsinformationen skal gøre i en bærbart AR-enhed (dvs. fokuseringsinformation > sendt til fjernprocessor > renderet > sendt tilbage til brugeren), og som forbedrer latency, som i sig selv er en potentiel årsag til brugerdesorientering i AR-systemer.

I virkeligheden bruges foveated rendering så meget til at tilpasse de begrænsede tilgængelige ressourcer, som det er til at give en ægte fokuseringsoplevelse for brugeren, med store områder af overlagte billeder, der er svære at opnå i HoloLens-lignende systemer, og begrænset ‘brevkasse-rendering’ og ustabile kanter er en konstant klage.

Fra SIGGRAPH 98 – en vision for forstærket virkelighed i en kontormiljø, citeret i den nye artikel. Kilde: https://www.youtube.com/watch?v=I8DGTQnxm38 og https://web.media.mit.edu/~raskar/UNC/Office/

Artiklen bemærker en række kendte fordele, som stereoskopisk projicering (PM) har over mere moderne implementeringer af forstærket virkelighed, som afhænger af tung og intens kropsbåret udstyr, som forfatterne bemærker*:

Først kan synsfeltet (FOV) gøres så bredt som muligt ved at øge antallet af projektører for at dække hele miljøet. Anden, de aktive lukkebriller, der bruges, er normalt meget lettere, og deres fysisk belastning er mindre end HMD’er. Tredje, kan multiple brugere dele samme AR-oplevelse, hvis deres synsvinkel er tilstrækkeligt tæt på hinanden. Takket være disse fordele, har forskere fundet, at stereoskopisk PM er velegnet til en bred vifte af anvendelser, herunder, men ikke begrænset til musevejledninger, arkitekturplanlægning, produkt-design, medicinsk træning, form-forandringssystemer, og videokonferencer.

En sådan implementering blev udviklet af Microsoft Research i 2012, før selskabets fokus på in-device AR i de senere år:

IEEE-forskerne påstår, at det nye fokuseringsinputsystem er det første, der løser VAC-problemet ved at kontrollere multifokale planer, og det er også det første, der løser dette problem på en generisk og bredt anvendelig måde, uden behov for dyre, specialiserede projektorer.

Fokus-centreret rendering-rørledningen, som forskerne har udviklet, inkorporerer fokuseringsinformation, der modtages fra tilskuerens ETL-briller, allerede i begyndelsen af rendering-processen, i stedet for at kræve, at grundcomputeren render og derefter uklarheden. Afhængigt af implementeringen kan dette yderligere spare procesressourcer og forbedre latency, når tilskuerens fokuseringsblik vandrer rundt omkring de virtuelle elementer.

Metoden rapporteres at fungere godt på en række mulige projiceringsoverflader, herunder flade, ikke-planare (dvs. krusede eller komplekse geometrier, såsom dukker, hvorpå medicinske røntgenbilleder kan påføres) og bevægelige overflader.

En mixed reality-dukke, der bruger 3D-projicering, designet til en medicinsk uddannelsesmiljø, citeret i artiklen. Kilde: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Projektionssystemer af denne type kræver mørke miljøer, såsom museumsindstillinger, og ETL-systemet reducerer tilskuerens tilgængelige synsvinkel, selvom forskerne påstår, at trenden mod øgede åbningssizes for ETL-udstyr vil mindske denne begrænsning over tid. Selvom forfatterne også bemærker, at systemet kræver en højhastighedsprojektor for at give nok billeder til at adskille i to strømme, har de brugt en standard, kommercielt tilgængelig projektor til deres implementering.

*Min konvertering af inline-citationer til hyperlinks.