Et Ægte Fokussystem til ‘Billig’ Forstærket Virkelighed

Forskere fra Institute of Electrical and Electronics Engineers (IEEE) har udviklet en metode til at øge autenticiteten af billig, projektorbaseret forstærket virkelighed-installationer, gennem speciale briller, der får projicerede 3D-billeder til at gå i og ud af fokus på samme måde, som de ville, hvis objekterne var ægte, og dermed overvinde en kritisk perceptuel hindring for praktisk brug af projektionssystemer i kontrollerede miljøer.

IEEE-systemet genskaber dybdeplaner for projicerede ægte og CGI-billeder, der skal overlejres i rum. I dette tilfælde overlejres tre CGI Stanford-kaniner på samme dybdeplan som tre virkelige objekter, og deres uklarhed kontrolleres af, hvor tilskueren kigger og fokuserer. 3D-projektorer kan placere optagelser på faste overflader, bevægelige overflader eller endda kompleks geometri, og tilbyder bred dækning, der er svær at genskabe under de strenge procesbegrænsninger for AR-systemer som HoloLens. Source: https://www.youtube.com/watch?v=I8DGTQnxm38

Systemet bruger elektrisk justerbare linser (ETL) indbygget i brugernes briller (der i forvejen er nødvendige for at adskille de to billedstrømme i en overbevisende, integreret 3D-oplevelse), og som kommunikerer med projektor-systemet, der derefter automatisk ændrer niveauet for uklarhed af det projicerede billede, som tilskueren ser.

ETL-linsen rapporterer tilbage information om brugernes fokusering og ændrer niveauet for uklarhed på en pr.-plan-basis for den projicerede geometri. Udviklingen af systemet er beskrevet i en ledsagende video, der er indlejret i slutningen af denne artikel.

Den artikel, med titlen Multifocal Stereoscopic Projection Mapping, tilbyder et nyt niveau af brugervenlighed til et felt, der har været begrænset af manglen på integration med, hvordan brugere fokuserer på forskellige objekter, og som lover at overvinde problemerne, sådanne systemer har haft med vergence–accommodation conflict (VAC) – et syndrom, hvor den opfattede afstand mellem et objekt ikke matcher dens logiske fokuseringsafstand, og som får objektet til at ‘flyde’ i en uvirkelig, skarp måde, hvor det burde være uklart i sammenhæng med dets placering.

I AR-miljøer, såsom Microsofts HoloLens, bruges foveated rendering til at koncentrere proceskraft, og renderingsdetaljer og fokus baseret på, hvor brugeren kigger og fokuserer. Men, bærbare AR-systemer som HoloLens har en langt højere hardwarebelastning, da de faktisk skal levere 3D-billedet til brugeren.

Fordele ved Projiceret Forstærket Virkelighed

Til gengæld sender ETL-aktiverede briller blot fokuseringsinformation som en ekstra variabel til fjern-CGI-rørledninger, der kan ændre fokus for projicerede billeder hurtigere end den omvej, fokuseringsinformationen skal tage i et bærbart AR-udstyr (dvs. fokuseringsinformation > sendt til fjernprocessor > renderet > sendt tilbage til bruger), og forbedrer latency, der i sig selv er en mulig årsag til brugerdesorientering i AR-systemer.

I virkeligheden bruges foveated rendering lige så meget til at tilpasse de begrænsede ressourcer, som det er til at give en ægte fokuseringsoplevelse for brugeren, med store områder af overlejret billedmateriale, der er svært at opnå i HoloLens-lignende systemer, og begrænset ‘letterbox-rendering’ og ustabile kanter er en konstant klage.

From SIGGRAPH 98 – a vision of augmented reality in an office environment, cited in the new paper. Source: https://www.youtube.com/watch?v=I8DGTQnxm38 and https://web.media.mit.edu/~raskar/UNC/Office/

Artiklen bemærker en række kendte fordele, som stereoskopisk projektor-mapping (PM) har over mere moderne implementeringer af forstærket virkelighed, der afhænger af tung og intens kropsbåret udstyr, som forfatterne noterer*:

Først kan synsfeltet (FOV) gøres så bredt som muligt ved at øge antallet af projektører for at dække hele miljøet. Anden, de aktive lukke-briller, der bruges, er normalt meget lettere, og deres fysisk byrde er mindre end HMD’er. Tredje, multiple brugere kan dele samme AR-oplevelse, hvis deres synspunkter er tilstrækkeligt tæt på hinanden. Takket være disse fordele, har forskere fundet, at stereoskopisk PM er velegnet til en bred vifte af anvendelser, herunder men ikke begrænset til musevejledninger, arkitekturplanlægning, produkt-design, medicinsk træning, form-forandring-grænseflader og videokonferencer.

En sådan implementering blev udviklet af Microsoft Research i 2012, før selskabets fokus på in-device AR i de senere år:

IEEE-forskerne påstår, at det nye fokuseringsinput-system er det første, der løser VAC ved at kontrollere multifokus-planer, og det er også det første, der løser dette problem på en generisk og bredt anvendelig måde, uden behov for dyrt, specialiseret projektor-udstyr.

Fokuserings-centreret renderings-rørledning, som forskerne har udviklet, inkorporerer fokuseringsinformation, der modtages fra brugernes ETL-briller, allerede fra starten af renderingsprocessen, og ikke kræver, at grund-computeren renderer og derefter uklarer. Afhængigt af implementering kan dette yderligere spare procesressourcer og forbedre latency, når brugernes fokuseringsblik vandrer rundt om de virtuelle elementer.

Teknikken rapporteres at fungere godt på en række mulige projektor-overflader, herunder flade, ikke-planare (dvs. kurvede eller komplekse geometrier, såsom dukker, hvorpå medicinske røntgenbilleder kan påføres) og bevægelige overflader.

En mixed reality-dukke, der bruger 3D-projektion, designet til en medicinsk uddannelsesmiljø, citeret i artiklen. Source: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Projektionssystemer af denne type kræver mørke miljøer, såsom museumsindstillinger, og ETL-systemet reducerer brugernes tilgængelige vinkel på visning, selvom forskerne påstår, at trenden mod større åbningssizes for ETL-udstyr vil mindske denne begrænsning over tid. Selvom forfatterne også bemærker, at systemet kræver en højhastighedsprojektor for at kunne levere nok billeder til at adskille i to strømme, har de brugt en standard, kommercielt tilgængelig projektor til deres implementering.

*Min konvertering af inline-citationer til hyperlinks.