Et autentisk fokuseringssystem til 'Billig' Augmented Reality

Forskere fra Institute of Electrical and Electronics Engineers (IEEE) har udviklet en metode til at øge ægtheden af ​​billige, projektionsbaserede augmented reality-installationer gennem specielle briller, der får projicerede 3D-billeder til at gå ind og ud af fokus i samme måde, som de ville, hvis objekterne var virkelige, og overvinde en kritisk perceptuel hindring for praktisk brug af projektionssystemer i kontrollerede miljøer.

IEEE-systemet genskaber dybdeplaner for projicerede virkelige billeder og CGI-billeder, der vil blive overlejret i rum. I dette tilfælde bliver tre CGI Stanford-kaniner overlejret i samme dybdeplan som tre objekter fra den virkelige verden, og deres slørhed styres af, hvor seeren kigger og fokuserer. 3D-projektorer kan placere optagelser på faste overflader, bevægelige overflader eller endda kompleks geometri, hvilket giver bred dækning, som er svær at genskabe under de alvorlige behandlingsbegrænsninger af AR-systemer såsom HoloLens. Kilde: https://www.youtube.com/watch?v=I8DGTQnxm38

Systemet bruger elektrisk fokusjusterbare linser (ETL), der er indlejret i seerens briller (som under alle omstændigheder er nødvendige for at adskille de to billedstrømme til en overbevisende, integreret 3D-oplevelse), og som kommunikerer med projektionssystemet, som så automatisk skifter slørhedsniveauet af det projicerede billede set af seeren.

ETL-linserne rapporterer tilbage information om brugerens fokale opmærksomhed og indstiller slørhedsniveauet på en per-plan basis for gengivelsen af ​​den projicerede geometri. Udviklingen af ​​systemet er skitseret i en medfølgende video, indlejret i slutningen af ​​denne artikel.

papir, med titlen Multifokal stereoskopisk projektionskortlægning, tilbyder et nyt niveau af brugervenlighed til et felt, der har været begrænset af dets manglende integration med den måde, brugerne fokuserer på forskellige objekter på, og som lover at overvinde de problemer, sådanne systemer har haft med konflikter mellem grænse og indkvartering (VAC) – et syndrom, hvor den opfattede afstand mellem et objekt ikke stemmer overens med dets logiske fokuseringsafstand, hvilket får objektet til at 'svæve' på en uoverbevisende skarp måde, hvor det bør være ufokuseret i forbindelse med dets placering.

I AR-miljøer, såsom Microsofts HoloLens, foveeret gengivelse bruges at koncentrere processorkraft, gengivelse af detaljer og fokus baseret på, hvor den enhedsbærende bruger kigger og fokuserer. Bærbare AR-systemer såsom HoloLens-funktionen har dog en meget højere indbygget hardwarebelastning, da de faktisk skal levere 3D-billedet til seeren.

Fordelen ved Projiceret Augmented Reality

I modsætning hertil sender ETL-aktiverede briller simpelthen fokal information som en ekstra variabel til fjerntliggende CGI-pipelines, hvilket kan ændre fokus på projicerede billeder hurtigere end den rundrejse, som fokal information skal foretage i en bærbar AR-enhed (dvs. fokusinformation > sendt til fjernprocessor > gengivet > sendt tilbage til bæreren), forbedring af latens, hvilket i sig selv er en potentiel årsag til seerens desorientering i AR-systemer.

I realiteten bruges foveated rendering lige så meget til at imødekomme de begrænsede tilgængelige ressourcer, som det er til at give brugeren en autentisk fokusoplevelse, med store områder af overlejrede billeder, der er vanskelige at opnå i HoloLens-lignende systemer, og begrænset 'brevkassegengivelse' og ustabile kanter en konsekvent klage.

Fra SIGGRAPH 98 – en vision om augmented reality i et kontormiljø, citeret i det nye papir. Kilde: https://www.youtube.com/watch?v=I8DGTQnxm38 og https://web.media.mit.edu/~raskar/UNC/Office/

Artiklen observerer en række kendte fordele, som stereoskopisk projektionskortlægning (PM) har i forhold til mere moderne implementeringer af augmented reality, som er afhængige af tungt og intenst kropsbåret udstyr, som forfatterne bemærker*:

For det første kan synsfeltet (FOV) gøres så bredt som muligt ved at øge antallet af projektorer, så det dækker hele miljøet. For det andet er de anvendte briller med aktiv lukker normalt meget lettere, og deres fysiske belastning er derfor mindre end HMD'er. For det tredje kan flere brugere dele den samme AR-oplevelse, hvis deres synspunkter er tilstrækkelig tæt på hinanden. Takket være disse fordele har forskere fundet, at stereoskopisk PM er velegnet til en bred vifte af applikationer, herunder men ikke begrænset til museumsguider, arkitektur planlægning, Produktdesign, medicinsk træning, formændrende grænsefladerog telekonferencer.

En sådan implementering blev udtænkt af Microsoft Research i 2012, forud for virksomhedens koncentration på in-device AR i de seneste år:

IEEE-forskerne hævder, at det nye fokusinputsystem er det første, der adresserer VAC ved at kontrollere multifokusplaner, og det er også det første, der løser dette problem på en generisk og bredt anvendelig måde uden behov for dyrt, specialiseret projektionsudstyr.

Den fokuscentrerede gengivelsespipeline, som forskerne har udtænkt, inkorporerer fokusinformation modtaget fra seerens ETL-briller helt i starten af ​​gengivelsesprocessen, i stedet for at kræve, at basiscomputeren gengiver og derefter sløres. Afhængigt af implementeringen kan dette yderligere spare behandlingsressourcer og forbedre latens, når seerens fokus blik vandrer rundt i de virtuelle elementer.

Teknikken er rapporteret at fungere godt på en række mulige projektionsoverflader, herunder flade, ikke-plane (dvs. buet eller kompleks geometri, såsom dukker, hvorpå medicinsk røntgenbilleder kan påføres) og bevægelige overflader.

En mixed reality mannequin, der bruger 3D-projektion, designet til et medicinsk uddannelsesmiljø, citeret i avisen. Source: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Projektionssystemer af denne type kræver mørke omgivelser, såsom museumsindstillinger, og ETL-systemet reducerer seerens tilgængelige synsvinkel, selvom forskerne hævder, at tendensen til øgede blændestørrelser for ETL-udstyr vil afbøde denne begrænsning over tid. Selvom forfatterne også bemærker, at systemet kræver en højhastighedsprojektor for at give nok rammer til at adskilles i to strømme, har de brugt en kommercielt tilgængelig projektor til deres implementering.

*Min konvertering af inline-citater til hyperlinks.