En ekte fokusystem for «billig» forbedret virkelighet

Forskere fra Institute of Electrical and Electronics Engineers (IEEE) har utviklet en metode for å øke autentisiteten av billige, projeksjonsbaserte forbedrede virkelighetsinstallasjoner, gjennom spesialbriller som får projiserte 3D-bilder til å gå inn og ut av fokus på samme måte som om objekter var ekte, og overvinne en kritisk perseptuell hindring for praktisk bruk av projeksjonssystemer i kontrollerte miljøer.

IEEE-systemet gjenskaper dybdeplan for projisert virkelig og CGI-bilder som skal overlagres i rommet. I dette tilfelle er tre CGI-Stanford-kaniner overlagt på samme dybdeplan som tre virkelige objekter, og deres uskarphet kontrolleres av hvor brukeren ser og fokuserer. 3D-prosjektorer kan projisere film på faste overflater, bevegelige overflater eller selv kompleks geometri, og tilbyr bred dekning som er vanskelig å gjenskape under de strenge prosesseringbegrensningene i AR-systemer som HoloLens. Kilde: https://www.youtube.com/watch?v=I8DGTQnxm38

Systemet bruker elektrisk fokus-justerbare linser (ETL) innbygget i brukerens briller (som i alle fall er nødvendig for å skille de to bildestrømmene fra en overbevisende, integrert 3D-erfaring), og som kommuniserer med projeksjonssystemet, som deretter automatisk endrer nivået av uskarpheten av det projiserte bildet som sees av brukeren.

ETL-linsene rapporterer tilbake informasjon om brukerens fokus og setter nivået av uskarphet på en per-plan-basis for rendering av den projiserte geometrien. Utviklingen av systemet er beskrevet i en vedlagt video, innlemmet i slutten av denne artikkelen.

Artikkelen, med tittelen Multifokal stereoskopisk projeksjonskartlegging, tilbyr et nytt nivå av brukervennlighet til et felt som har vært begrenset av mangelen på integrasjon med måten brukerne fokuserer på ulike objekter, og som lover å overvinne problemene slike systemer har hatt med vergence–akkommodasjonskonflikt (VAC) – et syndrom der den oppfattede avstanden mellom et objekt ikke stemmer overens med dens logiske fokusavstand, og som får objektet til å «flyte» på en uvirkelig måte der det burde være uskarpt i sammenheng med dens plassering.

I AR-miljøer, som Microsofts HoloLens, foveert rendering brukes til å konsentrere prosessorkraft, og renderingdetalj og fokus basert på hvor enhetsbrukeren ser og fokuserer. Imidlertid har bærbare AR-systemer som HoloLens en mye høyere på-bord-hardware-last, siden de faktisk må levere 3D-bildet til brukeren.

Fordelen med projisert forbedret virkelighet

I motsetning til dette sender ETL-aktiverede briller bare fokusinformasjon som en ekstra variabel til fjern-CGI-pipelines, som kan endre fokus av projisert bilde raskere enn den runden reisen fokusinformasjon må gjøre i et bærbart AR-enhet (dvs. fokusinformasjon > sendt til fjernprosessor > rendret > sendt tilbake til bruker), og som forbedrer latency, som i seg selv er en potensiell årsak til brukerdesorientering i AR-systemer.

I virkeligheten brukes foveert rendering like mye for å tilpasse de begrensede tilgjengelige ressursene som for å gi en ekte fokus-erfaring for brukeren, med store områder av overlagt bilde som er vanskelig å oppnå i HoloLens-lignende systemer, og begrensede «brevkasse-rendering» og ustabile kanter en konsekvent klage.

Fra SIGGRAPH 98 – en visjon av forbedret virkelighet i et kontormiljø, sitert i den nye artikkelen. Kilde: https://www.youtube.com/watch?v=I8DGTQnxm38 og https://web.media.mit.edu/~raskar/UNC/Office/

Artikkelen observerer en rekke kjente fordeler som stereoskopisk projeksjonskartlegging (PM) har over mer moderne implementeringer av forbedret virkelighet, som avhenger av tungt og intens kropps-båret utstyr, som forfatterne noterer*:

Først kan synsfeltet (FOV) gjøres så bredt som mulig ved å øke antallet projektorer for å dekke hele miljøet. For det andre er de aktive-lukke-brillene som normalt mye lettere, og deres fysiske byrde er mindre enn HMD-er. For det tredje kan flere brukere dele samme AR-erfaring hvis deres synsvinkel er tilstrekkelig nær hverandre. Takket være disse fordelene har forskerne funnet stereoskopisk PM å være egnet for en rekke anvendelser, inkludert, men ikke begrenset til museveiledninger, arkitekturplanlegging, produktutforming, medisinsk utdanning, form-endringsgrensesnitt, og videokonferanser.

En slik implementering ble utviklet av Microsoft Research i 2012, før selskapets konsentrasjon om inn-enhet-AR i de senere årene:

IEEE-forskerne hevder at det nye fokusinnskuddssystemet er det første som løser VAC ved å kontrollere multifokusplaner, og det er også det første som løser dette problemet på en generisk og bredt anvendelig måte, uten behov for dyre, spesialiserte projektorer.

Fokus-sentrert rendering-pipeline utviklet av forskerne inkorporerer fokusinformasjon mottatt fra brukerens ETL-briller helt i begynnelsen av rendering-prosessen, i stedet for å kreve at basisdatamaskinen renderer og deretter uskarper. Avhengig av implementering kan dette ytterligere spare prosessorkraft og forbedre latency mens brukerens fokusvandring rundt de virtuelle elementene.

Teknikken rapporteres å fungere godt på en rekke mulige projeksjonsflater, inkludert flate, ikke-planare (dvs. kurvede eller komplekse geometrier, som dukker som medisinske røntgenbilder kan påføres) og bevegelige flater.

En mixed-reality-dukke som bruker 3D-projeksjon, designet for et medisinsk utdanningsmiljø, sitert i artikkelen. Kilde: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Projeksjonssystemer av denne typen krever mørke miljøer, som museale miljøer, og ETL-systemet reduserer brukerens tilgjengelige vinkel på visning, selv om forskerne hevder at trenden mot økte åpningstider for ETL-utstyr vil mildne denne begrensningen over tid. Selv om forfatterne også noterer at systemet krever en høyhastighetsprosjektor for å gi nok ruter til å skille inn i to strømmer, har de brukt en standard, kommersielt tilgjengelig projektor for deres implementering.

*Min konvertering av inline-citater til lenker.