Ett Autentiskt Fokussystem för ‘Billig’ Förstärkt Verklighet

Forskare från Institute of Electrical and Electronics Engineers (IEEE) har utvecklat en metod för att öka autenticiteten hos billiga, projektorbaserade förstärkta verklighetsinstallationer, genom specialglas som får projicerade 3D-bilder att gå in och ut ur fokus på samma sätt som om objekten vore verkliga, och därmed övervinna ett kritiskt perceptuellt hinder för praktisk användning av projektionssystem i kontrollerade miljöer.

IEEE-systemet återskapar djupplan för projicerad verklighet och CGI-bilder som kommer att överlagras i rum. I det här fallet överlagras tre CGI-Stanford-kaniner på samma djupplan som tre verkliga världsobjekt, och deras suddighet kontrolleras av var tittaren tittar och fokuserar. 3D-projektorer kan lägga film på fasta ytor, rörliga ytor eller till och med komplex geometri, vilket erbjuder bred täckning som är svår att återskapa under de hårda processbegränsningarna för AR-system som HoloLens. Source: https://www.youtube.com/watch?v=I8DGTQnxm38

Systemet använder elektriskt fokuserbara linser (ETL) inbäddade i tittarens glasögon (vilka i alla fall är nödvändiga för att separera de två bildströmmarna till en övertygande, integrerad 3D-upplevelse), och som kommunicerar med projektionssystemet, som sedan automatiskt ändrar nivån på suddighet för den projicerade bilden som tittaren ser.

ETL-linsen rapporterar tillbaka information om användarens fokuseringsuppmärksamhet och ändrar nivån på suddighet per plan för den projicerade geometrin. Utvecklingen av systemet beskrivs i en tillhörande video, inbäddad i slutet av den här artikeln.

Den artikeln, med titeln Multifocal Stereoscopic Projection Mapping, erbjuder en ny nivå av användbarhet till ett område som har begränsats av bristen på integration med hur användare fokuserar på olika objekt, och som lovar att övervinna problemen som sådana system har haft med vergence–accommodation conflict (VAC) – ett syndrom där det upplevda avståndet mellan ett objekt inte matchar dess logiska fokuseringsavstånd, vilket gör att objektet “flyter” på ett oövertygande sätt där det borde vara oskärpt i sammanhanget med dess placering.

I AR-miljöer, såsom Microsofts HoloLens, används foveated rendering för att koncentrera processorkraft, renderingdetalj och fokus baserat på var enhetsbäraren tittar och fokuserar. Men, bärbara AR-system som HoloLens har en mycket högre hårdvarubörda, eftersom de faktiskt måste leverera 3D-bilden till tittaren.

Fördelen med Projicerad Förstärkt Verklighet

I kontrast, ETL-aktiverade glasögon skickar endast fokuseringsinformation som en extra variabel till fjärr-CGI-pipeliner, som kan ändra fokus för projicerad bild snabbare än den omväg som fokuseringsinformationen måste ta i ett bärbart AR-enhet (dvs. fokuseringsinformation > skickas till fjärrprocessor > renderas > skickas tillbaka till bärare), vilket förbättrar latensen, som i sig är en potentiell orsak till tittarens desorientering i AR-system.

I själva verket används foveated rendering lika mycket för att anpassa sig till de begränsade tillgängliga resurserna som för att tillhandahålla en autentisk fokuseringsupplevelse för användaren, med stora områden av överlagrad bild som är svåra att uppnå i HoloLens-liknande system, och begränsad “letterbox-rendering” och instabila kanter en konstant klagomål.

Från SIGGRAPH 98 – en vision av förstärkt verklighet i en kontorsmiljö, citerad i den nya artikeln. Source: https://www.youtube.com/watch?v=I8DGTQnxm38 and https://web.media.mit.edu/~raskar/UNC/Office/

Artikeln observerar ett antal kända fördelar som stereoskopisk projicering (PM) har över mer moderna implementationer av förstärkt verklighet, som förlitar sig på tunga och intensiva kroppsburna enheter, som författarna noterar*:

Först kan synfältet (FOV) göras så brett som möjligt genom att öka antalet projektorer för att täcka hela miljön. För det andra är de aktiva skärmglasögonen vanligtvis mycket lättare, och deras fysiska börda är mindre än HMD:er. För det tredje kan flera användare dela samma AR-upplevelse om deras vypunkter är tillräckligt nära varandra. Tack vare dessa fördelar har forskare funnit att stereoskopisk PM är lämplig för en mängd olika tillämpningar, inklusive men inte begränsat till museiguider, arkitekturplanering, produktutformning, medicinsk utbildning, formförändrande gränssnitt, och videokonferenser.

En sådan implementation utvecklades av Microsoft Research 2012, före företagets koncentration på in-enhet-AR under de senaste åren:

IEEE-forskarna hävdar att det nya fokuseringssystemet är det första som adresserar VAC genom att kontrollera multifokalplan, och är också det första som löser detta problem på ett generiskt och allmänt tillämpligt sätt, utan behov av dyra, specialiserade projiceringenheterna.

Fokuseringscentrerad renderingpipeline som utvecklats av forskarna inkorporerar fokuseringsinformation som tas emot från tittarens ETL-glasögon i början av renderingprocessen, snarare än att kräva att basdatorn renderar och sedan oskärper. Beroende på implementation kan detta ytterligare spara processresurser och förbättra latensen när tittarens fokuseringsblick vandrar runt de virtuella elementen.

Tekniken rapporteras fungera bra på en mängd olika möjliga projiceringssytor, inklusive platta, icke-planära (dvs. krökta eller komplexa geometrier, såsom dockor som medicinska röntgenbilder kan projiceras på) och rörliga ytor.

En blandad verklighetsdocka som använder 3D-projicering, utformad för en medicinsk utbildningsmiljö, citerad i artikeln. Source: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Projektionssystem av detta slag kräver mörka miljöer, såsom museisamlingar, och ETL-systemet minskar tittarens tillgängliga vyvinkel, även om forskarna hävdar att trenden mot ökade aperturstorlekar för ETL-utrustning kommer att mildra denna begränsning över tiden. Även om författarna också noterar att systemet kräver en höghastighetsprojektor för att tillhandahålla tillräckligt med ramar för att separera i två strömmar, har de använt en standard, kommersiellt tillgänglig projektor för sin implementation.

*Min omvandling av inline-citat till hyperlänkar.