Ett Autentiskt Fokussystem för ‘Billig’ Förstärkt Verklighet

Forskare från Institute of Electrical and Electronics Engineers (IEEE) har utvecklat en metod för att öka autenticiteten hos billiga, projektorbaserade förstärkta verklighetssystem, genom specialglas som gör att projicerade 3D-bilder kommer in och ut ur fokus på samma sätt som om objekten vore verkliga, och övervinner därmed en kritisk perceptuell hinder för praktisk användning av projektionssystem i kontrollerade miljöer.

IEEE-systemet återskapar djupplaner för projicerad verklighet och CGI-bilder som ska överlagras i rum. I det här fallet överlagras tre CGI-Stanford-kaniner på samma djupplan som tre verkliga föremål, och deras suddighet kontrolleras av var användaren tittar och fokuserar. 3D-projektorer kan projicera footage på fasta ytor, rörliga ytor eller till och med komplex geometri, och erbjuder därmed en bred täckning som är svår att återskapa under de hårda processningsbegränsningarna för AR-system som HoloLens. Källa: https://www.youtube.com/watch?v=I8DGTQnxm38

Systemet använder elektriskt fokuserbara linser (ETL) inbäddade i användarens glasögon (vilka i alla fall är nödvändiga för att separera de två bildströmmarna till en övertygande, integrerad 3D-upplevelse), och som kommunicerar med projektionssystemet, som sedan automatiskt ändrar suddighetsnivån på den projicerade bilden som användaren ser.

ETL-linserna rapporterar tillbaka information om användarens fokuseringsuppmärksamhet och ändrar suddighetsnivån på en per-plan-basis för renderingen av den projicerade geometrin. Utvecklingen av systemet beskrivs i en tillhörande video, inbäddad i slutet av den här artikeln.

Den artikeln, med titeln Multifokal Stereoskopisk Projicering, erbjuder en ny nivå av användbarhet för ett område som har varit begränsat av bristen på integration med hur användare fokuserar på olika föremål, och som lovar att övervinna problemen som sådana system har haft med vergence-ackommodationskonflikt (VAC) – ett syndrom där det uppfattade avståndet mellan ett föremål inte matchar dess logiska fokuseringsavstånd, vilket orsakar att föremålet “flyter” på ett oövertygande sätt där det borde vara oskärpt i sammanhanget.

I AR-miljöer, som Microsofts HoloLens, används foveated rendering för att koncentrera processorkraft, renderingdetalj och fokus baserat på var enhetsbäraren tittar och fokuserar. Men, bärbara AR-system som HoloLens har en mycket högre hårdvarubörda ombord, eftersom de faktiskt måste leverera 3D-bilden till användaren.

Fördelen med Projicerad Förstärkt Verklighet

Till skillnad från detta skickar ETL-aktiverade glasögon endast fokuseringsinformation som en extra variabel till fjärr-CGI-pipelines, som kan ändra fokus på projicerad bild snabbare än den rundtur som fokuseringsinformationen måste göra i en bärbar AR-enhet (dvs. fokuseringsinformation > skickad till fjärrprocessor > renderad > skickad tillbaka till användaren), vilket förbättrar latensen, som i sig är en potentiell orsak till användardesorientering i AR-system.

I själva verket används foveated rendering lika mycket för att anpassa sig till de begränsade tillgängliga resurserna som för att ge en autentisk fokuseringsupplevelse för användaren, med stora områden av överlagrade bilder som är svåra att uppnå i HoloLens-liknande system, och begränsad “brevlåda-rendering” och ostabila kanter en vanlig klagomål.

Från SIGGRAPH 98 – en vision av förstärkt verklighet i ett kontorsmiljö, citerad i den nya artikeln. Källa: https://www.youtube.com/watch?v=I8DGTQnxm38 och https://web.media.mit.edu/~raskar/UNC/Office/

Artikeln observerar ett antal kända fördelar som stereoskopisk projicering har över mer moderna implementationer av förstärkt verklighet, som bygger på tunga och intensiva kroppsburna enheter, som författarna noterar*:

För det första kan synfältet (FOV) göras så brett som möjligt genom att öka antalet projektorer för att täcka hela miljön. För det andra är de aktiva skärmglasen som används vanligtvis mycket lättare, och deras fysiska börda är mindre än HMD:er. För det tredje kan flera användare dela samma AR-upplevelse om deras vypunkter är tillräckligt nära varandra. Tack vare dessa fördelar har forskare funnit att stereoskopisk projicering är lämplig för en mängd olika tillämpningar, inklusive men inte begränsat till museiguider, arkitekturplanering, produktutformning, medicinsk utbildning, formförändrande gränssnitt, och telekonferenser.

En sådan implementation utvecklades av Microsoft Research 2012, innan företagets fokus på in-enhet-AR under de senaste åren:

IEEE-forskarna hävdar att det nya fokuseringssystemet är det första som adresserar VAC genom att kontrollera multifokala plan, och är också det första som löser detta problem på ett generiskt och allmänt tillämpligt sätt, utan behov av dyra, specialiserade projiceringsutrustningar.

Fokuseringscentrerad renderingpipeline som utvecklats av forskarna inkorporerar fokuseringsinformation som tas emot från användarens ETL-glasögon i början av renderingsprocessen, snarare än att kräva att basdatorn renderar och sedan suddar. Beroende på implementation kan detta ytterligare spara processresurser och förbättra latensen när användarens fokuseringsblick vandrar runt de virtuella elementen.

Tekniken rapporteras fungera bra på en mängd olika möjliga projiceringsytor, inklusive platta, icke-planära (dvs. krökta eller komplexa geometrier, som dockor som medicinska röntgenbilder kan projiceras på) och rörliga ytor.

En mixed reality-docka som använder 3D-projicering, utformad för en medicinsk utbildningsmiljö, citerad i artikeln. Källa: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Projektionssystem av detta slag kräver mörka miljöer, såsom museisamlingar, och ETL-systemet minskar användarens tillgängliga vyvinkel, även om forskarna hävdar att trenden mot ökade aperturstorlekar för ETL-utrustning kommer att mildra denna begränsning över tid. Även om författarna också noterar att systemet kräver en höghastighetsprojektor för att tillhandahålla tillräckligt med ramar för att separera i två strömmar, har de använt en standard, kommersiellt tillgänglig projektor för sin implementation.

*Min omvandling av inline-citat till hyperlänkar.