Een Authentiek Focussysteem voor ‘Goedkope’ Augmented Reality

Onderzoekers van het Institute of Electrical and Electronics Engineers (IEEE) hebben een methode ontwikkeld om de authenticiteit van goedkope, op projectie gebaseerde augmented reality-installaties te verhogen, met speciale brillen die ervoor zorgen dat geprojecteerde 3D-afbeeldingen op dezelfde manier in en uit focus gaan als ware het echte objecten, waarmee een kritische perceptuele hindernis voor praktisch gebruik van projectiesystemen in gecontroleerde omgevingen wordt overwonnen.

Het IEEE-systeem reconstrueert dieptevlakken voor geprojecteerde echte en CGI-afbeeldingen die in kamers worden gesuperponeerd. In dit geval worden drie CGI-Stanford-konijnen gesuperponeerd op hetzelfde dieptevlak als drie objecten uit de echte wereld, en hun vaagheid wordt gecontroleerd door waar de kijker naar kijkt en focust. 3D-projectoren kunnen beelden op vaste oppervlakken, bewegende oppervlakken of zelfs complexe geometrie projecteren, waardoor een breed bereik wordt geboden dat moeilijk te reproduceren is onder de strenge verwerkingbeperkingen van AR-systemen zoals HoloLens. Bron: https://www.youtube.com/watch?v=I8DGTQnxm38

Het systeem gebruikt elektrisch focusbare lenzen (ETL) die zijn ingebed in de brillen van de kijker (die in elk geval nodig zijn om de twee beeldstromen te scheiden in een overtuigende, geïntegreerde 3D-ervaring), en die communiceren met het projectiesysteem, dat vervolgens automatisch het niveau van vaagheid van het geprojecteerde beeld dat door de kijker wordt gezien, verandert.

De ETL-lenzen geven informatie terug over de focale aandacht van de gebruiker en veranderen het niveau van vaagheid op een per-vlak-basis voor de weergave van de geprojecteerde geometrie. De ontwikkeling van het systeem wordt uitgelegd in een bijgevoegde video, die aan het einde van dit artikel is ingebed.

Het artikel, getiteld Multifocal Stereoscopic Projection Mapping, biedt een nieuw niveau van bruikbaarheid voor een veld dat beperkt was door het gebrek aan integratie met de manier waarop gebruikers zich op verschillende objecten richten, en dat belooft de problemen te overwinnen die dergelijke systemen hebben gehad met vergence-accommodatieconflict (VAC) – een syndroom waarbij de waargenomen afstand tussen een object niet overeenkomt met zijn logische focale afstand, waardoor het object onovertuigend scherp lijkt waar het zou moeten zijn uit focus in de context van zijn plaatsing.

In AR-omgevingen, zoals Microsoft’s HoloLens, foveated rendering wordt gebruikt om de verwerkingseenheid te concentreren, detail en focus te renderen op basis van waar de gebruiker naar kijkt en focust. Echter, draagbare AR-systemen zoals HoloLens hebben een veel hogere hardwarelast aan boord, omdat ze het 3D-beeld daadwerkelijk naar de kijker moeten leveren.

Het Voordeel van Geprojecteerde Augmented Reality

In tegenstelling tot ETL-geactiveerde brillen, die alleen focale informatie als een extra variabele naar externe CGI-pijpleidingen sturen, die de focus van geprojecteerde beelden sneller kunnen veranderen dan de rondreis die focale informatie moet maken in een draagbaar AR-apparaat (d.w.z. focale informatie > naar externe processor > gerenderd > terug naar de kijker), waardoor de latentie wordt verbeterd, wat op zichzelf een mogelijke oorzaak is voor desoriëntatie van de kijker in AR-systemen.

In feite wordt foveated rendering gebruikt om zowel de beperkte beschikbare middelen te accommoderen als om een authentieke focale ervaring voor de gebruiker te bieden, met grote gebieden van gesuperponeerde beelden die moeilijk te bereiken zijn in HoloLens-achtige systemen, en beperkte ‘letterbox rendering’ en onstabiele randen een consistent klacht.

Van SIGGRAPH 98 – een visie van augmented reality in een kantooromgeving, vermeld in het nieuwe artikel. Bron: https://www.youtube.com/watch?v=I8DGTQnxm38 en https://web.media.mit.edu/~raskar/UNC/Office/

Het artikel merkt een aantal bekende voordelen op die stereoscopische projectiemapping (PM) heeft ten opzichte van moderne implementaties van augmented reality, die afhankelijk zijn van zware en intense lichaamsgebonden apparatuur, zoals de auteurs opmerken*:

Ten eerste kan het gezichtsveld (FOV) zo breed mogelijk worden gemaakt door het aantal projectoren te verhogen om de hele omgeving te bedekken. Ten tweede zijn de actieve-shutterbrillen die normaal worden gebruikt veel lichter en heeft hun fysieke belasting minder dan HMD’s. Ten derde kunnen meerdere gebruikers dezelfde AR-ervaring delen als hun gezichtspunten voldoende dicht bij elkaar liggen. Dankzij deze voordelen hebben onderzoekers ontdekt dat stereoscopische PM geschikt is voor een breed scala aan toepassingen, waaronder maar niet beperkt tot museumgidsen, architectuurplanning, productontwerp, medische opleiding, veranderende interfaces, en teleconferencing.

Een dergelijke implementatie werd in 2012 bedacht door Microsoft Research, voordat het bedrijf zich richtte op in-apparaat AR in recente jaren:

De onderzoekers van IEEE beweren dat het nieuwe focus-inputsysteem het eerste is dat VAC aanpakt door multifocusvlakken te controleren, en dat het ook het eerste is dat dit probleem oplossing in een generieke en breed toepasbare manier, zonder de noodzaak van dure, gespecialiseerde projectieapparatuur.

Het focus-gecentreerde renderingpijplijn dat door de onderzoekers is ontwikkeld, omvat focale informatie die van de ETL-brillen van de kijker wordt ontvangen aan het begin van het renderingproces, in plaats van te vereisen dat de basiscomputer eerst rendert en vervolgens vaag maakt. Afhankelijk van de implementatie kan dit verder verwerkingseenheden besparen en latentie verbeteren terwijl de focale blik van de kijker rond de virtuele elementen zwerven.

De techniek werkt goed op een verscheidenheid aan mogelijke projectieoppervlakken, waaronder platte, niet-planar (d.w.z. gebogen of complexe geometrie, zoals dummy’s waarop medische röntgenbeelden kunnen worden opgelegd) en bewegende oppervlakken.

Een mixed reality-mannequin die 3D-projectie gebruikt, ontworpen voor een medische onderwijsomgeving, vermeld in het artikel. Bron: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Projectiesystemen van dit type vereisen donkere omgevingen, zoals museuminstellingen, en het ETL-systeem vermindert het beschikbare kijkhoek van de kijker, hoewel de onderzoekers beweren dat de trend naar grotere apertuurgroottes voor ETL-apparatuur deze beperking over tijd zal mitigeren. Hoewel de auteurs ook opmerken dat het systeem een hoge-snelheidsprojector vereist om voldoende frames te bieden om in twee stromen te scheiden, hebben ze een standaard, commercieel beschikbare projector voor hun implementatie gebruikt.

*Mijn conversie van inline-citaten naar hyperlinks.