Aito tarkennusjärjestelmä "halpaa" lisättyä todellisuutta varten

Sähkö- ja elektroniikkainsinöörien instituutin (IEEE) tutkijat ovat kehittäneet menetelmän, jolla voidaan lisätä edullisten, projektioon perustuvien lisätyn todellisuuden installaatioiden aitoutta erityisten lasien avulla, jotka saavat projisoidut 3D-kuvat menemään sisään ja epätarkkuuteen samassa tilassa. tavalla, jolla he tekisivät, jos esineet olisivat todellisia, ylittäen kriittisen havaintoesteen projisointijärjestelmien käytännön käytössä kontrolloiduissa ympäristöissä.

IEEE-järjestelmä luo syvyystasot uudelleen projisoituja todellisia ja CGI-kuvia varten, jotka asetetaan huoneisiin. Tässä tapauksessa kolme CGI Stanford -pupua asetetaan päällekkäin samalle syvyystasolle kolmen todellisen maailman esineen kanssa, ja niiden epäterävyyttä ohjaa katsojan katselu ja tarkennus. 3D-projektorit voivat sijoittaa materiaalia kiinteille pinnoille, liikkuville pinnoille tai jopa monimutkaiselle geometrialle, mikä tarjoaa laajan peiton, jota on vaikea luoda uudelleen AR-järjestelmien, kuten HoloLensin, ankarissa prosessointirajoituksissa. Lähde: https://www.youtube.com/watch?v=I8DGTQnxm38

Järjestelmä käyttää sähköisesti tarkennettavia linssejä (ETL), jotka on upotettu katsojan laseihin (jotka ovat joka tapauksessa välttämättömiä kahden kuvavirran erottamiseksi vakuuttavaksi, integroiduksi 3D-kokemukseksi) ja jotka kommunikoivat projisointijärjestelmän kanssa, joka muuttuu sitten automaattisesti. katsojan näkemän projisoidun kuvan epäterävyyden taso.

ETL-objektiivit raportoivat tietoja käyttäjän fokusoinnista ja asettavat sumeustason tasokohtaisesti projisoidun geometrian renderöimiseksi. Järjestelmän kehitys on kuvattu oheisessa videossa, joka on upotettu tämän artikkelin loppuun.

- paperi, nimeltään Multifocal Stereoscopic Projection Mapping, tarjoaa uuden tason käytettävyyden alalla, jota on rajoittanut sen integraation puute käyttäjien keskittymiseen erilaisiin objekteihin, ja joka lupaa voittaa ongelmat, joita tällaisilla järjestelmillä on ollut vergence-accommodation -konfliktissa (VAC) – oireyhtymä, jossa kohteen välinen havaittu etäisyys ei vastaa sen loogista tarkennusetäisyyttä, jolloin kohde "kelluu" epäuskottavan terävällä tavalla, jossa se pitäisi hajottaa sen sijoittamisen yhteydessä.

AR-ympäristöissä, kuten Microsoftin HoloLens, foveated renderöintiä käytetään keskittää prosessointiteho, renderöi yksityiskohtia ja tarkentaa sen mukaan, mihin laitetta käyttävä käyttäjä katsoo ja mihin keskittyy. Kuitenkin puettavissa AR-järjestelmissä, kuten HoloLens-ominaisuus, on paljon suurempi sisäänrakennettu laitteistokuorma, koska niiden on itse asiassa toimitettava 3D-kuva katsojalle.

Projisoidun lisätyn todellisuuden etu

Sitä vastoin ETL-yhteensopivat lasit yksinkertaisesti lähettävät polttotietoa lisämuuttujana etä-CGI-putkiin, mikä voi muuttaa projisoitujen kuvien tarkennusta nopeammin kuin edestakainen matka, joka polttotiedon on tehtävä puettavassa AR-laitteessa (esim. tarkennustiedot > lähetetty etäprosessorille > renderöity > lähetetty takaisin käyttäjälle), parantaa latenssia, joka itsessään on a mahdollinen syy katsojan hajaantumiseen AR-järjestelmissä.

Käytännössä foveoitua renderöintiä käytetään yhtä paljon rajallisten käytettävissä olevien resurssien mukauttamiseen kuin aidon fokuskokemuksen tarjoamiseen käyttäjälle, koska HoloLens-tyylisissä järjestelmissä on vaikea saada aikaan suuria alueita päällekkäisiä kuvia ja rajoitettu "postilaatikkorenderöinti" ja epävakaat reunat johdonmukainen valitus.

SIGGRAPH 98:sta – visio lisätystä todellisuudesta toimistoympäristössä, lainattu uudessa lehdessä. Lähteet: https://www.youtube.com/watch?v=I8DGTQnxm38 ja https://web.media.mit.edu/~raskar/UNC/Office/

Artikkelissa havaitaan useita tunnettuja etuja, joita stereoskooppisella projektiokartoituksella (PM) on verrattuna nykyaikaisimpiin lisätyn todellisuuden toteutuksiin, jotka perustuvat raskaisiin ja intensiivisiin vartaloa kantaviin laitteisiin, kuten kirjoittajat huomauttavat*:

Ensinnäkin näkökenttä (FOV) voidaan tehdä mahdollisimman laajaksi lisäämällä projektorien määrää kattamaan koko ympäristö. Toiseksi käytetyt aktiivisen suljinlasit ovat normaalisti paljon kevyempiä, ja näin ollen niiden fyysinen kuormitus on pienempi kuin HMD-lasit. Kolmanneksi useat käyttäjät voivat jakaa saman AR-kokemuksen, jos heidän näkökulmansa ovat riittävän lähellä toisiaan. Näiden etujen ansiosta tutkijat ovat havainneet stereoskooppisen PM:n sopivan monenlaisiin sovelluksiin, mukaan lukien mutta ei rajoittuen museooppaita, arkkitehtuurisuunnittelu, tuotesuunnittelu, lääketieteellistä koulutusta, muotoa muuttavat rajapinnatja puhelinneuvottelut.

Microsoft Research kehitti yhden tällaisen toteutuksen vuonna 2012, ennen kuin yritys viime vuosina keskittyi laitteen sisäiseen AR:hen:

IEEE:n tutkijat väittävät, että uusi tarkennussyöttöjärjestelmä on ensimmäinen, joka käsittelee VAC:tä ohjaamalla monitarkennustasoja, ja on myös ensimmäinen, joka ratkaisee tämän ongelman yleisellä ja laajasti sovellettavalla tavalla ilman kalliita, erikoistuneita projisointilaitteita.

Tutkijoiden suunnittelema fokuskeskeinen renderöintiputki sisältää katsojan ETL-laseilta saatua fokustietoa renderöintiprosessin alussa sen sijaan, että se vaatisi perustietokonetta renderöimään ja sitten sumentamaan. Toteutuksesta riippuen tämä voi edelleen säästää prosessointiresursseja ja parantaa latenssia katsojan katseen vaeltaessa virtuaalielementtien ympärillä.

Tekniikan on raportoitu toimivan hyvin useilla mahdollisilla projektiopinnoilla, mukaan lukien tasaiset, ei-tasomaiset (eli kaarevat tai monimutkaiset geometriat, kuten nuket, joille voidaan asettaa lääketieteellisiä röntgenkuvia) ja liikkuvat pinnat.

3D-projektiota käyttävä sekatodellisuusmallinukke, joka on suunniteltu lääketieteen koulutusympäristöön, lainattu paperissa. Source: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Tämän tyyppiset projisointijärjestelmät vaativat hämäriä ympäristöjä, kuten museon asetuksia, ja ETL-järjestelmä pienentää katsojan käytettävissä olevaa katselukulmaa, vaikka tutkijat väittävät, että suuntaus ETL-laitteiden aukkokoon kasvamiseen lieventää tätä rajoitusta ajan myötä. Vaikka kirjoittajat huomauttavat myös, että järjestelmä vaatii nopean projektorin, jotta se tarjoaa tarpeeksi kehyksiä kahdeksi virtaukseksi erottamiseksi, he ovat käyttäneet hyllystä valmistettua, kaupallisesti saatavaa projektoria niiden toteuttamiseen.

*Muunnan upotetut lainaukset hyperlinkeiksi.