Autentiska fokusēšanas sistēma “lētai” paplašinātajai realitātei

Pētnieki no Elektrotehnikas un elektronikas inženieru institūta (IEEE) ir izstrādājuši metodi, lai palielinātu zemu izmaksu, uz projekciju balstītu paplašinātās realitātes instalāciju autentiskumu, izmantojot īpašas brilles, kas liek projicētajiem 3D attēliem vienā un tajā pašā laikā nokļūt fokusā un ārpus tā. tādā veidā, kā tas būtu tad, ja objekti būtu īsti, pārvarot kritisku uztveres šķērsli praktiskai projekcijas sistēmu izmantošanai kontrolētā vidē.

IEEE sistēma atjauno dziļuma plaknes projicētiem reāliem un CGI attēliem, kas tiks uzklāti telpās. Šajā gadījumā trīs CGI Stenfordas zaķi tiek uzlikti vienā dziļuma plaknē ar trim reālās pasaules objektiem, un to izplūdumu kontrolē skatītāja skatīšanās un fokusēšanas vieta. 3D projektori var ievietot videomateriālu uz fiksētām virsmām, kustīgām virsmām vai pat sarežģītas ģeometrijas, piedāvājot plašu pārklājumu, ko ir grūti atjaunot, ņemot vērā AR sistēmu, piemēram, HoloLens, nopietnas apstrādes ierobežojumus. Avots: https://www.youtube.com/watch?v=I8DGTQnxm38

Sistēma izmanto elektriski noregulējamus objektīvus (ETL), kas iegulti skatītāja brillēs (kas jebkurā gadījumā ir nepieciešami, lai abas attēlu plūsmas nodalītu pārliecinošā, integrētā 3D pieredzē), un kas sazinās ar projekcijas sistēmu, kas pēc tam automātiski mainās. skatītāja redzētā projicētā attēla izplūduma līmenis.

ETL objektīvi sniedz informāciju par lietotāja fokusa uzmanību un nosaka izplūduma līmeni katrai plaknei projicētās ģeometrijas renderēšanai. Sistēmas izstrāde ir izklāstīta pievienotajā video, kas ir iegults šī raksta beigās.

Jūsu darbs IR Klientu apkalpošana papīrs, ar nosaukumu Multifokālās stereoskopiskās projekcijas kartēšana, piedāvā jaunu lietojamības līmeni jomā, kuru ierobežo tā integrācijas trūkums ar veidu, kā lietotāji koncentrējas uz dažādiem objektiem, un kas sola pārvarēt problēmas, kas šādām sistēmām ir bijušas saistībā ar tuvināšanas un izmitināšanas konfliktu (VAC) – sindroms, kad uztvertais attālums starp objektu neatbilst tā loģiskajam fokusēšanas attālumam, liekot objektam nepārliecinoši asā veidā “peldēt”, kur tas būtu defokusēts tā novietojuma kontekstā.

AR vidēs, piemēram, Microsoft HoloLens, tiek izmantota foveated renderēšana lai koncentrētu apstrādes jaudu, atveidot detaļas un fokusu, pamatojoties uz to, kur skatās un fokusējas lietotājs, kas valkā ierīci. Tomēr valkājamām AR sistēmām, piemēram, HoloLens funkcijai, ir daudz lielāka iebūvētā aparatūras slodze, jo tām faktiski ir jānogādā skatītājam 3D attēls.

Prognozētās paplašinātās realitātes priekšrocības

Turpretim brilles, kurām ir iespējota ETL, vienkārši sūta fokusa informāciju kā papildu mainīgo attāliem CGI konveijeriem, kas var mainīt projicēto attēlu fokusu ātrāk nekā fokusa informācijai ir jāveic valkājama AR ierīce (ti, fokusa informācija > nosūtīta uz attālo procesoru > renderēta > nosūtīta atpakaļ lietotājam), uzlabojot latentumu, kas pats par sevi ir a potenciāls skatītāju dezorientācijas iemesls AR sistēmās.

Faktiski fokusēta renderēšana tiek izmantota tikpat lielā mērā, lai pielāgotos ierobežotajiem pieejamajiem resursiem, kā arī lai nodrošinātu lietotājam autentisku fokusa pieredzi, kur HoloLens stila sistēmās ir grūti sasniegt lielus pārklājuma attēlu laukumus, kā arī ierobežotu “pastkastītes renderēšanu” un nestabilas malas konsekventa sūdzība.

No SIGGRAPH 98 — paplašinātās realitātes redzējums biroja vidē, kas minēts jaunajā rakstā. Avots: https://www.youtube.com/watch?v=I8DGTQnxm38 un https://web.media.mit.edu/~raskar/UNC/Office/

Autori atzīmē, ka rakstā ir novērotas vairākas zināmas priekšrocības, kas stereoskopiskajai projekcijas kartēšanai (PM) ir salīdzinājumā ar modernākām paplašinātās realitātes ieviešanām, kas balstās uz smagu un intensīvu ķermeņa valkātu aprīkojumu*:

Pirmkārt, redzes lauku (FOV) var padarīt pēc iespējas plašāku, palielinot projektoru skaitu, lai tas aptvertu visu vidi. Otrkārt, izmantotās aktīvā aizvara brilles parasti ir daudz vieglākas, un tādējādi to fiziskā slodze ir mazāka nekā HMD. Treškārt, vairāki lietotāji var dalīties ar vienu un to pašu AR pieredzi, ja viņu viedokļi ir pietiekami tuvu viens otram. Pateicoties šīm priekšrocībām, pētnieki ir atklājuši, ka stereoskopiskais PM ir piemērots plašam lietojumu klāstam, tostarp, bet ne tikai muzeju ceļveži, arhitektūras plānošana, produktu dizains, medicīniskā apmācība, formu mainošas saskarnesun telekonferences.

Vienu šādu ieviešanu izstrādāja Microsoft Research 2012. gadā, pirms uzņēmums pēdējos gados bija koncentrējies uz AR ierīcēs.

IEEE pētnieki apgalvo, ka jaunā fokusa ievades sistēma ir pirmā, kas risina VAC, kontrolējot daudzfokusa plaknes, un tā ir arī pirmā, kas atrisina šo problēmu vispārīgā un plaši piemērojamā veidā, neizmantojot dārgu, specializētu projicēšanas aprīkojumu.

Pētnieku izstrādātajā uz fokusu vērstajā renderēšanas cauruļvadā ir iekļauta fokusa informācija, kas saņemta no skatītāja ETL brillēm renderēšanas procesa pašā sākumā, nevis pieprasīta pamata datora renderēšana un pēc tam aizmiglošana. Atkarībā no ieviešanas tas var vēl vairāk ietaupīt apstrādes resursus un uzlabot latentumu, kad skatītāja fokusa skatiens klīst ap virtuālajiem elementiem.

Tiek ziņots, ka šī tehnika labi darbojas uz dažādām iespējamām projekcijas virsmām, tostarp plakanām, neplakām (ti, izliektām vai sarežģītām ģeometriskām, piemēram, manekeniem, uz kuriem var uzlikt medicīniskos rentgena attēlus) un kustīgām virsmām.

Rakstā citēts jauktas realitātes manekens, kas izmanto 3D projekciju, kas paredzēts medicīnas izglītības videi. Source: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Šāda veida projekcijas sistēmām ir nepieciešama tumša vide, piemēram, muzeja iestatījumi, un ETL sistēma samazina skatītājam pieejamo skata leņķi, lai gan pētnieki apgalvo, ka tendence palielināt ETL iekārtu diafragmas atvērumu laika gaitā mazinās šo ierobežojumu. Lai gan autori arī atzīmē, ka sistēmai ir nepieciešams ātrgaitas projektors, lai nodrošinātu pietiekami daudz kadru, lai tos sadalītu divās plūsmās, to ieviešanai viņi ir izmantojuši jau nopērkamu, tirdzniecībā pieejamu projektoru.

*Mana iekļauto citātu pārvēršana par hipersaitēm.