Un sistem de focalizare autentic pentru realitatea augmentată “ieftină”

Cercetătorii de la Institutul de Ingineri Electrotehnici și Electronici (IEEE) au dezvoltat o metodă pentru a crește autenticitatea instalațiilor de realitate augmentată de joasă cost, bazate pe proiecție, prin intermediul unor ochelari speciali care fac ca imaginile 3D proiectate să intre și să iasă din focalizare în același mod în care ar face-o obiectele reale, depășind o barieră perceptuală critică pentru utilizarea practică a sistemelor de proiecție în medii controlate.

Sistemul IEEE recrează planuri de adâncime pentru imagini reale și CGI care vor fi suprapuse în încăperi. În acest caz, trei iepuri Stanford CGI sunt suprapuse la același plan de adâncime cu trei obiecte din lumea reală, iar blura lor este controlată de unde se uită și se focalizează privitorul. Proiectoarele 3D pot proiecta imagini pe suprafețe fixe, suprafețe mobile sau chiar geometrie complexă, oferind o acoperire largă care este dificil de recreat sub limitările severe de procesare ale sistemelor de realitate augmentată, cum ar fi HoloLens. Sursă: https://www.youtube.com/watch?v=I8DGTQnxm38

Sistemul utilizează lentile cu focalizare electrică reglabilă (ETL) încorporate în ochelarii privitorului (care sunt oricum necesari pentru a separa cele două fluxuri de imagini într-o experiență 3D convingătoare și integrată), și care comunică cu sistemul de proiecție, care apoi modifică automat nivelul de blura al imaginii proiectate vizualizate de privitor.

Lentilele ETL raportează informații despre atenția focală a utilizatorului și modifică nivelul de blura pe baza planului de adâncime pentru geometria proiectată. Dezvoltarea sistemului este prezentată într-un videoclip însoțitor, încorporat la sfârșitul acestui articol.

Articolul științific, intitulat Proiecția stereoscopică multifocală, oferă un nou nivel de utilizare pentru un domeniu care a fost limitat de lipsa de integrare cu modul în care utilizatorii se focalizează pe diferite obiecte, și care promite să depășească problemele pe care sistemele de acest tip le-au avut cu conflictul de convergență-acomodare (VAC) – un sindrom în care distanța percepută între un obiect nu corespunde cu distanța logică de focalizare, făcând ca obiectul să “plutească” într-un mod neconvingător și ascuțit, acolo unde ar trebui să fie nefocalizat în contextul amplasamentului său.

În medii de realitate augmentată, cum ar fi Microsoft HoloLens, se utilizează rendering-ul foveat pentru a concentra puterea de procesare, detalii și focalizare pe baza locului în care se uită și se focalizează utilizatorul dispozitivului. Cu toate acestea, sistemele de realitate augmentată purtabile, cum ar fi HoloLens, au o sarcină hardware mult mai mare, deoarece trebuie să livreze imaginea 3D utilizatorului.

Avantajul realității augmentate proiectate

În schimb, ochelarii ETL sunt pur și simplu trimițând informații de focalizare ca o variabilă suplimentară către conducte de procesare CGI remote, care pot schimba focalizarea imaginilor proiectate mai rapid decât timpul de călătorie pe care informațiile de focalizare trebuie să îl parcurgă într-un dispozitiv de realitate augmentată purtabil (de exemplu, informații de focalizare > trimise către procesorul remote > renderizate > trimise înapoi utilizatorului), îmbunătățind latența, care este în sine o cauză potențială de dezorientare a utilizatorului în sistemele de realitate augmentată.

În esență, rendering-ul foveat este utilizat atât pentru a se adapta la resursele limitate disponibile, cât și pentru a oferi o experiență de focalizare autentică pentru utilizator, cu suprafețe mari de imagini suprapuse fiind dificil de realizat în sisteme de tip HoloLens, și cu “rendering de tip cutie” și muchii instabile o plângere constantă.

Din SIGGRAPH 98 – o viziune a realității augmentate într-un mediu de birou, citată în articolul nou. Sursă: https://www.youtube.com/watch?v=I8DGTQnxm38 și https://web.media.mit.edu/~raskar/UNC/Office/

Articolul observă o serie de avantaje cunoscute pe care harta de proiecție stereoscopică (PM) le are față de implementările mai moderne de realitate augmentată, care se bazează pe echipamente purtabile grele și intense, așa cum notează autorii*:

În primul rând, câmpul de vedere (FOV) poate fi făcut cât de larg posibil prin creșterea numărului de proiectoare pentru a acoperi întreaga mediu. În al doilea rând, ochelarii cu obturatori activi utilizați sunt, de obicei, mult mai ușori, și, prin urmare, încărcătura lor fizică este mai mică decât a dispozitivelor HMD. În al treilea rând, mai mulți utilizatori pot împărtăși aceeași experiență de realitate augmentată, dacă punctele lor de vedere sunt suficient de aproape una de cealaltă. Datorită acestor avantaje, cercetătorii au găsit că harta de proiecție stereoscopică este potrivită pentru o gamă largă de aplicații, inclusiv, dar fără a se limita la ghizi de muzeu, planificare arhitecturală, proiectare de produse, pregătire medicală, interfețe care se schimbă și teleconferințe.

O astfel de implementare a fost concepută de Microsoft Research în 2012, înainte de concentrarea companiei asupra dispozitivelor de realitate augmentată în ultimii ani:

Cercetătorii IEEE susțin că noul sistem de intrare de focalizare este primul care abordează VAC prin controlul planurilor multifocale și este, de asemenea, primul care rezolvă această problemă într-un mod generic și larg aplicabil, fără a necesita echipamente de proiecție specializate și scumpe.

Conducta de rendering focalizat concepută de cercetători incorporează informații de focalizare primite de la ochelarii ETL ai privitorului la începutul procesului de rendering, și nu necesită ca calculatorul de bază să renderizeze și apoi să estompeze. În funcție de implementare, acest lucru poate economisi resurse de procesare și poate îmbunătăți latența pe măsură ce privitorul se uită la elementele virtuale.

Tehnica se raportează a funcționa bine pe o varietate de suprafețe de proiecție posibile, inclusiv suprafețe plate, neplanare (de exemplu, curbate sau geometrie complexă, cum ar fi manechine pe care pot fi impuse imagini medicale cu raze X) și suprafețe mobile.

O manechină de realitate mixtă care utilizează proiecția 3D, concepută pentru un mediu de educație medicală, citată în articol. Sursă: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Sistemele de proiecție de acest tip necesită medii întunecate, cum ar fi setări de muzeu, și sistemul ETL reduce unghiul de vizualizare disponibil al privitorului, deși cercetătorii susțin că tendința de creștere a dimensiunilor deschiderii pentru echipamentele ETL va atenua această limitare în timp. Deși autorii notează, de asemenea, că sistemul necesită un proiector de înaltă viteză pentru a furniza suficiente cadre pentru a separa în două fluxuri, ei au utilizat un proiector de pe piață, disponibil comercial, pentru implementarea lor.

*Conversia mea a citatelor inline în legături.