Cercetătorii creează holograme 3D în timp real bazate pe inteligență artificială pe smartphone-uri

Smartphone-urile ar putea fi în curând capabile să genereze holograme 3D fotorealiste, datorită în parte un model AI dezvoltat de cercetătorii de la MIT. Sistemul AI dezvoltat de echipa MIT determină cea mai bună modalitate de a genera holograme dintr-o serie de imagini de intrare.

Cercetătorii de la MIT au proiectat recent modele AI care permit generarea de holograme 3D fotorealiste. Tehnologia ar putea avea aplicații pentru căști VR și AR, iar hologramele pot fi chiar generate de un smartphone.

Spre deosebire de afișajele tradiționale 3D și VR, care pur și simplu produc iluzia de profunzime și care pot provoca greață și dureri de cap, afișajele holografice pot fi văzute de oameni fără a provoca oboseala ochilor. Un obstacol major către crearea de medii holografice este gestionarea datelor necesare pentru a genera efectiv holograful. Fiecare hologramă este compusă dintr-o cantitate masivă de date, necesare pentru a crea „adâncimea” pe care o are holograma. Din acest motiv, generarea holografiei necesită de obicei o cantitate masivă de putere de calcul. Pentru a face tehnologia holografică mai practică, echipa MIT a aplicat problemei rețele neuronale convoluționale profunde, creând o rețea capabilă să genereze rapid holograme pe baza imaginilor de intrare.

Abordarea tipică pentru generarea de holograme a generat în esență multe bucăți de holograme și apoi a folosit simulări fizice pentru a combina bucățile într-o reprezentare completă a unui obiect sau a unei imagini. Aceasta diferă de abordarea tipică utilizată pentru a genera holograme. În metoda tradițională, imaginile sunt tăiate în felii și o serie de tabele de căutare sunt folosite pentru a uni bucățile de hologramă împreună, deoarece tabelele de căutare marchează limitele diferitelor bucăți de hologramă. Procesul de definire a granițelor bucăților holografice cu tabele de aspect necesită destul de mult timp și consumă multă putere de procesare.

Conform IEEE Spectrum, Echipa MIT a conceput o altă metodă de generare a hologramelor. Folosind puterea rețelelor de învățare profundă, aceștia au reușit să tranșeze imaginile în bucăți care ar putea fi reconformate în holograme folosind mult mai puține „slices”. Noile tehnici profită de capacitatea rețelelor neuronale convoluționale de a analiza imagini și de a separa imaginile în bucăți discrete. Această nouă metodă de analiză și fragmentare a imaginilor reduce foarte mult numărul total de operațiuni pe care trebuie să le efectueze un sistem.

Pentru a-și proiecta generatorul holografic alimentat de AI, echipa de cercetare a început prin a construi o bază de date compusă din aproximativ 4000 de imagini generate de computer, cu o hologramă 3D corespunzătoare pentru fiecare dintre aceste imagini. Rețeaua neuronală convoluțională a fost antrenată pe acest set de date, învățând cum fiecare dintre imagini a fost legată de holograma sa și cea mai bună modalitate de a folosi caracteristicile pentru a genera hologramele. Când sistemul AI a primit date nevăzute cu informații de profunzime, ar putea genera noi holograme din aceste date. Informațiile despre profunzime sunt furnizate prin utilizarea fie a senzorilor lidar ai afișajelor cu mai multe camere și redate ca imagine generată de computer. Unele iPhone noi au aceste componente, ceea ce înseamnă că ar putea genera holograme dacă sunt legate la tipul potrivit de afișaj.

Noul sistem de hologramă bazat pe inteligență artificială are nevoie de mult mai puțină memorie decât metodele clasice. Sistemul poate genera holograme 3D la 60 de cadre pe secundă în culori pline, cu o rezoluție de 1920 x 1080, folosind aproximativ 620 de kiloocteți de memorie în timp ce rulează pe un singur GPU disponibil în mod obișnuit. Cercetătorii au reușit să-și ruleze sistemele pe un iPhone 11 producând aproximativ 1 hologramă pe secundă, în timp ce un TPU Google Edge sistemul ar putea reda 2 holograme pe secundă. Acest lucru sugerează că sistemul ar putea fi adaptat la smartphone-uri, dispozitive AR și dispozitive VR în general. Sistemul ar putea avea aplicații și pentru imprimarea 3D volumetrică sau în proiectarea de microscoape holografice.

În viitor, îmbunătățirile aduse tehnologiei ar putea introduce hardware și software de urmărire a ochilor, permițând hologramelor să se scaleze dinamic în rezoluție pe măsură ce utilizatorul privește anumite locuri.