Cercetătorii creează holograme 3D în timp real pe smartphone-uri, alimentate de IA

Smartphone-urile ar putea genera în curând holograme 3D fotorealistice, mulțumită în parte unui model de IA dezvoltat de cercetători de la MIT. Sistemul de IA dezvoltat de echipa MIT determină cea mai bună modalitate de a genera holograme dintr-o serie de imagini de intrare.

Cercetătorii de la MIT au proiectat recent modele de IA care permit generarea de holograme 3D fotorealistice. Tehnologia ar putea avea aplicații pentru căști VR și AR, iar hologramele pot fi generate chiar și de un smartphone.

În contrast cu afișajele 3D și VR tradiționale, care produc doar iluzia adâncimii și care pot cauza greață și dureri de cap, afișajele holografice pot fi văzute de oameni fără a provoca oboseală a ochilor. Un obstacol major în calea creării de medii holografice este manipularea datelor necesare pentru a genera holograma. Fiecare hologramă este alcătuită dintr-o cantitate masivă de date, necesare pentru a crea “adâncimea” hologramei. Din cauza acestui fapt, generarea de holograme necesită de obicei o cantitate masivă de putere de calcul. Pentru a face tehnologia holografică mai practică, echipa MIT a aplicat rețele neuronale convoluționale profunde la problema, creând o rețea capabilă să genereze rapid holograme pe baza imaginilor de intrare.

Abordarea tradițională pentru generarea de holograme constă în principal în generarea de bucăți de holograme și apoi utilizarea simulărilor fizice pentru a combina bucățile într-o reprezentare completă a unui obiect sau imagine. Acest lucru diferă de abordarea tradițională utilizată pentru a genera holograme. În metoda tradițională, imaginile sunt tăiate și o serie de tabele de căutare sunt utilizate pentru a reuni bucățile de holograme, deoarece tabelele de căutare marchează granițele diferitelor bucăți de holograme. Procesul de definire a granițelor bucăților de holograme cu tabele de căutare este destul de consumator de timp și putere de procesare.

Conform IEEE Spectrum, echipa MIT a proiectat o altă metodă de generare a hologramelor. Utilizând puterea rețelelor neuronale profunde, au reușit să taie imaginile în bucăți care pot fi recompuse în holograme utilizând mult mai puține “felii”. Noua tehnică profită de capacitatea rețelelor neuronale convoluționale de a analiza imaginile și de a separa imaginile în bucăți discrete. Această nouă metodă de analiză și fragmentare a imaginilor reduce semnificativ numărul total de operații pe care un sistem trebuie să le efectueze.

Pentru a proiecta generatorul de holograme alimentat de IA, echipa de cercetare a început prin construirea unei baze de date alcătuite din aproximativ 4000 de imagini generate de calculator, cu un hologram 3D corespunzător asignat fiecăreia dintre aceste imagini. Rețeaua neuronală convoluțională a fost antrenată pe acest set de date, învățând cum fiecare imagine era legată de holograma sa și cea mai bună modalitate de a utiliza caracteristicile pentru a genera hologramele. Atunci când sistemul de IA a fost furnizat cu date nevizualizate cu informații de adâncime, a putut genera noi holograme din aceste date. Informațiile de adâncime sunt furnizate prin utilizarea senzorilor lidar sau a afișajelor cu mai multe camere și sunt redate sub forma unei imagini generate de calculator. Unele noi iPhone au aceste componente, ceea ce înseamnă că ar putea genera hologramele dacă ar fi conectate la afișajul potrivit.

Noul sistem de holograme alimentat de IA necesită mult mai puțină memorie decât metodele clasice. Sistemul poate genera holograme 3D la 60 de cadre pe secundă în culori complete cu o rezoluție de 1920 x 1080 utilizând aproximativ 620 de kilobyți de memorie în timp ce rulează pe o singură unitate GPU disponibilă în mod obișnuit. Cercetătorii au reușit să ruleze sistemul pe un iPhone 11, producând aproximativ o hologramă pe secundă, în timp ce un Google Edge TPU a putut renderiza 2 holograme pe secundă. Acest lucru sugerează că sistemul ar putea fi adaptat pentru smartphone-uri, dispozitive AR și VR în general. Sistemul ar putea avea și aplicații pentru imprimarea 3D volumetrică sau în proiectarea microscopilor holografici.

În viitor, îmbunătățirile aduse tehnologiei ar putea introduce hardware și software de urmărire a ochilor, permițând hologramelor să se scalizeze dinamic în funcție de rezoluție pe măsură ce utilizatorul se uită la anumite locuri.