Cercetătorii creează holograme 3D în timp real pe smartphone-uri, alimentate de inteligență artificială

Telefoanele mobile ar putea genera în curând holograme 3D fotorealistice, mulțumită în parte unui model de inteligență artificială dezvoltat de cercetători de la MIT. Sistemul de inteligență artificială dezvoltat de echipa MIT determină cel mai bun mod de a genera holograme dintr-o serie de imagini de intrare.

Cercetătorii de la MIT au proiectat recent modele de inteligență artificială care permit generarea de holograme 3D fotorealistice. Tehnologia ar putea avea aplicații pentru căști VR și AR, iar hologramele pot fi generate chiar și de un smartphone.

În contrast cu afișajele 3D și VR tradiționale, care produc doar iluzia adâncimii și care pot cauza greață și dureri de cap, afișajele holografice pot fi văzute de oameni fără a cauza oboseală oculară. Un obstacol major în calea creării de medii holografice este manipularea datelor necesare pentru a genera efectiv holograma. Fiecare hologramă este alcătuită dintr-o cantitate masivă de date, necesare pentru a crea “adâncimea” hologramei. Din cauza acestui fapt, generarea de holograme necesită de obicei o cantitate masivă de putere de calcul. Pentru a face tehnologia holografică mai practică, echipa MIT a aplicat rețele neuronale convoluționale profunde pentru a rezolva problema, creând o rețea capabilă să genereze rapid holograme pe baza imaginilor de intrare.

Aproachul tradițional pentru generarea de holograme constă în esență în generarea a numeroase fragmente de holograme și apoi utilizarea simulărilor fizice pentru a combina fragmentele într-o reprezentare completă a unui obiect sau imagine. Acest lucru se diferențiază de abordarea tradițională utilizată pentru a genera holograme. În metoda tradițională, imaginile sunt tăiate și o serie de tabele de căutare sunt utilizate pentru a uni fragmentele de hologramă, deoarece tabelele de căutare marchează granițele diferitelor fragmente de hologramă. Procesul de definire a granițelor fragmentelor de hologramă cu ajutorul tabelelor de căutare este destul de consumator de timp și putere de procesare.

Conform IEEE Spectrum, echipa MIT a proiectat o altă metodă de generare a hologramelor. Utilizând puterea rețelelor de învățare profundă, au reușit să taie imaginile în fragmente care pot fi recompuse în holograme utilizând mult mai puține “felii”. Noua tehnică profită de capacitatea rețelelor neuronale convoluționale de a analiza imaginile și de a separa imaginile în fragmente discrete. Această nouă metodă de analiză și fragmentare a imaginilor reduce semnificativ numărul total de operații pe care sistemul trebuie să le efectueze.

Pentru a proiecta generatorul lor de holograme alimentat de inteligență artificială, echipa de cercetare a început prin a construi o bază de date alcătuită din aproximativ 4000 de imagini generate pe calculator, cu un hologram 3D corespunzător asignat fiecăreia dintre aceste imagini. Rețeaua neuronală convoluțională a fost antrenată pe acest set de date, învățând cum fiecare imagine era legată de holograma sa și cel mai bun mod de a utiliza caracteristicile pentru a genera hologramele. Atunci când sistemul de inteligență artificială a fost furnizat cu date nevizualizate care conțineau informații despre adâncime, a putut genera noi holograme din aceste date. Informațiile despre adâncime sunt furnizate prin utilizarea senzorilor lidar sau a afișajelor cu multiple camere și sunt redate sub formă de imagine generată pe calculator. Unele noi iPhone au aceste componente, ceea ce înseamnă că ar putea genera hologramele dacă ar fi conectate la afișaje de tipul potrivit.

Noul sistem de holograme condus de inteligență artificială necesită mult mai puțină memorie decât metodele clasice. Sistemul poate genera holograme 3D la 60 de cadre pe secundă în culori complete cu o rezoluție de 1920 x 1080, utilizând aproximativ 620 de kilobyți de memorie, în timp ce rulează pe o singură unitate de procesare grafică disponibilă în mod obișnuit. Cercetătorii au reușit să ruleze sistemul lor pe un iPhone 11, producând aproximativ o hologramă pe secundă, în timp ce un Google (GOOGL ) Edge TPU a permis sistemului să redea 2 holograme pe secundă. Acest lucru sugerează că sistemul ar putea fi adaptat pentru smartphone-uri, dispozitive AR și VR în general. Sistemul ar putea avea, de asemenea, aplicații pentru imprimarea 3D volumetrică sau în proiectarea microscopilor holografici.

În viitor, îmbunătățirile aduse tehnologiei ar putea introduce hardware și software de urmărire a ochilor, permițând hologramelor să se scaleze dinamic în rezoluție pe măsură ce utilizatorul se uită la anumite locuri.