Ricercatori creano ologrammi 3D in tempo reale con intelligenza artificiale su smartphone

Gli smartphone potrebbero presto essere in grado di generare ologrammi 3D fotorealistici, grazie in parte a un modello di intelligenza artificiale sviluppato da ricercatori al MIT. Il sistema di intelligenza artificiale sviluppato dal team del MIT determina il modo migliore per generare ologrammi da una serie di immagini di input.

I ricercatori del MIT hanno recentemente progettato modelli di intelligenza artificiale che consentono la generazione di ologrammi 3D fotorealistici. La tecnologia potrebbe avere applicazioni per cuffie VR e AR, e gli ologrammi possono anche essere generati da uno smartphone.

A differenza dei tradizionali display 3D e VR, che semplicemente producono l’illusione della profondità e che possono causare nausea e mal di testa, gli ologrammi possono essere visti dalle persone senza causare affaticamento degli occhi. Un ostacolo importante verso la creazione di ologrammi è la gestione dei dati necessari per generare l’ologramma. Ogni ologramma è composto da una grande quantità di dati, necessari per creare la “profondità” dell’ologramma. A causa di ciò, la generazione di ologrammi richiede generalmente una grande quantità di potenza di calcolo. Per rendere la tecnologia olografica più pratica, il team del MIT ha applicato reti neurali convoluzionali profonde al problema, creando una rete in grado di generare rapidamente ologrammi in base a immagini di input.

L’approccio tradizionale per la generazione di ologrammi consiste essenzialmente nel generare molti pezzi di ologrammi e quindi utilizzare simulazioni fisiche per combinare i pezzi in una rappresentazione completa di un oggetto o immagine. Ciò differisce dall’approccio tradizionale utilizzato per generare ologrammi. Nel metodo tradizionale, le immagini vengono divise e una serie di tabelle di ricerca vengono utilizzate per unire i pezzi di ologrammi, poiché le tabelle di ricerca segnano i confini dei diversi pezzi di ologrammi. Il processo di definizione dei confini dei pezzi di ologrammi con tabelle di ricerca è piuttosto lungo e richiede molta potenza di calcolo.

Secondo IEEE Spectrum, il team del MIT ha progettato un altro metodo per generare ologrammi. Utilizzando la potenza delle reti neurali profonde, sono stati in grado di dividere le immagini in pezzi che potevano essere ricompilati in ologrammi utilizzando molti meno “pezzi”. La nuova tecnica sfrutta la capacità delle reti neurali convoluzionali di analizzare le immagini e separare le immagini in pezzi discreti. Questo nuovo metodo di analisi e suddivisione delle immagini riduce notevolmente il numero totale di operazioni che un sistema deve eseguire.

Per progettare il loro generatore di ologrammi alimentato da intelligenza artificiale, il team di ricerca ha iniziato costruendo un database composto da circa 4000 immagini generate al computer, con un ologramma 3D corrispondente assegnato a ciascuna di queste immagini. La rete neurale convoluzionale è stata addestrata su questo set di dati, imparando come ciascuna delle immagini era legata al suo ologramma e il modo migliore per utilizzare le caratteristiche per generare gli ologrammi. Quando il sistema di intelligenza artificiale è stato fornito di dati non visti con informazioni di profondità, è stato in grado di generare nuovi ologrammi da questi dati. Le informazioni di profondità vengono fornite attraverso l’uso di sensori lidar o display multicanale e vengono rappresentate come immagine generata al computer. Alcuni nuovi iPhone hanno questi componenti, il che significa che potrebbero potenzialmente generare gli ologrammi se collegati al tipo giusto di display.

Il nuovo sistema di ologrammi guidato da intelligenza artificiale richiede molto meno memoria dei metodi classici. Il sistema può generare ologrammi 3D a 60 fotogrammi al secondo in pieno colore con una risoluzione di 1920 x 1080 utilizzando circa 620 kilobyte di memoria mentre esegue su una sola GPU comunemente disponibile. I ricercatori sono stati in grado di eseguire il loro sistema su un iPhone 11 producendo circa 1 ologramma al secondo, mentre un Google Edge TPU il sistema poteva renderizzare 2 ologrammi al secondo. Ciò suggerisce che il sistema potrebbe essere adattato a smartphone, dispositivi AR e VR in generale. Il sistema potrebbe anche avere applicazioni per la stampa 3D volumetrica o nella progettazione di microscopi olografici.

In futuro, miglioramenti alla tecnologia potrebbero introdurre hardware e software di tracciamento degli occhi, consentendo agli ologrammi di scalare dinamicamente in risoluzione mentre l’utente guarda particolari punti.