Des chercheurs créent des hologrammes 3D en temps réel alimentés par l'IA sur des smartphones

Les smartphones pourraient bientôt être capables de générer des hologrammes 3D photoréalistes, en partie grâce à un modèle d'IA développé par des chercheurs du MIT. Le système d'IA développé par l'équipe du MIT détermine la meilleure façon de générer des hologrammes à partir d'une série d'images d'entrée.

Des chercheurs du MIT ont récemment conçu des modèles d'IA permettant la génération d'hologrammes 3D photoréalistes. La technologie pourrait avoir des applications pour les casques VR et AR, et les hologrammes peuvent même être générés par un smartphone.

Contrairement aux écrans 3D et VR traditionnels, qui produisent simplement l'illusion de profondeur et qui peuvent provoquer des nausées et des maux de tête, les écrans holographiques peuvent être vus par les gens sans causer de fatigue oculaire. Un obstacle majeur à la création de supports holographiques est la gestion des données nécessaires pour générer réellement l'holographe. Chaque hologramme est composé d'une quantité massive de données, nécessaires pour créer la "profondeur" de l'hologramme. Pour cette raison, la génération d'holographiques nécessite généralement une énorme puissance de calcul. Afin de rendre la technologie holographique plus pratique, l'équipe du MIT a appliqué des réseaux de neurones à convolution profonde au problème, créant un réseau capable de générer rapidement des hologrammes basés sur des images d'entrée.

L'approche typique pour générer des hologrammes générait essentiellement de nombreux morceaux d'hologrammes, puis utilisait des simulations physiques pour combiner les morceaux en une représentation complète d'un objet ou d'une image. Cela diffère de l'approche typique utilisée pour générer des hologrammes. Dans la méthode traditionnelle, les images sont découpées en tranches et une série de tables de recherche sont utilisées pour joindre les morceaux d'hologramme, car les tables de recherche marquent les limites des différents morceaux d'hologramme. Le processus de définition des limites des morceaux holographiques avec des tables de recherche prend beaucoup de temps et consomme beaucoup de puissance de traitement.

Selon le spectre IEEE, L'équipe du MIT a conçu une autre méthode de génération d'hologrammes. En utilisant la puissance des réseaux d'apprentissage en profondeur, ils ont pu découper des images en morceaux qui pourraient être recompilés en hologrammes en utilisant beaucoup moins de "tranches". Les nouvelles techniques tirent parti de la capacité des réseaux de neurones convolutifs à analyser les images et à séparer les images en morceaux discrets. Cette nouvelle méthode d'analyse et de segmentation des images réduit considérablement le nombre total d'opérations qu'un système doit effectuer.

Afin de concevoir leur générateur holographique alimenté par l'IA, l'équipe de recherche a commencé par construire une base de données composée d'environ 4000 3 images générées par ordinateur, avec un hologramme XNUMXD correspondant attribué à chacune de ces images. Le réseau neuronal convolutif a été formé sur cet ensemble de données, apprenant comment chacune des images était liée à son hologramme et la meilleure façon d'utiliser les fonctionnalités pour générer les hologrammes. Lorsque le système d’IA recevait des données invisibles avec des informations de profondeur, il pouvait alors générer de nouveaux hologrammes à partir de ces données. Les informations de profondeur sont fournies par l'utilisation de capteurs lidar ou d'écrans multi-caméras et restituées sous forme d'image générée par ordinateur. Certains nouveaux iPhone disposent de ces composants, ce qui signifie qu'ils pourraient potentiellement générer des hologrammes s'ils sont liés au bon type d'écran.

Le nouveau système d'hologramme piloté par l'IA nécessite beaucoup moins de mémoire que les méthodes classiques. Le système peut générer des hologrammes 3D à 60 images par seconde en couleur avec une résolution de 1920 x 1080 en utilisant environ 620 kilo-octets de mémoire tout en fonctionnant sur un seul GPU couramment disponible. Les chercheurs ont pu exécuter leurs systèmes sur un iPhone 11 produisant environ 1 hologramme par seconde, tandis qu'un Google Edge TPU le système pouvait restituer 2 hologrammes par seconde. Cela suggère que le système pourrait être adapté aux smartphones, aux appareils AR et aux appareils VR en général. Le système pourrait également avoir des applications pour l'impression 3D volumétrique ou dans la conception de microscopes holographiques.

À l'avenir, des améliorations de la technologie pourraient introduire du matériel et des logiciels de suivi oculaire, permettant aux hologrammes d'évoluer dynamiquement en résolution lorsque l'utilisateur regarde des endroits particuliers.