Les chercheurs créent des hologrammes 3D en temps réel alimentés par l’IA sur les smartphones

Les smartphones pourraient bientôt être capables de générer des hologrammes 3D photoréalistes, grâce en partie à un modèle d’IA développé par des chercheurs au MIT. Le système d’IA développé par l’équipe du MIT détermine la meilleure façon de générer des hologrammes à partir d’une série d’images d’entrée.

Les chercheurs du MIT ont récemment conçu des modèles d’IA qui permettent la génération d’hologrammes 3D photoréalistes. La technologie pourrait avoir des applications pour les casques VR et AR, et les hologrammes peuvent même être générés par un smartphone.

Contrairement aux affichages 3D et VR traditionnels, qui ne produisent que l’illusion de la profondeur et qui peuvent causer des nausées et des maux de tête, les affichages holographiques peuvent être vus par les personnes sans causer de fatigue oculaire. Un obstacle majeur vers la création de médias holographiques est la gestion des données nécessaires pour générer réellement l’hologramme. Chaque hologramme est composé d’une énorme quantité de données, nécessaire pour créer la « profondeur » de l’hologramme. En raison de cela, la génération d’hologrammes nécessite généralement une énorme quantité de puissance de calcul. Pour rendre la technologie holographique plus pratique, l’équipe du MIT a appliqué des réseaux de neurones convolutifs profonds au problème, créant un réseau capable de générer rapidement des hologrammes à partir d’images d’entrée.

L’approche typique pour générer des hologrammes consiste essentiellement à générer de nombreux morceaux d’hologrammes, puis à utiliser des simulations physiques pour combiner les morceaux en une représentation complète d’un objet ou d’une image. Cela diffère de l’approche typique utilisée pour générer des hologrammes. Dans la méthode traditionnelle, les images sont découpées et une série de tables de recherche sont utilisées pour joindre les morceaux d’hologrammes ensemble, car les tables de recherche marquent les limites des différents morceaux d’hologrammes. Le processus de définition des limites des morceaux d’hologrammes avec des tables de recherche est assez long et gourmand en puissance de traitement.

Selon IEEE Spectrum, l’équipe du MIT a conçu une autre méthode de génération d’hologrammes. En utilisant la puissance des réseaux de neurones profonds, ils ont pu découper les images en morceaux qui pouvaient être recompilés en hologrammes en utilisant beaucoup moins de « tranches ». La nouvelle technique tire parti de la capacité des réseaux de neurones convolutifs à analyser les images et à séparer les images en morceaux distincts. Cette nouvelle méthode d’analyse et de découpage d’images réduit considérablement le nombre d’opérations totales qu’un système doit effectuer.

Pour concevoir leur générateur d’hologrammes alimenté par l’IA, l’équipe de recherche a commencé par construire une base de données composée d’environ 4000 images générées par ordinateur, avec un hologramme 3D correspondant assigné à chacune de ces images. Le réseau de neurones convolutif a été formé sur ce jeu de données, apprenant comment chaque image était liée à son hologramme et la meilleure façon d’utiliser les fonctionnalités pour générer les hologrammes. Lorsque le système d’IA était fourni avec des données non vues avec des informations de profondeur, il pouvait alors générer de nouveaux hologrammes à partir de ces données. Les informations de profondeur sont fournies par l’utilisation de capteurs lidar ou d’affichages multi-caméras et sont rendues sous forme d’image générée par ordinateur. Certains nouveaux iPhone ont ces composants, ce qui signifie qu’ils pourraient potentiellement générer des hologrammes si ils sont connectés à l’affichage approprié.

Le nouveau système d’hologramme alimenté par l’IA nécessite beaucoup moins de mémoire que les méthodes classiques. Le système peut générer des hologrammes 3D à 60 images par seconde en couleur complète avec une résolution de 1920 x 1080 en utilisant environ 620 kilo-octets de mémoire tout en fonctionnant sur une seule GPU couramment disponible. Les chercheurs ont pu exécuter leur système sur un iPhone 11 produisant environ 1 hologramme par seconde, tandis qu’un Google Edge TPU le système pouvait rendre 2 hologrammes par seconde. Cela suggère que le système pourrait être adapté aux smartphones, aux appareils AR et VR en général. Le système pourrait également avoir des applications pour l’impression 3D volumétrique ou pour la conception de microscopes holographiques.

À l’avenir, les améliorations de la technologie pourraient introduire du matériel et des logiciels de suivi des yeux, permettant aux hologrammes de mettre à l’échelle dynamiquement la résolution en fonction de l’endroit où l’utilisateur regarde.