Investigadores crean hologramas 3D en tiempo real con inteligencia artificial en smartphones

Los smartphones podrían generar pronto hologramas 3D fotorealistas, gracias en parte a un modelo de inteligencia artificial desarrollado por investigadores del MIT. El sistema de inteligencia artificial desarrollado por el equipo del MIT determina la mejor manera de generar hologramas a partir de una serie de imágenes de entrada.

Investigadores del MIT han diseñado recientemente modelos de inteligencia artificial que permiten la generación de hologramas 3D fotorealistas. La tecnología podría tener aplicaciones para auriculares de realidad virtual y aumentada, y los hologramas incluso pueden ser generados por un smartphone.

A diferencia de las pantallas 3D y de realidad virtual tradicionales, que simplemente producen la ilusión de profundidad y que pueden causar náuseas y dolores de cabeza, las pantallas holográficas pueden ser vistas por las personas sin causar fatiga ocular. Un obstáculo importante para la creación de medios holográficos es manejar los datos necesarios para generar realmente el holograma. Cada holograma está compuesto por una gran cantidad de datos necesarios para crear la “profundidad” del holograma. Debido a esto, la generación de hologramas generalmente requiere una gran cantidad de poder de procesamiento. Para hacer que la tecnología holográfica sea más práctica, el equipo del MIT aplicó redes neuronales convolucionales al problema, creando una red capaz de generar hologramas rápidamente a partir de imágenes de entrada.

El enfoque típico para generar hologramas esencialmente genera muchos fragmentos de hologramas y luego utiliza simulaciones de física para combinar los fragmentos en una representación completa de un objeto o imagen. Esto difiere del enfoque tradicional utilizado para generar hologramas. En el método tradicional, las imágenes se dividen en fragmentos y se utilizan tablas de búsqueda para unir los fragmentos de holograma, ya que las tablas de búsqueda marcan los límites de los diferentes fragmentos de holograma. El proceso de definir los límites de los fragmentos de holograma con tablas de búsqueda es bastante tiempo-consuming y consume mucha potencia de procesamiento.

Según IEEE Spectrum, el equipo del MIT diseñó otro método para generar hologramas. Utilizando el poder de las redes de aprendizaje profundo, pudieron dividir las imágenes en fragmentos que podrían ser recompilados en hologramas utilizando mucha menos “rebanadas”. La nueva técnica aprovecha la capacidad de las redes neuronales convolucionales para analizar imágenes y separarlas en fragmentos discretos. Este nuevo método de analizar y fragmentar imágenes reduce significativamente la cantidad de operaciones que el sistema debe realizar.

Para diseñar su generador de hologramas con inteligencia artificial, el equipo de investigación comenzó construyendo una base de datos compuesta por alrededor de 4000 imágenes generadas por computadora, con un holograma 3D correspondiente asignado a cada una de estas imágenes. La red neuronal convolucional se entrenó en este conjunto de datos, aprendiendo cómo cada una de las imágenes estaba vinculada a su holograma y la mejor manera de utilizar características para generar los hologramas. Cuando el sistema de inteligencia artificial se proporcionó datos no vistos con información de profundidad, entonces pudo generar nuevos hologramas a partir de estos datos. La información de profundidad se suministra a través del uso de sensores lidar o pantallas de cámara múltiple y se renderiza como una imagen generada por computadora. Algunos nuevos iPhone tienen estos componentes, lo que significa que podrían generar potencialmente los hologramas si se conectan a la pantalla adecuada.

El nuevo sistema de holograma impulsado por inteligencia artificial necesita mucha menos memoria que los métodos clásicos. El sistema puede generar hologramas 3D a 60 fotogramas por segundo en color completo con una resolución de 1920 x 1080 utilizando alrededor de 620 kilobytes de memoria mientras se ejecuta en una sola GPU comúnmente disponible. Los investigadores pudieron ejecutar su sistema en un iPhone 11 produciendo alrededor de 1 holograma por segundo, mientras que un Google (GOOGL ) Edge TPU el sistema podría renderizar 2 hologramas por segundo. Esto sugiere que el sistema podría adaptarse a smartphones, dispositivos de realidad aumentada y dispositivos de realidad virtual en general. El sistema también podría tener aplicaciones para la impresión 3D volumétrica o en el diseño de microscopios holográficos.

En el futuro, las mejoras en la tecnología podrían introducir hardware y software de seguimiento de ojos, lo que permitiría a los hologramas escalar dinámicamente en resolución a medida que el usuario mira lugares específicos.