Pesquisadores Criam Hologramas 3D em Tempo Real com IA em Smartphones

Smartphones podem em breve ser capazes de gerar hologramas 3D fotorealistas, graças em parte a um modelo de IA desenvolvido por pesquisadores do MIT. O sistema de IA desenvolvido pela equipe do MIT determina a melhor maneira de gerar hologramas a partir de uma série de imagens de entrada.

Pesquisadores do MIT recentemente projetaram modelos de IA que permitem a geração de hologramas 3D fotorealistas. A tecnologia pode ter aplicações para headsets de VR e AR, e os hologramas podem ser gerados até mesmo por um smartphone.

Ao contrário dos displays 3D e VR tradicionais, que simplesmente produzem a ilusão de profundidade e que podem causar náusea e dores de cabeça, os displays holográficos podem ser vistos por pessoas sem causar tensão nos olhos. Um grande obstáculo para a criação de mídia holográfica é lidar com os dados necessários para gerar o holograma. Cada holograma é composto por uma quantidade massiva de dados, necessários para criar a “profundidade” do holograma. Devido a isso, a geração de hologramas normalmente requer uma grande quantidade de poder de processamento. Para tornar a tecnologia holográfica mais prática, a equipe do MIT aplicou redes neurais convolucionais profundas ao problema, criando uma rede capaz de gerar hologramas rapidamente com base em imagens de entrada.

A abordagem típica para gerar hologramas basicamente gera muitos pedaços de hologramas e, em seguida, usa simulações físicas para combinar os pedaços em uma representação completa de um objeto ou imagem. Isso difere da abordagem típica usada para gerar hologramas. No método tradicional, as imagens são fatiadas e uma série de tabelas de pesquisa são usadas para unir os pedaços de holograma, pois as tabelas de pesquisa marcam os limites dos diferentes pedaços de holograma. O processo de definição de limites de pedaços de holograma com tabelas de pesquisa é bastante demorado e intensivo em termos de processamento.

De acordo com o IEEE Spectrum, a equipe do MIT projetou outro método de geração de hologramas. Usando o poder de redes neurais profundas, eles foram capazes de fatiar imagens em pedaços que poderiam ser recompilados em hologramas usando muito menos “fatias”. A nova técnica aproveita a capacidade de redes neurais convolucionais de analisar imagens e separar imagens em pedaços discretos. Esse novo método de análise e fatiamento de imagens reduz significativamente o número total de operações que o sistema precisa realizar.

Para projetar seu gerador de hologramas com IA, a equipe de pesquisa começou construindo um banco de dados composto por cerca de 4000 imagens geradas por computador, com um holograma 3D correspondente atribuído a cada uma dessas imagens. A rede neural convolacional foi treinada nesse conjunto de dados, aprendendo como cada uma das imagens estava ligada ao seu holograma e a melhor maneira de usar recursos para gerar os hologramas. Quando o sistema de IA foi fornecido com dados não vistos com informações de profundidade, ele pôde, então, gerar novos hologramas a partir desses dados. As informações de profundidade são fornecidas por meio do uso de sensores de lidar ou displays de multicâmera e renderizadas como uma imagem gerada por computador. Alguns novos iPhones têm esses componentes, o que significa que eles poderiam potencialmente gerar os hologramas se ligados ao tipo certo de display.

O novo sistema de holograma com IA precisa de muito menos memória do que os métodos clássicos. O sistema pode gerar hologramas 3D a 60 quadros por segundo em cores completas com uma resolução de 1920 x 1080 usando cerca de 620 kilobytes de memória enquanto executa em uma única GPU comumente disponível. Os pesquisadores foram capazes de executar seus sistemas em um iPhone 11 produzindo cerca de 1 holograma por segundo, enquanto um Google Edge TPU o sistema pode renderizar 2 hologramas por segundo. Isso sugere que o sistema pode ser adaptado para smartphones, dispositivos AR e VR em geral. O sistema também pode ter aplicações para impressão 3D volumétrica ou no design de microscópios holográficos.

No futuro, melhorias na tecnologia podem introduzir hardware e software de rastreamento de olhos, permitindo que os hologramas escalonem dinamicamente em resolução à medida que o usuário olha para lugares específicos.