Um Sistema de Foco Autêntico para Realidade Aumentada “Barata”

Pesquisadores do Instituto de Engenheiros Eletricistas e Eletrônicos (IEEE) desenvolveram um método para aumentar a autenticidade de instalações de realidade aumentada de baixo custo e baseadas em projeção, por meio de óculos especiais que fazem com que imagens 3D projetadas entrem e saiam de foco da mesma maneira que objetos reais, superando um obstáculo perceptual crítico para o uso prático de sistemas de projeção em ambientes controlados.

O sistema da IEEE recria planos de profundidade para imagens reais e CGI que serão superpostas em salas. Neste caso, três coelhos CGI de Stanford estão sendo superpostos no mesmo plano de profundidade que três objetos do mundo real, e sua nitidez é controlada por onde o espectador está olhando e focando. Projetores 3D podem colocar footage em superfícies fixas, superfícies móveis ou até mesmo geometria complexa, oferecendo uma cobertura ampla que é difícil de recriar sob as limitações de processamento severas dos sistemas de RA, como o HoloLens. Fonte: https://www.youtube.com/watch?v=I8DGTQnxm38

O sistema usa lentes de foco ajustável eletricamente (ETL) incorporadas aos óculos do espectador (que, de qualquer forma, são necessários para separar as duas correntes de imagem em uma experiência 3D convincente e integrada), e que se comunicam com o sistema de projeção, que, em seguida, muda automaticamente o nível de nitidez da imagem projetada vista pelo espectador.

As lentes ETL relatam informações sobre a atenção focal do usuário e definem o nível de nitidez em uma base por plano para a renderização da geometria projetada. O desenvolvimento do sistema é descrito em um vídeo acompanhante, incorporado no final deste artigo.

O artigo, intitulado Mapeamento de Projeção Estereoscópica Multifocal, oferece um novo nível de usabilidade para um campo que foi limitado pela falta de integração com a forma como os usuários se concentram em diferentes objetos, e que promete superar os problemas que esses sistemas tiveram com o conflito de vergência-acomodação (VAC) – uma síndrome em que a distância percebida entre um objeto não corresponde à sua distância de foco lógica, fazendo com que o objeto “flutue” de maneira não convincente onde deveria estar desfocado no contexto de sua colocação.

Em ambientes de RA, como o HoloLens da Microsoft, renderização foveada é usada para concentrar o poder de processamento, renderizando detalhes e foco com base em onde o usuário que usa o dispositivo está olhando e se concentrando. No entanto, sistemas de RA portáteis, como o HoloLens, têm uma carga de hardware a bordo muito maior, pois realmente precisam entregar a imagem 3D ao espectador.

A Vantagem da Realidade Aumentada Projetada

Em contraste, óculos com ETL simplesmente enviam informações de foco como uma variável adicional para pipelines de CGI remotos, que podem mudar o foco da imagem projetada mais rápido do que o tempo de ida e volta que as informações de foco têm que fazer em um dispositivo de RA portátil (ou seja, informações de foco > enviadas para processador remoto > renderizado > enviado de volta ao usuário), melhorando a latência, que é, em si, uma causa potencial de desorientação do usuário em sistemas de RA.

Em essência, a renderização foveada é usada tanto para acomodar os recursos limitados disponíveis quanto para fornecer uma experiência de foco autêntica para o usuário, com grandes áreas de imagens superpostas difíceis de alcançar em sistemas do tipo HoloLens, e ‘renderização de caixa de letra’ e bordas instáveis uma reclamação constante.

De SIGGRAPH 98 – uma visão de realidade aumentada em um ambiente de escritório, citada no novo artigo. Fonte: https://www.youtube.com/watch?v=I8DGTQnxm38 e https://web.media.mit.edu/~raskar/UNC/Office/

O artigo observa uma série de vantagens conhecidas que o mapeamento de projeção estereoscópica (PM) tem sobre implementações mais modernas de realidade aumentada, que dependem de equipamentos corporais pesados e intensos, como os autores notam*:

Primeiro, o campo de visão (FOV) pode ser feito tão amplo quanto possível aumentando o número de projetores para cobrir o ambiente inteiro. Segundo, os óculos de fechadura ativa usados normalmente são muito mais leves e, portanto, sua carga física é menor do que a dos HMDs. Terceiro, vários usuários podem compartilhar a mesma experiência de RA se seus pontos de vista estiverem suficientemente próximos uns dos outros. Graças a essas vantagens, os pesquisadores encontraram que o mapeamento de projeção estereoscópica é adequado para uma ampla gama de aplicações, incluindo, mas não limitado a guias de museu, planejamento de arquitetura, design de produto, treinamento médico, interfaces de mudança de forma e teleconferência.

Uma dessas implementações foi concebida pela Microsoft Research em 2012, antes da concentração da empresa em RA no dispositivo nos últimos anos:

Os pesquisadores da IEEE afirmam que o novo sistema de entrada de foco é o primeiro a abordar o VAC controlando planos de foco múltiplos e é também o primeiro a resolver esse problema de forma genérica e amplamente aplicável, sem a necessidade de equipamentos de projeção especializados e caros.

O pipeline de renderização centrado no foco concebido pelos pesquisadores incorpora informações de foco recebidas dos óculos ETL do espectador no início do processo de renderização, em vez de exigir que o computador base renderize e, em seguida, desfoque. Dependendo da implementação, isso pode economizar ainda mais recursos de processamento e melhorar a latência à medida que o olhar focal do espectador vagueia pelos elementos virtuais.

A técnica é relatada como funcionando bem em uma variedade de possíveis superfícies de projeção, incluindo planas, não planas (ou seja, curvas ou geometria complexa, como bonecos nos quais imagens de raios-X médicos poderiam ser impostas) e superfícies móveis.

Um manequim de realidade mista que usa projeção 3D, projetado para um ambiente de educação médica, citado no artigo. Fonte: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Sistemas de projeção desse tipo exigem ambientes escuros, como configurações de museu, e o sistema ETL reduz o ângulo de visão disponível do espectador, embora os pesquisadores afirmem que a tendência de aumentar os tamanhos de abertura para equipamentos ETL mitigará essa limitação com o tempo. Embora os autores também notem que o sistema exige um projetor de alta velocidade para fornecer quadros suficientes para separar em duas correntes, eles usaram um projetor de prateleira, comercialmente disponível, para sua implementação.

*Minha conversão de citações em linha para hiperlinks.