Movimento Ocular Simulado Ajuda a Treinar Metaverso

Engenheiros de computador da Duke University desenvolveram olhos virtuais que podem simular como os humanos veem o mundo. Os olhos virtuais são tão precisos que podem ser usados para treinar programas de realidade virtual e realidade aumentada. Eles serão incrivelmente benéficos para desenvolvedores que buscam criar aplicativos no metaverso.

Os resultados serão apresentados em 4-6 de maio na Conferência Internacional sobre Processamento de Informações em Redes de Sensores (PSN). 

Os novos olhos virtuais são chamados de EyeSyn. 

Treinando Algoritmos para Funcionar como Olhos

Maria Gorlatova é professora assistente de Engenharia Elétrica e de Computador da Duke. 

“Se você estiver interessado em detectar se uma pessoa está lendo uma revista em quadrinhos ou literatura avançada apenas olhando para os olhos, você pode fazer isso,” disse Gorlatova. 

“Mas treinar esse tipo de algoritmo requer dados de centenas de pessoas usando headsets por horas a fio,” continuou Gorlatova. “Queríamos desenvolver um software que não apenas reduzisse as preocupações de privacidade que vêm com a coleta desses dados, mas também permitisse que empresas menores, que não têm esses níveis de recursos, entrassem no jogo do metaverso.”

Os olhos humanos podem fazer muitas coisas, como indicar se estamos entediados ou animados, onde está focada a concentração, ou se somos especialistas em uma tarefa específica. 

“Onde você está priorizando sua visão diz muito sobre você como pessoa, também,” disse Gorlatova. “Isso pode inadvertidamente revelar preconceitos sexuais e raciais, interesses que não queremos que os outros saibam, e informações que talvez não saibamos sobre nós mesmos.”

Os dados de movimento ocular são extremamente úteis para empresas que constroem plataformas e software no metaverso. Eles podem permitir que os desenvolvedores personalizem o conteúdo em resposta a respostas de engajamento ou reduzam a resolução na visão periférica, o que pode economizar poder computacional. 

A equipe de cientistas da computação, que incluía o ex-associado de pós-doutorado Guohao Lan e o atual estudante de doutorado Tim Scargill, se esforçou para desenvolver os olhos virtuais para imitar como um humano médio responde a uma variedade de estímulos sonoros. Para fazer isso, eles analisaram a literatura de ciência cognitiva que explora como os humanos veem o mundo e processam informações virtuais. 

Lan agora é professor assistente na Delft University of Technology, na Holanda. 

“Se você der a EyeSyn muitas entradas diferentes e executá-la o suficiente, você criará um conjunto de dados de movimentos oculares sintéticos que é grande o suficiente para treinar um classificador (de aprendizado de máquina) para um novo programa,” disse Gorlatova.

Testando o Sistema

Os pesquisadores testaram a precisão dos olhos sintéticos com dados públicos disponíveis. Os olhos foram primeiro usados para analisar vídeos do Dr. Anthony Fauci se dirigindo à mídia durante coletivas de imprensa. A equipe então comparou com dados de movimentos oculares de espectadores reais. Eles também compararam um conjunto de dados virtuais dos olhos sintéticos olhando para arte com conjuntos de dados reais coletados de pessoas olhando para um museu de arte virtual. Os resultados demonstraram que a EyeSyn pode se aproximar estreitamente dos padrões distintos de sinais de olhar reais e simular as diferentes maneiras pelas quais os olhos das pessoas reagem.

Gorlatova afirma que esses resultados sugerem que os olhos virtuais são suficientemente bons para que as empresas os usem como uma linha de base para treinar novas plataformas e software do metaverso. 

“Os dados sintéticos sozinhos não são perfeitos, mas são um bom ponto de partida,” disse Gorlatova. “Empresas menores podem usá-los em vez de gastar tempo e dinheiro tentando construir seus próprios conjuntos de dados do mundo real (com sujeitos humanos). E porque a personalização dos algoritmos pode ser feita em sistemas locais, as pessoas não precisam se preocupar com seus dados de movimento ocular se tornando parte de um grande banco de dados.”