Movimento de Olhos Simulado Ajuda a Treinar Metaverso

Engenheiros de computação da Universidade Duke desenvolveram olhos virtuais que podem simular como os humanos veem o mundo. Os olhos virtuais são tão precisos que podem ser usados para treinar programas de realidade virtual e realidade aumentada. Eles serão incrivelmente benéficos para desenvolvedores que buscam criar aplicativos no metaverso.

Os resultados serão apresentados em 4-6 de maio na Conferência Internacional sobre Processamento de Informações em Redes de Sensores (PSN).

Os novos olhos virtuais são chamados de EyeSyn.

Treinando Algoritmos para Funcionar como Olhos

Maria Gorlatova é a professora assistente de Engenharia Elétrica e de Computação da Universidade Duke.

“Se você estiver interessado em detectar se uma pessoa está lendo um livro de quadrinhos ou literatura avançada apenas olhando para os olhos, você pode fazer isso”, disse Gorlatova.

“Mas treinar esse tipo de algoritmo requer dados de centenas de pessoas usando headsets por horas a fio”, continuou Gorlatova. “Nós queríamos desenvolver um software que não apenas reduzisse as preocupações de privacidade que vêm com a coleta desses dados, mas também permitisse que empresas menores, que não têm esses níveis de recursos, entrassem no jogo do metaverso.”

Os olhos humanos podem fazer muitas coisas, como indicar se estamos entediados ou animados, onde a concentração está focada ou se somos especialistas em uma tarefa específica.

“Onde você está priorizando sua visão diz muito sobre você como pessoa, também”, disse Gorlatova. “Isso pode revelar inadvertidamente preconceitos sexuais e raciais, interesses que não queremos que os outros saibam e informações que talvez nem mesmo saibamos sobre nós mesmos.”

Os dados de movimento dos olhos são extremamente úteis para as empresas que estão construindo plataformas e software no metaverso. Eles podem permitir que os desenvolvedores ajustem o conteúdo às respostas de engajamento ou reduzam a resolução na visão periférica, o que pode economizar poder computacional.

A equipe de cientistas da computação, que incluía o ex-associado de pós-doutorado Guohao Lan e o atual estudante de doutorado Tim Scargill, se propôs a desenvolver os olhos virtuais para imitar como um humano médio responde a uma variedade de estímulos sonoros. Para fazer isso, eles olharam para a literatura da ciência cognitiva que explora como os humanos veem o mundo e processam informações virtuais.

Lan agora é professor assistente na Universidade de Tecnologia de Delft, na Holanda.

“Se você der a EyeSyn muitas entradas diferentes e executá-la o suficiente, você criará um conjunto de dados de movimentos de olhos sintéticos que é grande o suficiente para treinar um classificador de aprendizado de máquina para um novo programa”, disse Gorlatova.

Testando o Sistema

Os pesquisadores testaram a precisão dos olhos sintéticos com dados públicos disponíveis. Os olhos foram primeiro usados para analisar vídeos do Dr. Anthony Fauci se dirigindo à imprensa durante coletivas de imprensa. A equipe então comparou com dados dos movimentos de olhos de espectadores reais. Eles também compararam um conjunto de dados virtuais dos olhos sintéticos olhando para arte com conjuntos de dados reais que foram coletados de pessoas olhando para um museu de arte virtual. Os resultados demonstraram que a EyeSyn pode corresponder de perto aos padrões distintos de sinais de olhar reais e simular as diferentes maneiras pelas quais os olhos das pessoas reagem.

Gorlatova diz que esses resultados sugerem que os olhos virtuais são bons o suficiente para as empresas usarem como uma base para treinar novas plataformas e software do metaverso.

“Os dados sintéticos sozinhos não são perfeitos, mas são um bom ponto de partida”, disse Gorlatova. “Empresas menores podem usá-los em vez de gastar tempo e dinheiro tentando construir seus próprios conjuntos de dados do mundo real (com sujeitos humanos). E porque a personalização dos algoritmos pode ser feita em sistemas locais, as pessoas não precisam se preocupar com seus dados de movimento de olhos se tornando parte de um grande banco de dados.”