Movimiento de ojos simulado ayuda a entrenar al metaverso

Los ingenieros informáticos de la Universidad de Duke han desarrollado ojos virtuales que pueden simular cómo los humanos ven el mundo. Los ojos virtuales son tan precisos que se pueden utilizar para entrenar programas de realidad virtual y realidad aumentada. Serán increíblemente beneficiosos para los desarrolladores que buscan crear aplicaciones en el metaverso.

Los resultados se presentarán del 4 al 6 de mayo en la Conferencia Internacional sobre Procesamiento de Información en Redes de Sensores (PSN).

Los nuevos ojos virtuales se llaman EyeSyn.

Entrenar algoritmos para que funcionen como ojos

Maria Gorlatova es la profesora asistente de Ingeniería Eléctrica y Computación de la Universidad de Duke.

“Si estás interesado en detectar si una persona está leyendo un cómic o literatura avanzada solo mirando sus ojos, puedes hacerlo”, dijo Gorlatova.

“Pero entrenar ese tipo de algoritmo requiere datos de cientos de personas que llevan cascos durante horas”, continuó Gorlatova. “Queríamos desarrollar un software que no solo reduzca las preocupaciones de privacidad que conlleva recopilar este tipo de datos, sino que también permita a las empresas más pequeñas, que no tienen esos niveles de recursos, entrar en el juego del metaverso”.

Los ojos humanos pueden hacer muchas cosas, como indicar si estamos aburridos o emocionados, dónde se centra nuestra concentración o si somos expertos en una tarea determinada.

“Donde priorizas tu visión dice mucho sobre ti como persona”, dijo Gorlatova. “Puede revelar inadvertidamente sesgos sexuales y raciales, intereses que no queremos que otros sepan, y información que tal vez ni siquiera sabemos sobre nosotros mismos”.

Los datos del movimiento de los ojos son extremadamente útiles para las empresas que construyen plataformas y software en el metaverso. Pueden permitir a los desarrolladores adaptar el contenido a las respuestas de compromiso o reducir la resolución en la visión periférica, lo que puede ahorrar potencia computacional.

El equipo de científicos informáticos, que incluía al ex asociado postdoctoral Guohao Lan y al estudiante de doctorado actual Tim Scargill, se propuso desarrollar los ojos virtuales para imitar cómo responde un humano promedio a una variedad de estímulos sonoros. Para hacer esto, examinaron la literatura de ciencia cognitiva que explora cómo los humanos ven el mundo y procesan la información virtual.

Lan ahora es profesor asistente en la Universidad de Tecnología de Delft en los Países Bajos.

“Si le das a EyeSyn muchas entradas diferentes y lo ejecutas suficientes veces, crearás un conjunto de datos de movimientos de ojos sintéticos lo suficientemente grande como para entrenar un clasificador de aprendizaje automático para un nuevo programa”, dijo Gorlatova.

Poner a prueba el sistema

Los investigadores probaron la precisión de los ojos sintéticos con datos disponibles públicamente. Los ojos se analizaron primero para analizar videos del Dr. Anthony Fauci dirigiéndose a los medios durante conferencias de prensa. El equipo luego los comparó con datos de los movimientos de los ojos de espectadores reales. También compararon un conjunto de datos virtual de los ojos sintéticos mirando arte con conjuntos de datos reales que se recopilaron de personas que miraban a través de un museo de arte virtual. Los resultados demostraron que EyeSyn puede coincidir estrechamente con los patrones distintivos de las señales de mirada reales y simular las diferentes formas en que reaccionan los ojos de las personas.

Gorlatova dice que estos resultados sugieren que los ojos virtuales son lo suficientemente buenos para que las empresas los utilicen como base para entrenar nuevas plataformas y software del metaverso.

“Los datos sintéticos solos no son perfectos, pero son un buen punto de partida”, dijo Gorlatova. “Las empresas más pequeñas pueden usarlos en lugar de gastar tiempo y dinero intentando construir sus propios conjuntos de datos del mundo real (con sujetos humanos). Y porque la personalización de los algoritmos se puede hacer en sistemas locales, las personas no tienen que preocuparse por que sus datos de movimiento de ojos privados se conviertan en parte de una gran base de datos”.