Le mouvement oculaire simulé aide à former le métaverse

Les ingénieurs informaticiens de l'Université Duke ont développé des yeux virtuels qui peuvent simuler la façon dont les humains voient le monde. Les yeux virtuels sont si précis qu'ils peuvent être utilisés pour former des programmes de réalité virtuelle et de réalité augmentée. Ils s'avéreront incroyablement bénéfiques pour les développeurs qui cherchent à créer des applications dans le métaverse.

Les résultats seront présentés du 4 au 6 mai lors de la Conférence internationale sur le traitement de l'information dans les réseaux de capteurs (PSN). 

Les nouveaux yeux virtuels s'appellent EyeSyn. 

Algorithmes de formation pour fonctionner comme des yeux

Maria Gorlatova est professeure adjointe de Nortel Networks en génie électrique et informatique à Duke. 

"Si vous êtes intéressé à détecter si une personne lit une bande dessinée ou un niveau avancé littérature en ne regardant que leurs yeux, vous pouvez le faire », a déclaré Gorlatova. 

"Mais la formation de ce type d'algorithme nécessite des données provenant de centaines de personnes portant des casques pendant des heures à la fois", a poursuivi Gorlatova. "Nous voulions développer un logiciel qui non seulement réduise les problèmes de confidentialité liés à la collecte de ce type de données, mais permette également aux petites entreprises qui ne disposent pas de ces niveaux de ressources d'entrer dans le jeu du métaverse."

Les yeux humains peuvent faire beaucoup de choses, comme indiquer si nous nous ennuyons ou sommes excités, où la concentration est concentrée ou si nous sommes un expert dans une tâche donnée. 

"L'endroit où vous priorisez votre vision en dit également beaucoup sur vous en tant que personne", a déclaré Gorlatova. "Cela peut révéler par inadvertance des préjugés sexuels et raciaux, des intérêts que nous ne voulons pas que les autres connaissent et des informations que nous ne connaissons même pas sur nous-mêmes."

Les données sur les mouvements oculaires sont extrêmement utiles pour les entreprises qui créent des plates-formes et des logiciels dans le métaverse. Il peut permettre aux développeurs d'adapter le contenu aux réponses d'engagement ou de réduire la résolution dans leur vision périphérique, ce qui peut économiser de la puissance de calcul. 

L'équipe d'informaticiens, qui comprenait l'ancien associé postdoctoral Guohao Lan et l'actuel doctorant Tim Scargill, a entrepris de développer les yeux virtuels pour imiter la façon dont un humain moyen réagit à une variété de stimuli sonores. Pour ce faire, ils se sont penchés sur la littérature des sciences cognitives explorant comment les humains voient le monde et traitent les informations virtuelles. 

Lan est maintenant professeur adjoint à l'Université de technologie de Delft aux Pays-Bas. 

"Si vous donnez à EyeSyn de nombreuses entrées différentes et l'exécutez suffisamment de fois, vous créerez un ensemble de données de mouvements oculaires synthétiques suffisamment grand pour former un classificateur (d'apprentissage automatique) pour un nouveau programme", a déclaré Gorlatova.

Test du système

Les chercheurs ont testé la précision des yeux synthétiques avec des données accessibles au public. Les yeux se sont d'abord mis à analyser des vidéos du Dr Anthony Fauci s'adressant aux médias lors de conférences de presse. L'équipe l'a ensuite comparée aux données des mouvements oculaires des téléspectateurs réels. Ils ont également comparé un ensemble de données virtuel des yeux synthétiques regardant l'art à des ensembles de données réels qui ont été recueillis auprès de personnes regardant à travers un musée d'art virtuel. Les résultats ont démontré qu'EyeSyn peut correspondre étroitement aux modèles distincts des signaux du regard réels et simuler les différentes façons dont les yeux des gens réagissent.

Gorlatova dit que ces résultats suggèrent que les yeux virtuels sont suffisamment bons pour que les entreprises les utilisent comme base de référence pour former de nouvelles plates-formes et logiciels de métaverse. 

"Les données synthétiques à elles seules ne sont pas parfaites, mais elles constituent un bon point de départ", a déclaré Gorlatova. « Les petites entreprises peuvent l'utiliser plutôt que de consacrer du temps et de l'argent à essayer de créer leurs propres ensembles de données du monde réel (avec des sujets humains). Et comme la personnalisation des algorithmes peut être effectuée sur des systèmes locaux, les utilisateurs n'ont pas à craindre que les données relatives aux mouvements de leurs yeux privés fassent partie d'une grande base de données.