Le mouvement des yeux simulé aide à former le métaverse

Les ingénieurs en informatique de l’Université Duke ont développé des yeux virtuels qui peuvent simuler la façon dont les humains regardent le monde. Les yeux virtuels sont si précis qu’ils peuvent être utilisés pour former des programmes de réalité virtuelle et de réalité augmentée. Ils seront extrêmement bénéfiques pour les développeurs qui cherchent à créer des applications dans le métaverse.

Les résultats seront présentés les 4-6 mai à la Conférence internationale sur le traitement de l’information dans les réseaux de capteurs (PSN).

Les nouveaux yeux virtuels s’appellent EyeSyn.

Entraîner les algorithmes pour qu’ils fonctionnent comme des yeux

Maria Gorlatova est professeure agrégée de génie électrique et informatique à Duke.

“Si vous êtes intéressé par la détection de savoir si une personne lit un livre de bande dessinée ou de la littérature avancée en regardant seulement ses yeux, vous pouvez le faire,” a déclaré Gorlatova.

“Mais l’entraînement de ce type d’algorithme nécessite des données provenant de centaines de personnes portant des casques pendant des heures,” a continué Gorlatova. “Nous voulions développer un logiciel qui réduise non seulement les problèmes de confidentialité liés à la collecte de ces données, mais qui permette également aux petites entreprises qui n’ont pas ces niveaux de ressources de participer au jeu du métaverse.”

Les yeux humains peuvent faire beaucoup de choses, comme indiquer si nous sommes ennuyés ou excités, où se concentre notre attention, ou si nous sommes des experts dans une tâche donnée.

“L’endroit où vous donnez la priorité à votre vision en dit long sur vous en tant que personne, aussi,” a déclaré Gorlatova. “Cela peut involontairement révéler des préjugés sexuels et raciaux, des intérêts que nous ne voulons pas que les autres connaissent, et des informations que nous ne connaissons peut-être même pas nous-mêmes.”

Les données de mouvement des yeux sont extrêmement utiles pour les entreprises qui construisent des plateformes et des logiciels dans le métaverse. Elles peuvent permettre aux développeurs de personnaliser le contenu en fonction des réponses d’engagement ou de réduire la résolution dans leur vision périphérique, ce qui peut économiser de la puissance de calcul.

L’équipe de scientifiques en informatique, qui comprenait l’ancien associé de recherche postdoctorale Guohao Lan et l’étudiant actuel en doctorat Tim Scargill, a cherché à développer les yeux virtuels pour imiter la façon dont un humain moyen réagit à différents stimuli sonores. Pour cela, ils ont examiné la littérature scientifique sur la façon dont les humains voient le monde et traitent l’information virtuelle.

Lan est maintenant professeur agrégé à l’Université de technologie de Delft aux Pays-Bas.

“Si vous donnez à EyeSyn de nombreuses entrées différentes et que vous le faites tourner suffisamment de fois, vous créerez un ensemble de données de mouvements oculaires synthétiques suffisamment grand pour entraîner un classificateur (d’apprentissage automatique) pour un nouveau programme,” a déclaré Gorlatova.

Test du système

Les chercheurs ont testé l’exactitude des yeux synthétiques avec des données publiques. Les yeux ont d’abord été utilisés pour analyser des vidéos du Dr Anthony Fauci s’adressant aux médias lors de conférences de presse. L’équipe a ensuite comparé les résultats à des données provenant des mouvements oculaires de vrais spectateurs. Ils ont également comparé un ensemble de données virtuel des yeux synthétiques regardant de l’art à des ensembles de données réels collectés à partir de personnes regardant un musée d’art virtuel. Les résultats ont montré que EyeSyn peut étroitement correspondre aux modèles distincts de signaux de regard réels et simuler les différentes façons dont les yeux des gens réagissent.

Gorlatova affirme que ces résultats suggèrent que les yeux virtuels sont suffisamment bons pour que les entreprises les utilisent comme base pour former de nouvelles plateformes et logiciels de métaverse.

“Les données synthétiques seules ne sont pas parfaites, mais c’est un bon point de départ,” a déclaré Gorlatova. “Les petites entreprises peuvent les utiliser plutôt que de passer du temps et de l’argent à essayer de construire leurs propres ensembles de données du monde réel (avec des sujets humains). Et comme la personnalisation des algorithmes peut être effectuée sur des systèmes locaux, les gens n’ont pas à s’inquiéter de voir leurs données de mouvement oculaire privées devenir partie d’une grande base de données.”