Gesimuleerde oogbewegingen helpen met het trainen van de metaverse

Computerengineers van de Duke University hebben virtuele ogen ontwikkeld die simuleren hoe mensen naar de wereld kijken. De virtuele ogen zijn zo nauwkeurig dat ze gebruikt kunnen worden om virtual reality- en augmented reality-programma’s te trainen. Ze zullen enorm veel voordeel opleveren voor ontwikkelaars die applicaties in de metaverse willen maken.

De resultaten zullen worden gepresenteerd op 4-6 mei op de Internationale Conferentie over Informatieverwerking in Sensor Netwerken (PSN).

De nieuwe virtuele ogen heten EyeSyn.

Algoritmen trainen om als ogen te werken

Maria Gorlatova is de Nortel Networks Assistant Professor of Electrical and Computer Engineering aan de Duke.

“Als je geïnteresseerd bent in het detecteren of iemand een stripboek leest of geavanceerde literatuur door alleen naar hun ogen te kijken, kun je dat doen,” zei Gorlatova.

“Maar het trainen van dat soort algoritme vereist data van honderden mensen die headsets dragen voor uren achter elkaar,” vervolgde Gorlatova. “We wilden software ontwikkelen die niet alleen de privacyproblemen die met het verzamelen van deze gegevens komen verminderd, maar ook kleinere bedrijven die niet over die middelen beschikken in staat stelt om deel te nemen aan de metaverse.”

Menselijke ogen kunnen veel dingen doen, zoals aangeven of we ons verveelen of opgewonden zijn, waar onze concentratie op gericht is, of of we een expert zijn in een bepaalde taak.

“Waar je je visie prioriteert, zegt veel over je als persoon,” zei Gorlatova. “Het kan onbewust seksuele en raciale vooroordelen, interesses die we niet willen dat anderen weten, en informatie die we misschien niet eens over onszelf weten, onthullen.”

Oogbewegingsgegevens zijn extreem nuttig voor bedrijven die platforms en software in de metaverse bouwen. Het kan ontwikkelaars in staat stellen om inhoud aan te passen aan engagementreacties of de resolutie in hun perifere visie te verlagen, wat computermacht kan besparen.

Het team van computerwetenschappers, waaronder voormalig postdoctoraal onderzoeker Guohao Lan en huidig PhD-student Tim Scargill, heeft de virtuele ogen ontwikkeld om te simuleren hoe een gemiddelde mens reageert op verschillende stimuli-geluiden. Daartoe hebben ze gekeken naar de cognitieve wetenschappelijke literatuur over hoe mensen de wereld zien en virtuele informatie verwerken.

Lan is nu assistant professor aan de Technische Universiteit Delft in Nederland.

“Als je EyeSyn veel verschillende invoer geeft en het vaak genoeg uitvoert, creëer je een dataset van synthetische oogbewegingen die groot genoeg is om een (machine learning) classifier voor een nieuw programma te trainen,” zei Gorlatova.

Het systeem testen

De onderzoekers hebben de nauwkeurigheid van de synthetische ogen getest met openbaar beschikbare gegevens. De ogen werden eerst gebruikt om video’s van Dr. Anthony Fauci te analyseren die het publiek toesprak tijdens persconferenties. Het team vergleek het vervolgens met gegevens van de oogbewegingen van echte kijkers. Ze vergeleken ook een virtuele dataset van de synthetische ogen die naar kunst keken met echte datasets die waren verzameld van mensen die door een virtueel kunstmuseum keken. De resultaten toonden aan dat EyeSyn de distincte patronen van echte bliksignalen nauwkeurig kan simuleren en de verschillende manieren waarop mensen naar dingen kijken.

Gorlatova zegt dat deze resultaten aangeven dat de virtuele ogen goed genoeg zijn voor bedrijven om als basis te gebruiken om nieuwe metaverse-platforms en -software te trainen.

“De synthetische gegevens alleen zijn niet perfect, maar het is een goed startpunt,” zei Gorlatova. “Kleinere bedrijven kunnen het gebruiken in plaats van de tijd en het geld te besteden aan het opbouwen van hun eigen echte datasets (met menselijke onderwerpen). En omdat de personalisatie van de algoritmen op lokale systemen kan worden gedaan, hoeven mensen zich geen zorgen te maken over hun privé-oogbewegingsgegevens die deel worden van een grote database.”