Simulert øyebevegelse hjelper med å trene Metaverse

Datateknikere ved Duke University har utviklet virtuelle øyne som kan simulere hvordan mennesker ser på verden. De virtuelle øynene er så nøyaktige at de kan brukes til å trene virtuell virkelighet og forbedret virkelighet-programmer. De vil vise seg å være usedvanlig nyttige for utviklere som ønsker å lage applikasjoner i metaverse.

Resultatene skal presenteres 4.-6. mai på den internasjonale konferansen om informasjonsbehandling i sensor nettverk (PSN).

De nye virtuelle øynene kalles EyeSyn.

Å trene algoritmer til å fungere som øyne

Maria Gorlatova er Nortel Networks-assistent professor i elektro- og datateknikk ved Duke.

“Hvis du er interessert i å oppdage om en person leser en tegneserie eller avansert litteratur ved å se på øynene alene, kan du gjøre det,” sa Gorlatova.

“Men å trene en slik algoritme krever data fra hundrevis av personer som bærer headsets i timevis,” fortsatte Gorlatova. “Vi ønsket å utvikle programvare som ikke bare reduserer personvernsproblemer som følger med å samle inn denne type data, men også tillater mindre selskaper som ikke har de samme ressursene å komme inn i metaverse-spillet.”

Menneskelige øyne kan gjøre mange ting, som å indikere om vi er kjedelige eller spente, hvor konsentrasjonen er fokusert, eller om vi er ekspert i en gitt oppgave.

“Hvor du prioriterer din visjon sier mye om deg som person, også,” sa Gorlatova. “Det kan uforvollent avsløre seksuelle og rasistiske fordommer, interesser som vi ikke ønsker at andre skal vite om, og informasjon som vi kanskje ikke vet om oss selv.”

Øyebevegelsesdata er ekstremt nyttig for selskaper som bygger plattformer og programvare i metaverse. Det kan aktivere utviklere til å tilpasse innhold til engasjementssvar eller redusere oppløsning i perifert syn, som kan spare beregningskraft.

Teamet av datateknikere, som inkluderte tidligere postdoktorand Guohao Lan og nåværende PhD-student Tim Scargill, satte ut å utvikle de virtuelle øynene for å etterligne hvordan en gjennomsnittlig menneske reagerer på en rekke stimuli-lyder. For å gjøre dette, så de på kognitiv vitenskap litteratur som utforsker hvordan mennesker ser på verden og prosesserer virtuell informasjon.

Lan er nå assistentprofessor ved Delft University of Technology i Nederland.

“Hvis du gir EyeSyn mange forskjellige innputt og kjører det nok ganger, vil du skape en datamengde av syntetiske øyebevegelser som er stor nok til å trene en (maskinlærings) klassifiserer for et nytt program,” sa Gorlatova.

Å teste systemet

Forskerne testet nøyaktigheten av de syntetiske øynene med offentlig tilgjengelige data. Øynene ble først satt til å analysere videoer av Dr. Anthony Fauci som taler til mediene under pressekonferanser. Teamet sammenlignet det med data fra øyebevegelsene til faktiske seere. De sammenlignet også en virtuell datamengde av de syntetiske øynene som ser på kunst med faktiske datamengder som var samlet inn fra mennesker som ser gjennom en virtuell kunstmuseum. Resultatene viste at EyeSyn kan nært matche de distinkte mønsterne av faktiske blikksignaler og simulere de forskjellige måtene menneskers øyne reagerer.

Gorlatova sier at disse resultatene antyder at de virtuelle øynene er gode nok for selskaper å bruke som en basis for å trene nye metaverse-plattformer og programvare.

“Den syntetiske data alene er ikke perfekt, men det er en god start,” sa Gorlatova. “Mindre selskaper kan bruke det i stedet for å bruke tid og penger på å bygge sine egne virkelige datasamlinger (med menneskelige subjekter). Og fordi personliggjøringen av algoritmene kan gjøres på lokale systemer, trenger mennesker ikke å bekymre seg for at deres private øyebevegelsesdata blir en del av en stor database.”