Simuleret øjenbevægelse hjælper med at træne Metaverse

Datateknikere ved Duke University har udviklet virtuelle øjne, der kan simulere, hvordan mennesker ser verden. De virtuelle øjne er så nøjagtige, at de kan bruges til at træne virtuel virkelighed og forstærket virkelighed programmer. De vil vise sig at være utroligt nyttige for udviklere, der søger at skabe applikationer i metaverset.

Resultaterne er planlagt til at blive præsenteret den 4.-6. maj på den Internationale Konference om Information Processing i Sensor Networks (PSN). 

De nye virtuelle øjne kaldes EyeSyn. 

Træning af algoritmer til at arbejde som øjne

Maria Gorlatova er Nortel Networks Assistant Professor of Electrical and Computer Engineering ved Duke. 

“Hvis du er interesseret i at opdage, om en person læser en tegneserie eller avanceret litteratur ved blot at se på deres øjne, kan du gøre det,” sagde Gorlatova. 

“Men træning af den slags algoritmer kræver data fra hundredvis af mennesker, der bærer hovedsæt i timevis ad gangen,” fortsatte Gorlatova. “Vi ønskede at udvikle software, der ikke kun reducerer de privatlivsproblemer, der følger med indsamling af denne type data, men også giver mulighed for mindre virksomheder, der ikke har de samme ressourcer, til at komme ind i metavers-spillet.”

Menneskelige øjne kan gøre mange ting, såsom at indikere, om vi er kedelige eller begejstrede, hvor koncentrationen er fokuseret, eller om vi er eksperter i en given opgave. 

“Hvor du prioriterer din syn siger en del om dig som person,” sagde Gorlatova. “Det kan utilsigtet afsløre seksuelle og racemæssige fordomme, interesser, som vi ikke ønsker, at andre kender til, og information, som vi måske ikke engang kender til os selv.”

Øjenbevægelsesdata er ekstremt nyttigt for virksomheder, der bygger platforme og software i metaverset. Det kan aktivere udviklere til at tilpasse indhold til engageringsrespons eller reducere opløsning i deres perifere syn, hvilket kan spare beregningskraft. 

Holdet af dataloger, der inkluderede den tidligere postdoc-medarbejder Guohao Lan og den nuværende ph.d.-studerende Tim Scargill, satte sig for at udvikle de virtuelle øjne til at efterligne, hvordan en gennemsnitlig menneske reagerer på en række stimuli-lyde. For at gøre dette kiggede de på den kognitive videnskabslitteratur, der udforsker, hvordan mennesker ser verden og behandler virtuel information. 

Lan er nu en assistant professor ved Delft University of Technology i Holland. 

“Hvis du giver EyeSyn mange forskellige input og kører det nok gange, vil du oprette en datasæt af syntetiske øjenbevægelser, der er stor nok til at træne en (maskinlærings) klassifikator for et nyt program,” sagde Gorlatova.

Test af systemet

Forskerne testede nøjagtigheden af de syntetiske øjne med offentligt tilgængelige data. Øjnene blev først sat til at analysere videoer af Dr. Anthony Fauci, der taler til medierne under pressemøder. Holdet sammenlignede derefter med data fra øjenbevægelserne hos virkelige seere. De sammenlignede også en virtuel datasæt af de syntetiske øjne, der kiggede på kunst, med virkelige datasæt, der var indsamlet fra mennesker, der kiggede gennem en virtuel kunstmuseum. Resultaterne viste, at EyeSyn kan nøje matche de distinkte mønstre af virkelige blik-signaler og simulere de forskellige måder, menneskers øjne reagerer på.

Gorlatova siger, at disse resultater antyder, at de virtuelle øjne er gode nok for virksomheder at bruge som en basis til at træne nye metaverse-platforme og software. 

“De syntetiske data alene er ikke perfekte, men det er en god start,” sagde Gorlatova. “Mindre virksomheder kan bruge dem i stedet for at bruge tiden og pengene på at bygge deres egne virkelige datasæt (med menneskelige forsøgspersoner). Og fordi personaliseringen af algoritmerne kan gøres på lokale systemer, behøver mennesker ikke at bekymre sig om, at deres private øjenbevægelsesdata bliver en del af en stor database.”