Simuleret øjenbevægelse hjælper med at træne Metaverse

Datateknikere fra Duke University har udviklet virtuelle øjne, der kan simulere, hvordan mennesker ser på verden. De virtuelle øjne er så nøjagtige, at de kan bruges til at træne virtuel virkelighed og forstærket virkelighed programmer. De vil vise sig at være utroligt nyttige for udviklere, der søger at skabe applikationer i metaverse.

Resultaterne bliver præsenteret den 4.-6. maj på den Internationale Konference om Information Processing i Sensor Networks (PSN).

De nye virtuelle øjne kaldes EyeSyn.

Træning af algoritmer til at arbejde som øjne

Maria Gorlatova er Nortel Networks Assistant Professor of Electrical and Computer Engineering ved Duke.

“Hvis du er interesseret i at opdage, om en person læser en tegneserie eller avanceret litteratur ved at se på deres øjne alene, kan du gøre det,” sagde Gorlatova.

“Men træning af den slags algoritme kræver data fra hundredvis af mennesker, der bærer hovedtelefoner i timevis,” fortsatte Gorlatova. “Vi ønskede at udvikle software, der ikke kun reducerer privatlivsproblemerne, der følger med at indsamle denne type data, men også giver mulighed for mindre virksomheder, der ikke har samme niveau af ressourcer, at komme ind i metaverse-spillet.”

Menneskelige øjne kan gøre mange ting, såsom at indikere, om vi er kede af eller begejstrede, hvor koncentrationen er fokuseret, eller om vi er eksperter i en given opgave.

“Hvor du prioriterer din syn siger meget om dig som person,” sagde Gorlatova. “Det kan ufrivilligt afsløre seksuelle og racemæssige fordomme, interesser, som vi ikke ønsker, at andre kender til, og information, som vi måske ikke engang kender til os selv.”

Øjenbevægelsesdata er ekstremt nyttigt for virksomheder, der bygger platforme og software i metaverse. Det kan give udviklere mulighed for at tilpasse indhold til engagementssvar eller reducere opløsningen i deres perifere syn, hvilket kan spare beregningskraft.

Holdet af dataloger, der inkluderede den tidligere postdoc-medarbejder Guohao Lan og den nuværende ph.d.-studerende Tim Scargill, satte sig for at udvikle de virtuelle øjne for at efterligne, hvordan en gennemsnitlig menneske reagerer på en række stimuli-lyde. For at gøre dette kiggede de på den kognitive videnskabslitteratur, der udforsker, hvordan mennesker ser på verden og behandler virtuel information.

Lan er nu adjunkt ved Delft University of Technology i Holland.

“Hvis du giver EyeSyn mange forskellige indgange og kører det nok gange, vil du oprette en datasæt af syntetiske øjenbevægelser, der er stor nok til at træne en (maskinlærings) klassifikator for et nyt program,” sagde Gorlatova.

Test af systemet

Forskerne testede nøjagtigheden af de syntetiske øjne med offentligt tilgængelige data. Øjnene blev først sat til at analysere videoer af Dr. Anthony Fauci, der taler til medierne under pressemøder. Holdet sammenlignede derefter med data fra øjenbevægelserne hos virkelige seere. De sammenlignede også en virtuel datasæt af de syntetiske øjne, der kiggede på kunst, med virkelige datasæt, der var indsamlet fra mennesker, der kiggede gennem en virtuel kunstmuseum. Resultaterne viste, at EyeSyn kan nøje matche de distinkte mønstre af virkelige gaze-signaler og simulere de forskellige måder, menneskers øjne reagerer på.

Gorlatova siger, at disse resultater tyder på, at de virtuelle øjne er gode nok for virksomheder at bruge som en baseline til at træne nye metaverse-platforme og software.

“De syntetiske data alene er ikke perfekte, men det er en god start,” sagde Gorlatova. “Mindre virksomheder kan bruge det i stedet for at bruge tid og penge på at bygge deres egne virkelige datasæt (med menneskelige forsøgspersoner). Og fordi personliggørelsen af algoritmernes kan gøres på lokale systemer, behøver mennesker ikke at bekymre sig om, at deres private øjenbevægelsesdata bliver en del af en stor database.”