Simulerad ögonrörelse hjälper till att träna Metaverse

Datoringenjörer vid Duke University har utvecklat virtuella ögon som kan simulera hur människor ser på världen. De virtuella ögonen är så exakta att de kan användas för att träna virtuell verklighet och förstärkt verklighet. De kommer att visa sig vara otroligt användbara för utvecklare som vill skapa applikationer i metaverse.

Resultaten ska presenteras den 4-6 maj på den internationella konferensen om informationsbearbetning i sensorer (PSN).

De nya virtuella ögonen kallas EyeSyn.

Att träna algoritmer för att fungera som ögon

Maria Gorlatova är biträdande professor i elektroteknik och datorteknik vid Duke.

“Om du är intresserad av att upptäcka om en person läser en tecknad serie eller avancerad litteratur genom att bara titta på deras ögon, kan du göra det”, sa Gorlatova.

“Men att träna den typen av algoritm kräver data från hundratals människor som bär headset i flera timmar”, fortsatte Gorlatova. “Vi ville utveckla programvara som inte bara minskar de integritetsproblem som kommer med att samla in den här typen av data, utan också tillåter mindre företag som inte har de resurserna att komma in i metaverse-spelet.”

Människors ögon kan göra många saker, som att visa om vi är uttråkade eller upphetsade, var koncentrationen ligger eller om vi är experter inom ett visst område.

“Var du prioriterar din syn säger en hel del om dig som person”, sa Gorlatova. “Det kan oavsiktligt avslöja sexuella och rasistiska fördomar, intressen som vi inte vill att andra ska veta om och information som vi kanske inte ens vet om oss själva.”

Ögonrörelsedata är extremt användbart för företag som bygger plattformar och programvara i metaverse. Det kan möjliggöra för utvecklare att anpassa innehåll efter engagemangssvar eller minska upplösningen i deras perifera syn, vilket kan spara beräkningskraft.

Teamet av datavetare, som inkluderade den tidigare postdoktoranden Guohao Lan och den nuvarande doktorsstudenten Tim Scargill, satte sig för att utveckla de virtuella ögonen för att härma hur en genomsnittlig människa svarar på en mängd olika stimuli. För att göra detta tittade de på den kognitiva vetenskapliga litteraturen som undersöker hur människor ser på världen och bearbetar virtuell information.

Lan är nu biträdande professor vid Delft University of Technology i Nederländerna.

“Om du ger EyeSyn många olika indata och kör det tillräckligt många gånger, kommer du att skapa en datamängd av syntetiska ögonrörelser som är tillräckligt stor för att träna en (maskinlärnings) klassificerare för ett nytt program”, sa Gorlatova.

Att testa systemet

Forskarna testade den syntetiska ögonens noggrannhet med offentligt tillgängliga data. Ögonen var först satta för att analysera videor av Dr. Anthony Fauci som talar till media under presskonferenser. Teamet jämförde sedan det med data från ögonrörelserna hos verkliga tittare. De jämförde också en virtuell datamängd av de syntetiska ögonen som tittar på konst med verkliga datamängder som samlats in från människor som tittar genom ett virtuellt konstmuseum. Resultaten visade att EyeSyn kan nära matcha de distinkta mönstren av verkliga blicksignaler och simulera de olika sätten människors ögon reagerar.

Gorlatova säger att dessa resultat tyder på att de virtuella ögonen är tillräckligt bra för företag att använda som en bas för att träna nya metaverse-plattformar och programvara.

“Den syntetiska datan är inte perfekt, men den är en bra utgångspunkt”, sa Gorlatova. “Mindre företag kan använda den istället för att lägga tid och pengar på att bygga upp sina egna verkliga datamängder (med mänskliga försökspersoner). Och eftersom personaliseringen av algoritmerna kan göras på lokala system, behöver människor inte oroa sig för att deras privata ögonrörelsedata blir en del av en stor databas.”