Simulerad ögonrörelse hjälper till att träna Metaverse

Datoringenjörer vid Duke University har utvecklat virtuella ögon som kan simulera hur människor ser på världen. De virtuella ögonen är så exakta att de kan användas för att träna virtuell verklighet och förstärkt verklighet-program. De kommer att visa sig vara otroligt användbara för utvecklare som vill skapa applikationer i metaverse.

Resultaten ska presenteras den 4-6 maj på den internationella konferensen om informationsbearbetning i sensorer (PSN).

De nya virtuella ögonen kallas EyeSyn.

Träning av algoritmer för att fungera som ögon

Maria Gorlatova är Nortel Networks biträdande professor i elektroteknik och datorteknik vid Duke.

“Om du är intresserad av att upptäcka om en person läser en serie eller avancerad litteratur genom att bara titta på deras ögon, kan du göra det”, sa Gorlatova.

“Men att träna den typen av algoritm kräver data från hundratals människor som bär huvudset under flera timmar”, fortsatte Gorlatova. “Vi ville utveckla programvara som inte bara minskar de integritetsproblem som kommer med att samla in den här typen av data, utan också tillåter mindre företag som inte har den typen av resurser att komma in i metaverse-spelet.”

Människors ögon kan göra många saker, som att indikera om vi är uttråkade eller upphetsade, var koncentrationen är fokuserad eller om vi är experter inom ett visst område.

“Var du prioriterar din syn säger mycket om dig som person”, sa Gorlatova. “Det kan oavsiktligt avslöja sexuella och rasistiska fördomar, intressen som vi inte vill att andra ska veta om och information som vi kanske inte ens känner till om oss själva.”

Ögonrörelsedata är extremt användbar för företag som bygger plattformar och programvara i metaverse. Det kan möjliggöra för utvecklare att anpassa innehåll till engagemangsreaktioner eller minska upplösningen i deras perifera syn, vilket kan spara beräkningskraft.

Teamet av datavetare, som inkluderade den tidigare postdoktoranden Guohao Lan och den nuvarande doktoranden Tim Scargill, satte sig ut att utveckla de virtuella ögonen för att härma hur en genomsnittlig människa svarar på en mängd olika stimuli-ljud. För att göra detta tittade de på den kognitiva vetenskapliga litteraturen som undersöker hur människor ser på världen och bearbetar virtuell information.

Lan är nu biträdande professor vid Delft University of Technology i Nederländerna.

“Om du ger EyeSyn många olika indata och kör det tillräckligt många gånger, kommer du att skapa en datamängd av syntetiska ögonrörelser som är tillräckligt stor för att träna en (maskinlärnings) klassificerare för ett nytt program”, sa Gorlatova.

Testning av systemet

Forskarna testade den syntetiska ögonens noggrannhet med offentligt tillgängliga data. Ögonen analyserade först videor av Dr. Anthony Fauci som talade till media under presskonferenser. Teamet jämförde sedan det med data från ögonrörelserna hos verkliga tittare. De jämförde också en virtuell datamängd av de syntetiska ögonen som tittade på konst med verkliga datamängder som samlats in från människor som tittade genom ett virtuellt konstmuseum. Resultaten visade att EyeSyn kan nära matcha de distinkta mönster av verkliga blicksignaler och simulera de olika sätten människors ögon reagerar.

Gorlatova säger att dessa resultat tyder på att de virtuella ögonen är tillräckligt bra för företag att använda som en baslinje för att träna nya metaverse-plattformar och programvara.

“Den syntetiska datan är inte perfekt, men det är en bra utgångspunkt”, sa Gorlatova. “Mindre företag kan använda den istället för att lägga tid och pengar på att bygga upp sina egna verkliga datamängder (med mänskliga försökspersoner). Och eftersom personaliseringen av algoritmerna kan göras på lokala system, behöver människor inte oroa sig för att deras privata ögonrörelsedata blir en del av en stor databas.”