Imitētas acu kustības palīdz trenēt metaversu

Djūka universitātes datorinženieri ir izstrādājuši virtuālās acis, kas var simulēt cilvēku skatījumu uz pasauli. Virtuālās acis ir tik precīzas, ka tās var izmantot, lai apmācītu virtuālās realitātes un paplašinātās realitātes programmas. Tie izrādīsies neticami izdevīgi izstrādātājiem, kuri vēlas izveidot lietojumprogrammas metaversā.

Jūsu darbs IR Klientu apkalpošana rezultāti ir paredzēts prezentēt no 4. līdz 6. maijam Starptautiskajā konferencē par informācijas apstrādi sensoru tīklos (PSN). 

Jaunās virtuālās acis sauc par EyeSyn. 

Algoritmu apmācība, lai strādātu kā ar acīm

Marija Gorlatova ir Nortel Networks elektrotehnikas un datortehnikas asistente Duke. 

“Ja jūs interesē noteikt, vai persona lasa komiksu grāmatu vai ir progresīva literatūra, skatoties tikai acīs, to var izdarīt,” sacīja Gorlatova. 

"Bet šāda veida algoritma apmācībai ir nepieciešami dati no simtiem cilvēku, kuri stundām ilgi valkā austiņas," turpināja Gorlatova. "Mēs vēlējāmies izstrādāt programmatūru, kas ne tikai samazina bažas par privātumu, kas rodas, vācot šāda veida datus, bet arī ļauj mazākiem uzņēmumiem, kuriem nav šāda līmeņa resursu, iekļūt metaversas spēlē."

Cilvēka acis var darīt daudzas lietas, piemēram, norādīt, vai mums ir garlaicīgi vai satraukti, kur ir koncentrēta koncentrēšanās vai esam eksperts noteiktā uzdevumā. 

"Tas, kur jūs piešķirat prioritāti savam redzējumam, arī daudz saka par jums kā cilvēku," sacīja Gorlatova. "Tas var netīšām atklāt seksuālus un rasu aizspriedumus, intereses, par kurām mēs nevēlamies, lai citi zinātu, un informāciju, ko mēs, iespējams, pat nezinām par sevi."

Acu kustības dati ir ārkārtīgi noderīgi uzņēmumiem, kas veido platformas un programmatūru metaversā. Tas var ļaut izstrādātājiem pielāgot saturu atbilstoši iesaistīšanās reakcijām vai samazināt perifērijas redzes izšķirtspēju, kas var ietaupīt skaitļošanas jaudu. 

Datorzinātnieku komanda, kurā bija bijušais pēcdoktorantūras asociētais Guohao Lans un pašreizējais doktorants Tims Skārgils, nolēma izstrādāt virtuālās acis, lai atdarinātu to, kā vidusmēra cilvēks reaģē uz dažādām stimulu skaņām. Lai to izdarītu, viņi aplūkoja kognitīvās zinātnes literatūru, pētot, kā cilvēki redz pasauli un apstrādā virtuālo informāciju. 

Lans tagad ir docents Delftas Tehnoloģiju universitātē Nīderlandē. 

"Ja piešķirat EyeSyn daudz dažādu ievades datu un palaižat to pietiekami daudz reižu, jūs izveidosit sintētisko acu kustību datu kopu, kas ir pietiekami liela, lai apmācītu (mašīnmācības) klasifikatoru jaunai programmai," sacīja Gorlatova.

Sistēmas pārbaude

Pētnieki pārbaudīja sintētisko acu precizitāti ar publiski pieejamiem datiem. Vispirms tika analizēti videoklipi, kuros doktors Entonijs Fauci preses konferenču laikā uzrunāja medijus. Pēc tam komanda to salīdzināja ar datiem no faktisko skatītāju acu kustībām. Viņi arī salīdzināja sintētisko acu virtuālo datu kopu, kas aplūko mākslu, ar faktiskajām datu kopām, kas tika savāktas no cilvēkiem, kuri aplūko virtuālo mākslas muzeju. Rezultāti parādīja, ka EyeSyn var cieši saskaņot dažādus faktisko skatiena signālu modeļus un simulēt dažādus veidus, kā cilvēku acis reaģē.

Gorlatova saka, ka šie rezultāti liecina, ka virtuālās acis ir pietiekami labas, lai uzņēmumi varētu izmantot kā bāzes līniju jaunu metaversu platformu un programmatūras apmācīšanai. 

"Sintētiskie dati vien nav ideāli, taču tas ir labs sākumpunkts," sacīja Gorlatova. "Mazie uzņēmumi var to izmantot, nevis tērēt laiku un naudu, mēģinot izveidot savas reālās pasaules datu kopas (ar cilvēkiem). Un tā kā algoritmu personalizēšanu var veikt vietējās sistēmās, cilvēkiem nav jāuztraucas par to, ka viņu privātie acu kustības dati kļūs par daļu no lielas datu bāzes.