Simuloitu silmien liike auttaa kouluttamaan Metaverseä

Duke Universityn tietokoneinsinöörit ovat kehittäneet virtuaaliset silmät, jotka voivat simuloida, miten ihmiset katsovat maailmaa. Virtuaaliset silmät ovat niin tarkat, että niitä voidaan käyttää kouluttamaan virtuaalitodellisuuden ja lisätyn todellisuuden ohjelmia. Ne osoittautuvat erittäin hyödyllisiksi kehittäjille, jotka haluavat luoda sovelluksia metaversumissa.

Tulokset esitetään 4.-6. toukokuuta International Conference on Information Processing in Sensor Networks (PSN) -konferenssissa.

Uudet virtuaaliset silmät kutsutaan EyeSyniksi.

Algoritmien koulutus silmien kaltaiseksi

Maria Gorlatova on Nortel Networksin apulaisprofessori sähkö- ja tietokonetekniikassa Duke Universityssa.

“Jos olet kiinnostunut siitä, voitko havaita, lukeeko henkilö sarjakuva- tai korkeakulttuurista kirjallisuutta vain katsomalla heidän silmiään, voit tehdä sen”, Gorlatova sanoi.

“Mutta tällaisen algoritmin koulutus vaatii satojen ihmisten tietoja, jotka käyttävät pääntietokoneita useita tunteja”, Gorlatova jatkoi. “Halusimme kehittää ohjelmistoja, jotka vähentävät yksityisyyden suojaa ja mahdollistavat pienemmille yrityksille pääsyn metaversumiin ilman suuria resursseja.”

Ihmissilmät voivat tehdä monia asioita, kuten osoittaa, olemmeko väsyneitä tai innoissamme, missä keskittyminen on, tai olemmeko asiantuntijoita tietyssä tehtävässä.

“Se, mihin suuntaat vision, paljastaa paljon sinusta”, Gorlatova sanoi. “Se voi paljastaa myös seksuaalisen ja rodullisen syrjinnän, kiinnostuksen, jota emme halua kertoa muille, ja tietoa, jota emme itse tiedä.”

Silmien liikkeen data on erittäin hyödyllistä yrityksille, jotka rakentavat alustoja ja ohjelmistoja metaversumissa. Se voi mahdollistaa kehittäjille sovittaa sisältöä osallistumisvasteisiin tai vähentää resoluutiota heidän ympäröivässä näkökentässä, mikä voi säästää laskentatehoa.

Tietokoneiden tutkijaryhmä, johon kuului entinen postdoc-tutkija Guohao Lan ja nykyinen PhD-opiskelija Tim Scargill, kehitti virtuaaliset silmät jäljitelläkseen, miten keskivertohenkilö reagoi erilaisiin äänestimuliin. Tämän tekemiseksi he tutkivat kognitiivisen tieteen kirjallisuutta, joka tutkii, miten ihmiset näkevät maailman ja prosessoida virtuaalista tietoa.

Lan on nyt apulaisprofessori Delftin teknillisen yliopiston Alankomaissa.

“Jos annat EyeSynille paljon erilaisia syöteitä ja ajat sitä useita kertoja, luot syntetisen silmien liikkeen aineiston, joka on tarpeeksi suuri kouluttaa uuden ohjelman (konenäköluokittelija)”, Gorlatova sanoi.

Järjestelmän testaus

Tutkijat testasivat virtuaalisten silmien tarkkuutta julkisesti saatavilla olevilla tiedoilla. Silmät asetettiin ensin analysoimaan videoita, joissa Dr. Anthony Fauci puhuu medialle lehdistötilaisuuksissa. Tutkijaryhmä vertasi sitä silmien liikkeen dataan, joka saatiin oikeilta katsojilta. He vertasivat myös virtuaalista taidemuseota, jossa virtuaaliset silmät katsoivat taidetta, oikeiden ihmisten taidemuseossa keräämiin tietoihin. Tulokset osoittivat, että EyeSyn voi seurata läheisesti oikeiden silmien liikkeen erilaisia malleja ja simuloida, miten eri ihmisten silmät reagoivat.

Gorlatova sanoo, että nämä tulokset osoittavat, että virtuaaliset silmät ovat tarpeeksi hyviä, jotta yritykset voivat käyttää niitä metaversumin alustojen ja ohjelmistojen koulutukseen.

“Syntetinen data ei ole täydellinen, mutta se on hyvä lähtökohta”, Gorlatova sanoi. “Pienemmät yritykset voivat käyttää sitä sijaan, että yrittäisivät luoda omat todelliset maailman datansa (ihmisillä). Ja koska algoritmien mukauttaminen voidaan tehdä paikallisissa järjestelmissä, ihmiset eivät tarvitse huolehtia siitä, että heidän yksityiset silmien liikkeen tiedonsa tulevat osaksi suurta tietokantaa.”