Simulované Pohyby Očí Pomáhají Školení Metaverza

Inženýři počítačového hardwaru na Duke University vyvinuli virtuální oči, které mohou simulovat, jak lidé vnímají svět. Virtuální oči jsou tak přesné, že je lze použít k výcviku programů virtuální reality a rozšířené reality. Pro vývojáře, kteří chtějí vytvářet aplikace v metaverzu, se ukážou jako neuvěřitelně prospěšné.

Výsledky budou prezentovány od 4. do 6. května na Mezinárodní konferenci o zpracování informací v senzorových sítích (PSN).

Nové virtuální oči se jmenují EyeSyn.

Školení Algoritmů pro Práci jako Oči

Maria Gorlatova je asistentkou profesora elektrotechniky a počítačového inženýrství na Duke.

“Pokud vás zajímá, zda osoba čte komiks nebo pokročilou literaturu pouze podle jejích očí, můžete to udělat,” řekla Gorlatova.

“Ale pro školení takového algoritmu je potřeba data od stovek lidí, kteří nosí headsety po několik hodin,” pokračovala Gorlatova. “Chtěli jsme vyvinout software, který nejen sníží obavy o soukromí spojené se shromažďováním tohoto druhu dat, ale také umožní menším společnostem, které nemají takové zdroje, zapojit se do metaverzní hry.”

Lidské oči mohou dělat mnoho věcí, jako například ukazovat, zda jsme unaveni nebo vzrušeni, kde se soustředíme, nebo zda jsme experti na určitou úlohu.

“Tam, kde upřednostňujete své vidění, říká mnoho o vás jako o osobě,” řekla Gorlatova. “Může neúmyslně odhalit sexuální a rasové předsudky, zájmy, o kterých nechceme, aby je ostatní znali, a informace, o kterých možná ani nevíme.”

Data o pohybech očí jsou extrémně užitečná pro společnosti, které staví platformy a software v metaverzu. Mohou umožnit vývojářům přizpůsobit obsah reakcím na zapojení nebo snížit rozlišení v periferním vidění, což může ušetřit výpočetní výkon.

Tým počítačových vědců, který zahrnoval bývalého postdoktorálního asociála Guohao Lana a současného doktoranda Tima Scargilla, se pokusil vyvinout virtuální oči, aby napodobily, jak průměrný člověk reaguje na různé stimuly. K tomu se podívali na kognitivní vědeckou literaturu, která zkoumá, jak lidé vidí svět a zpracovávají virtuální informace.

Lan je nyní asistentem profesora na Technické univerzitě v Delftu v Nizozemsku.

“Pokud EyeSyn poskytnete mnoho různých vstupů a spustíte jej dostatečněkrát, vytvoříte datovou sadu syntetických pohybů očí, která je dostatečně velká pro školení klasifikátoru (strojového učení) pro nový program,” řekla Gorlatova.

Testování Systému

Výzkumníci otestovali přesnost syntetických očí pomocí veřejně dostupných dat. Oči byly nejprve použity k analýze videí Dr. Anthonyho Fauciho, který hovoří s médii na tiskových konferencích. Tým pak porovnal data s pohyby očí skutečných diváků. Také porovnali virtuální datovou sadu syntetických očí, které se dívají na umění, se skutečnými datovými sadami, které byly shromážděny od lidí, kteří procházejí virtuální uměleckou galerii. Výsledky ukázaly, že EyeSyn může úzce odpovídat specifickým vzorcům skutečných signálů pohledu a simulovat různé způsoby, jakými lidé reagují.

Gorlatova říká, že tyto výsledky naznačují, že virtuální oči jsou dostatečně dobré pro společnosti, aby je použily jako základ pro školení nových metaverzních platforem a softwaru.

“Syntetická data sama o sobě nejsou dokonalá, ale jsou dobrým výchozím bodem,” řekla Gorlatova. “Menší společnosti je mohou použít místo toho, aby trávily čas a peníze shromažďováním vlastních reálných dat (s lidskými subjekty). A protože personalizace algoritmů může být provedena na místních systémech, lidé se nemusí bát, že jejich soukromá data o pohybech očí se stanou součástí velké databáze.”