Il movimento degli occhi simulato aiuta ad allenare il metaverso

Gli ingegneri informatici della Duke University hanno sviluppato occhi virtuali in grado di simulare il modo in cui gli esseri umani vedono il mondo. Gli occhi virtuali sono così precisi che possono essere utilizzati per addestrare programmi di realtà virtuale e realtà aumentata. Si dimostreranno incredibilmente utili per gli sviluppatori che cercano di creare applicazioni nel metaverso.

La sezione Currents, dedicata a opere audaci e innovative di artisti emergenti e affermati, include la prima statunitense di Mare’s Nest di Ben Rivers, descritto come “un enigmatico road movie ambientato in un mondo post-apocalittico governato da bambini”. Tra gli altri titoli spiccano Dracula di Radu Jude e With Hasan in Gaza di Kamal Aljafari. sul risultato saranno presentati dal 4 al 6 maggio alla Conferenza internazionale sull'elaborazione delle informazioni nelle reti di sensori (PSN). 

I nuovi occhi virtuali si chiamano EyeSyn. 

Algoritmi di addestramento per funzionare come gli occhi

Maria Gorlatova è assistente professore di ingegneria elettrica e informatica di Nortel Networks presso la Duke. 

“Se sei interessato a scoprire se una persona sta leggendo un fumetto o è avanzato letteratura solo guardando i loro occhi, puoi farlo “, ha detto Gorlatova. 

"Ma l'addestramento di questo tipo di algoritmo richiede dati da centinaia di persone che indossano cuffie per ore alla volta", ha continuato Gorlatova. "Volevamo sviluppare un software che non solo riducesse i problemi di privacy derivanti dalla raccolta di questo tipo di dati, ma consentisse anche alle aziende più piccole che non dispongono di tali livelli di risorse di entrare nel gioco del metaverso".

Gli occhi umani possono fare molte cose, come indicare se siamo annoiati o eccitati, dove è concentrata la concentrazione o se siamo esperti in un determinato compito. 

"Il punto in cui dai la priorità alla tua visione dice molto anche su di te come persona", ha detto Gorlatova. "Può inavvertitamente rivelare pregiudizi sessuali e razziali, interessi che non vogliamo che gli altri sappiano e informazioni che potremmo non sapere nemmeno su noi stessi".

I dati sui movimenti oculari sono estremamente utili per le aziende che costruiscono piattaforme e software nel metaverso. Può consentire agli sviluppatori di adattare i contenuti alle risposte di coinvolgimento o ridurre la risoluzione nella loro visione periferica, risparmiando potenza di calcolo. 

Il team di scienziati informatici, che comprendeva l'ex socio post-dottorato Guohao Lan e l'attuale studente di dottorato Tim Scargill, ha deciso di sviluppare gli occhi virtuali per imitare il modo in cui un essere umano medio risponde a una varietà di stimoli sonori. Per fare ciò, hanno esaminato la letteratura scientifica cognitiva che esplora il modo in cui gli esseri umani vedono il mondo ed elaborano le informazioni virtuali. 

Lan è ora professore assistente presso la Delft University of Technology nei Paesi Bassi. 

"Se fornisci a EyeSyn molti input diversi e lo esegui abbastanza volte, creerai un set di dati di movimenti oculari sintetici abbastanza grande da addestrare un classificatore (di apprendimento automatico) per un nuovo programma", ha detto Gorlatova.

Test del sistema

I ricercatori hanno testato l'accuratezza degli occhi sintetici con dati pubblicamente disponibili. Gli occhi sono stati prima messi ad analizzare i video del dottor Anthony Fauci che si rivolgeva ai media durante le conferenze stampa. Il team lo ha quindi confrontato con i dati dei movimenti oculari di spettatori reali. Hanno anche confrontato un set di dati virtuali degli occhi sintetici che guardano l'arte con set di dati reali raccolti da persone che guardano attraverso un museo d'arte virtuale. I risultati hanno dimostrato che EyeSyn può corrispondere strettamente ai modelli distinti dei segnali dello sguardo effettivo e simulare i diversi modi in cui reagiscono gli occhi delle persone.

Gorlatova afferma che questi risultati suggeriscono che gli occhi virtuali sono abbastanza buoni da essere utilizzati dalle aziende come base per addestrare nuove piattaforme e software del metaverso. 

"I dati sintetici da soli non sono perfetti, ma sono un buon punto di partenza", ha detto Gorlatova. “Le aziende più piccole possono usarlo invece di spendere tempo e denaro per cercare di costruire i propri set di dati nel mondo reale (con soggetti umani). E poiché la personalizzazione degli algoritmi può essere effettuata su sistemi locali, le persone non devono preoccuparsi che i dati sui movimenti dei loro investigatori privati ​​diventino parte di un grande database."