Simulierte Augenbewegungen helfen bei der Ausbildung des Metaversums

Computer-Ingenieure an der Duke University haben virtuelle Augen entwickelt, die simulieren, wie Menschen die Welt betrachten. Die virtuellen Augen sind so genau, dass sie zur Ausbildung von Virtual-Reality- und Augmented-Reality-Programmen verwendet werden können. Sie werden für Entwickler, die Anwendungen im Metaversum erstellen möchten, extrem nützlich sein.

Die Ergebnisse werden vom 4. bis 6. Mai auf der International Conference on Information Processing in Sensor Networks (PSN) präsentiert.

Die neuen virtuellen Augen werden EyeSyn genannt.

Algorithmen trainieren, um wie Augen zu arbeiten

Maria Gorlatova ist Assistant Professor für Elektrotechnik und Informatik an der Duke University.

“Wenn Sie herausfinden möchten, ob eine Person ein Comic-Buch oder fortgeschrittene Literatur liest, indem Sie nur ihre Augen betrachten, können Sie das tun”, sagte Gorlatova.

“Aber das Trainieren solcher Algorithmen erfordert Daten von Hunderten von Menschen, die für Stunden Headsets tragen”, fuhr Gorlatova fort. “Wir wollten eine Software entwickeln, die nicht nur die Datenschutzbedenken, die mit der Erfassung dieser Art von Daten verbunden sind, reduziert, sondern auch es kleineren Unternehmen ermöglicht, die nicht über diese Ressourcen verfügen, am Metaversum-Spiel teilzunehmen.”

Menschenaugen können viele Dinge tun, wie zum Beispiel anzeigen, ob wir gelangweilt oder aufgeregt sind, wo unsere Konzentration liegt oder ob wir in einer bestimmten Aufgabe Experten sind.

“Wo Sie Ihre Sicht priorisieren, sagt viel über Sie als Person aus”, sagte Gorlatova. “Es kann unbeabsichtigt sexuelle und rassistische Vorurteile, Interessen, die wir nicht preisgeben möchten, und Informationen, die wir möglicherweise nicht über uns selbst wissen, enthüllen.”

Augenbewegungsdaten sind für Unternehmen, die Plattformen und Software im Metaversum aufbauen, extrem nützlich. Sie können es Entwicklern ermöglichen, Inhalte an Engagement-Antworten anzupassen oder die Auflösung in ihrem peripheren Sehfeld zu reduzieren, was Rechenleistung sparen kann.

Das Team der Computerwissenschaftler, zu dem auch der ehemalige Postdoktorand Guohao Lan und der derzeitige PhD-Student Tim Scargill gehörten, entwickelte die virtuellen Augen, um zu simulieren, wie ein durchschnittlicher Mensch auf verschiedene Reize reagiert. Dazu untersuchten sie die kognitive Wissenschaftsliteratur, die erforscht, wie Menschen die Welt sehen und virtuelle Informationen verarbeiten.

Lan ist jetzt Assistant Professor an der Technischen Universität Delft in den Niederlanden.

“Wenn Sie EyeSyn viele verschiedene Eingaben geben und es oft genug ausführen, erstellen Sie eine Datenmenge synthetischer Augenbewegungen, die groß genug ist, um einen (Machine-Learning-) Klassifizierer für ein neues Programm zu trainieren”, sagte Gorlatova.

Das System testen

Die Forscher testeten die Genauigkeit der synthetischen Augen mit öffentlich verfügbaren Daten. Die Augen wurden zunächst verwendet, um Videos von Dr. Anthony Fauci zu analysieren, der bei Pressekonferenzen mit den Medien sprach. Das Team verglich sie dann mit Daten über die Augenbewegungen tatsächlicher Zuschauer. Sie verglichen auch eine virtuelle Datenmenge der synthetischen Augen, die auf Kunstwerke schauten, mit tatsächlichen Daten, die von Menschen gesammelt wurden, die durch ein virtuelles Kunstmuseum schauten. Die Ergebnisse zeigten, dass EyeSyn die einzigartigen Muster tatsächlicher Blicksignale genau nachahmen und die verschiedenen Arten simulieren kann, wie Menschen mit ihren Augen reagieren.

Gorlatova sagt, dass diese Ergebnisse darauf hindeuten, dass die virtuellen Augen gut genug sind, um von Unternehmen als Grundlage zur Ausbildung neuer Metaversum-Plattformen und -Software verwendet zu werden.

“Die synthetischen Daten allein sind nicht perfekt, aber sie sind ein guter Ausgangspunkt”, sagte Gorlatova. “Kleinere Unternehmen können sie verwenden, anstatt Zeit und Geld für die Erstellung eigener realer Datensätze (mit menschlichen Probanden) aufwenden zu müssen. Und da die Personalisierung der Algorithmen auf lokalen Systemen durchgeführt werden kann, müssen Menschen sich keine Sorgen machen, dass ihre privaten Augenbewegungsdaten Teil einer großen Datenbank werden.”