Simulierte Augenbewegungen helfen beim Trainieren von Metaverse

Computeringenieure der Duke University haben virtuelle Augen entwickelt, die simulieren können, wie Menschen die Welt sehen. Die virtuellen Augen sind so präzise, ​​dass sie zum Trainieren von Virtual-Reality- und Augmented-Reality-Programmen verwendet werden können. Sie werden sich als unglaublich nützlich für Entwickler erweisen, die Anwendungen im Metaversum erstellen möchten.

Die Ergebnisse werden vom 4. bis 6. Mai auf der International Conference on Information Processing in Sensor Networks (PSN) vorgestellt. 

Die neuen virtuellen Augen heißen EyeSyn. 

Algorithmen so trainieren, dass sie wie Augen funktionieren

Maria Gorlatova ist Assistenzprofessorin für Elektrotechnik und Informationstechnik bei Nortel Networks an der Duke University. 

„Wenn Sie herausfinden möchten, ob eine Person einen Comic oder eine fortgeschrittene Literatur allein durch den Blick auf ihre Augen erreichen, das kann man erreichen“, sagte Gorlatova. 

„Das Training eines solchen Algorithmus erfordert jedoch Daten von Hunderten von Menschen, die stundenlang Headsets tragen“, so Gorlatova weiter. „Wir wollten eine Software entwickeln, die nicht nur die Datenschutzbedenken reduziert, die mit der Erfassung dieser Daten einhergehen, sondern auch kleineren Unternehmen, die nicht über diese Ressourcen verfügen, den Einstieg in das Metaverse-Spiel ermöglicht.“

Das menschliche Auge kann viele Dinge tun, zum Beispiel anzeigen, ob wir gelangweilt oder aufgeregt sind, wo die Konzentration im Mittelpunkt steht oder ob wir ein Experte für eine bestimmte Aufgabe sind. 

„Wo Sie Ihre Vision priorisieren, sagt auch viel über Sie als Person aus“, sagte Gorlatova. „Es kann unbeabsichtigt sexuelle und rassistische Vorurteile offenbaren, Interessen, von denen wir nicht wollen, dass andere davon erfahren, und Informationen, die wir vielleicht nicht einmal über uns selbst wissen.“

Augenbewegungsdaten sind äußerst nützlich für Unternehmen, die Plattformen und Software im Metaversum entwickeln. Es kann Entwicklern ermöglichen, Inhalte an Interaktionsreaktionen anzupassen oder die Auflösung in ihrem peripheren Sichtfeld zu reduzieren, was Rechenleistung einsparen kann. 

Das Team von Informatikern, dem der ehemalige Postdoktorand Guohao Lan und der aktuelle Doktorand Tim Scargill angehörten, machte sich daran, die virtuellen Augen zu entwickeln, um nachzuahmen, wie ein durchschnittlicher Mensch auf eine Vielzahl von Reizgeräuschen reagiert. Dazu untersuchten sie die kognitionswissenschaftliche Literatur und untersuchten, wie Menschen die Welt sehen und virtuelle Informationen verarbeiten. 

Lan ist jetzt Assistenzprofessor an der Technischen Universität Delft in den Niederlanden. 

„Wenn Sie EyeSyn viele verschiedene Eingaben geben und es oft genug ausführen, erstellen Sie einen Datensatz synthetischer Augenbewegungen, der groß genug ist, um einen (maschinell lernenden) Klassifikator für ein neues Programm zu trainieren“, sagte Gorlatova.

Testen des Systems

Die Forscher testeten die Genauigkeit der synthetischen Augen anhand öffentlich verfügbarer Daten. Die Augen wurden zunächst darauf gerichtet, Videos von Dr. Anthony Fauci zu analysieren, wie er sich während Pressekonferenzen an die Medien wandte. Das Team verglich es dann mit Daten aus den Augenbewegungen tatsächlicher Betrachter. Sie verglichen auch einen virtuellen Datensatz der synthetischen Augen, die Kunst betrachten, mit tatsächlichen Datensätzen, die von Menschen gesammelt wurden, die durch ein virtuelles Kunstmuseum schauten. Die Ergebnisse zeigten, dass EyeSyn die unterschiedlichen Muster tatsächlicher Blicksignale genau abbilden und die unterschiedlichen Reaktionen der Augen von Menschen simulieren kann.

Gorlatova sagt, dass diese Ergebnisse darauf hindeuten, dass die virtuellen Augen gut genug sind, damit Unternehmen sie als Grundlage für die Schulung neuer Metaverse-Plattformen und -Software verwenden können. 

„Die synthetischen Daten allein sind nicht perfekt, aber sie sind ein guter Ausgangspunkt“, sagte Gorlatova. „Kleinere Unternehmen können sie nutzen, anstatt Zeit und Geld in den Aufbau eigener realer Datensätze (mit menschlichen Probanden) zu investieren. Und da die Personalisierung der Algorithmen auf lokalen Systemen erfolgen kann, müssen sich die Nutzer keine Sorgen machen, dass ihre Bewegungsdaten Teil einer großen Datenbank werden.“