Симулированное движение глаз помогает тренировать метаверс

Инженеры-компьютерщики из Университета Дьюка разработали виртуальные глаза, которые могут симулировать, как люди смотрят на мир. Виртуальные глаза настолько точны, что их можно использовать для тренировки программ виртуальной и дополненной реальности. Они окажутся невероятно полезными для разработчиков, которые хотят создать приложения в метаверсе.

Результаты будут представлены 4-6 мая на Международной конференции по обработке информации в сенсорных сетях (PSN).

Новые виртуальные глаза называются EyeSyn.

Тренировка алгоритмов для работы как глаз

Мария Горлатова – помощник профессора электротехники и компьютерных наук в Университете Дьюка.

“Если вы хотите обнаружить, читает ли человек комикс или сложную литературу, просто глядя на его глаза, вы можете это сделать”, – сказала Горлатова.

“Но для тренировки такого алгоритма требуется данные от сотен людей, которые носят шлемы в течение нескольких часов”, – продолжила Горлатова. “Мы хотели разработать программное обеспечение, которое не только уменьшает проблемы с конфиденциальностью, связанные с сбором таких данных, но также позволяет небольшим компаниям, не имеющим таких ресурсов, войти в игру метаверса”.

Глаза человека могут делать многое, например, указывать, скучаем ли мы или возбуждены, на что мы сосредотачиваем внимание или являемся ли мы экспертами в определенной задаче.

“То, на что вы направляете свое зрение, многое говорит о вас как о человеке”, – сказала Горлатова. “Это может непреднамеренно раскрыть сексуальные и расовые предубеждения, интересы, о которых мы не хотим, чтобы другие знали, и информацию, о которой мы даже не знаем самих себя”.

Данные о движении глаз чрезвычайно полезны для компаний, строящих платформы и программное обеспечение в метаверсе. Они могут позволить разработчикам адаптировать контент к реакциям на вовлеченность или уменьшить разрешение в периферическом зрении, что может сэкономить вычислительную мощность.

Команда компьютерных ученых, в которую входили бывший постдокторант Гуохао Лан и текущий аспирант Тим Скарджилл, поставила цель разработать виртуальные глаза, чтобы они模улировали, как средний человек реагирует на различные стимулы звуков. Для этого они изучили литературу по когнитивной науке, исследующую, как люди видят мир и обрабатывают виртуальную информацию.

Лан сейчас является помощником профессора в Университете технологий Делфта в Нидерландах.

“Если вы дадите EyeSyn много разных входных данных и запустите его достаточно раз, вы создадите набор данных синтетических движений глаз, который будет достаточно большим, чтобы обучить классификатор (обучение с помощью машины) для новой программы”, – сказала Горлатова.

Тестирование системы

Исследователи протестировали точность синтетических глаз с помощью общедоступных данных. Глаза сначала были использованы для анализа видеороликов, на которых доктор Энтони Фаучи обращался к прессе во время пресс-конференций. Команда затем сравнила их с данными о движении глаз реальных зрителей. Они также сравнили виртуальный набор данных синтетических глаз, смотрящих на искусство, с реальными наборами данных, собранными от людей, просматривающих виртуальный художественный музей. Результаты показали, что EyeSyn может близко соответствовать характерным закономерностям реальных сигналов взгляда и симулировать различные способы, которыми реагируют глаза людей.

Горлатова говорит, что эти результаты свидетельствуют о том, что виртуальные глаза достаточно хороши, чтобы компании могли использовать их в качестве базовой точки для тренировки новых платформ и программного обеспечения метаверса.

“Синтетические данные сами по себе не идеальны, но это хорошая отправная точка”, – сказала Горлатова. “Небольшие компании могут использовать их, не тратя время и деньги на создание своих собственных реальных наборов данных (с человеческими субъектами). И поскольку персонализация алгоритмов может быть выполнена на локальных системах, люди не должны беспокоиться о том, что их частные данные о движении глаз станут частью большой базы данных”.