Имитация движения глаз помогает тренировать метавселенную

Компьютерные инженеры Университета Дьюка разработали виртуальные глаза, которые могут имитировать то, как люди видят мир. Виртуальные глаза настолько точны, что их можно использовать для обучения программ виртуальной и дополненной реальности. Они окажутся невероятно полезными для разработчиков, стремящихся создавать приложения в метавселенной.

результатов должны быть представлены 4-6 мая на Международной конференции по обработке информации в сенсорных сетях (PSN). 

Новые виртуальные глаза называются EyeSyn. 

Алгоритмы обучения работе как глаза

Мария Горлатова — доцент кафедры электротехники и вычислительной техники Nortel Networks в Университете Дьюка. 

«Если вам интересно узнать, читает ли человек комиксы или что-то продвинутое, литературу, глядя им в глаза, это можно сделать», — сказала Горлатова. 

«Но для обучения такого алгоритма требуются данные сотен людей, которые часами носят гарнитуры», — продолжила Горлатова. «Мы хотели разработать программное обеспечение, которое не только снизит риск нарушения конфиденциальности, связанный со сбором подобных данных, но и позволит небольшим компаниям, не обладающим такими ресурсами, войти в игру метавселенной».

Человеческие глаза могут делать многое, например указывать, скучаем мы или взволнованы, на чем сосредоточена концентрация или являемся ли мы экспертом в данной задаче. 

«То, как вы расставляете приоритеты в своём видении, также многое говорит о вас как о личности», — сказала Горлатова. «Это может непреднамеренно раскрыть сексуальные и расовые предубеждения, интересы, о которых мы не хотим, чтобы знали другие, и информацию, которую мы, возможно, даже не знаем о себе».

Данные о движении глаз чрезвычайно полезны для компаний, создающих платформы и программное обеспечение в метавселенной. Это может позволить разработчикам адаптировать контент к ответам участников или уменьшить разрешение периферийного зрения, что может сэкономить вычислительную мощность. 

Команда ученых-компьютерщиков, в которую входили бывший научный сотрудник Гохао Лань и нынешний аспирант Тим ​​Скаргилл, решила разработать виртуальные глаза, чтобы имитировать реакцию среднего человека на различные звуковые раздражители. Для этого они изучили литературу по когнитивной науке, исследующую, как люди видят мир и обрабатывают виртуальную информацию. 

Сейчас Лан является доцентом Делфтского технологического университета в Нидерландах. 

«Если вы дадите EyeSyn много разных входных данных и запустите его достаточное количество раз, вы создадите набор данных синтетических движений глаз, достаточно большой для обучения классификатора (машинного обучения) для новой программы», — сказала Горлатова.

Тестирование системы

Исследователи проверили точность синтетических глаз с помощью общедоступных данных. Сначала глаза были приложены для анализа видеороликов, на которых доктор Энтони Фаучи обращается к СМИ во время пресс-конференций. Затем команда сравнила его с данными о движениях глаз реальных зрителей. Они также сравнили виртуальный набор данных синтетических глаз, смотрящих на искусство, с реальными наборами данных, которые были собраны у людей, просматривающих виртуальный художественный музей. Результаты показали, что EyeSyn может точно соответствовать различным образцам реальных сигналов взгляда и моделировать различные реакции глаз людей.

Горлатова говорит, что эти результаты показывают, что виртуальные глаза достаточно хороши, чтобы компании могли использовать их в качестве основы для обучения новых платформ метавселенной и программного обеспечения. 

«Сами по себе синтетические данные не идеальны, но это хорошая отправная точка», — сказала Горлатова. «Небольшие компании могут использовать их вместо того, чтобы тратить время и деньги на создание собственных наборов данных из реального мира (с участием людей). А поскольку персонализация алгоритмов может осуществляться в локальных системах, людям не нужно беспокоиться о том, что их данные о перемещениях глаз станут частью большой базы данных».