Симулювання руху очей допомагає тренувати метавсесвіт

Комп’ютерні інженери з Дюкського університету створили віртуальні очі, які можуть симулювати, як люди сприймають світ. Ці віртуальні очі настільки точні, що їх можна використовувати для тренування програм віртуальної та доповненої реальності. Вони будуть надзвичайно корисними для розробників, які хочуть створити програми в метавсесвіті.

Результати дослідження будуть представлені 4-6 травня на Міжнародній конференції з обробки інформації в сенсорних мережах (PSN).

Нові віртуальні очі називаються EyeSyn.

Тренування алгоритмів для роботи як очей

Марія Горлатова – асистент професора електротехніки та комп’ютерних наук у Дюкському університеті.

“Якщо ви хочете визначити, чи людина читає комікс чи складну літературу, дивлячись лише на її очі, ви можете це зробити”, – сказала Горлатова.

“Але тренування такого алгоритму вимагає даних від сотень людей, які носять очки протягом кількох годин”, – продовжила Горлатова. “Ми хотіли розробити програмне забезпечення, яке не тільки зменшує проблеми конфіденційності, пов’язані з збором цих даних, але також дозволяє меншим компаніям, які не мають таких ресурсів, увійти в гру метавсесвіту”.

Людські очі можуть робити багато речей, таких як вказувати на те, чи ми нудимося чи хвилюємося, де ми концентруємо увагу, чи ми експерти в якійсь справі.

“Те, де ви пріоритезуєте свій погляд, говорить багато про вас як про людину”, – сказала Горлатова. “Це може випадково розкрити статеві та расові упередження, інтереси, про які ми не хочемо, щоб інші знали, та інформацію, про яку ми можемо навіть не знати”.

Дані про рух очей надзвичайно корисні для компаній, які будують платформи та програмне забезпечення в метавсесвіті. Це може дозволити розробникам адаптувати контент до реакцій користувачів або зменшити роздільну здатність у периферійному зорі, що може зберегти обчислювальну потужність.

Команда комп’ютерних вчених, до якої входили колишній постдокторант Гуохао Лан та поточний аспірант Тім Скергілл, поставила за мету розробити віртуальні очі, щоб вони могли симулювати, як середня людина реагує на різні стимули. Для цього вони вивчили літературу з когнітивної науки про те, як люди сприймають світ та обробляють віртуальну інформацію.

Лан тепер є асистентом професора в Делфтському університеті технологій у Нідерландах.

“Якщо ви даєте EyeSyn багато різних входів і запускаєте його достатньо разів, ви створите набір синтетичних рухів очей, який буде достатньо великим, щоб тренувати класифікатор для нової програми”, – сказала Горлатова.

Тестування системи

Дослідники протестували точність віртуальних очей за допомогою публічно доступних даних. Спочатку вони проаналізували відео з доктором Ентоні Фаучі, який звертався до ЗМІ під час прес-конференцій. Потім вони порівняли це з даними про рух очей реальних глядачів. Вони також порівняли віртуальний набір даних про рух очей з реальними даними, зібраними від людей, які дивилися через віртуальний музей мистецтва. Результати показали, що EyeSyn може близько збігатися з характерними моделями реальних сигналів погляду та симулювати різні способи, як очі людей реагують.

Горлатова каже, що ці результати свідчать про те, що віртуальні очі достатньо хороші для того, щоб компанії могли використовувати їх як базу для тренування нових платформ та програмного забезпечення метавсесвіту.

“Синтетичні дані самі по собі не ідеальні, але вони є хорошою основою”, – сказала Горлатова. “Менші компанії можуть використовувати їх, замість того, щоб витрачати час і гроші на створення власних реальних наборів даних з людьми. І оскільки персоналізація алгоритмів може бути зроблена на місцевих системах, люди не повинні хвилюватися про те, що їхні приватні дані про рух очей стануть частиною великої бази даних.”