Аутентична система фокусування для «дешевого» доповненого реальності

Дослідники з Інституту інженерів з електротехніки та електроніки (IEEE) розробили метод підвищення автентичності низькобюджетних, проєкційних установок доповненого реальності, за допомогою спеціальних окулярів, які khiến проєкційні 3D-образи входять і виходять з фокусу так само, як якщо б вони були реальними, подолавши критичну перцептивну перешкоду для практичного використання проєкційних систем у контрольованих середовищах.

Система IEEE реконструює глибинні площини для проєкційних реальних та CGI-зображень, які будуть накладені на кімнату. У цьому випадку три CGI-стенфордські кроліки накладаються на одну глибинну площину з трьома реальними об’єктами, а їх розмитість контролюється тим, куди дивиться та фокусується глядач. 3D-проєктори можуть проєктувати відео на фіксовані поверхні, рухомі поверхні або навіть складну геометрію, забезпечуючи широке покриття, яке важко реконструювати під суворими обмеженнями обробки систем доповненого реальності, таких як HoloLens. Джерело: https://www.youtube.com/watch?v=I8DGTQnxm38

Система використовує електричні фокус-тюнінг-лінзи (ETL), вбудовані в окуляри глядача (які в будь-якому випадку необхідні для розділення двох потоків зображень на переконливий, інтегрований 3D-досвід), і які спілкуються з проєкційною системою, яка потім автоматично змінює рівень розмитості проєкційного зображення, яке бачить глядач.

Лінзи ETL повертають інформацію про фокусну увагу користувача та встановлюють рівень розмитості на основі площини для візуалізації проєкційної геометрії. Розробка системи описана в супровідному відео, вкладеному в кінці цієї статті.

Стаття стаття, озаглавлена Мультifoкульна стереоскопічна проєкційна мапа, пропонує новий рівень зручності галузі, яка була обмежена відсутністю інтеграції з тим, як користувачі фокусуються на різних об’єктах, і яка обіцяє подолати проблеми таких систем з конфліктом вергенції-акомодації (VAC) – синдромом, при якому сприймана відстань між об’єктом не відповідає його логічній фокусній відстані, що спричиняє те, що об’єкт «плава» в недовірливо різкому вигляді там, де він повинен бути розмитим у контексті свого розміщення.

У середовищах доповненого реальності, таких як Microsoft HoloLens, використовується фовеальний рендеринг, щоб зосередити потужність обробки, рендеринг деталей і фокусування на основі того, куди дивиться та фокусується користувач. Однак носимі системи доповненого реальності, такі як HoloLens, мають значно вищу апаратну нагрузку, оскільки вони повинні доставляти 3D-зображення користувачеві.

Переваги проєкційного доповненого реальності

Натомість, окуляри з ETL просто надсилають фокусну інформацію як додаткову змінну до віддалених CGI-потоків, які можуть змінити фокус проєкційних зображень швидше, ніж фокусна інформація повинна зробити круговий шлях у носимому пристрої доповненого реальності (тобто фокусна інформація > надіслана на віддалений процесор > візуалізована > надіслана назад користувачеві), покращуючи затримку, яка сама по собі є потенційною причиною дезорієнтації глядача у системах доповненого реальності.

У результаті фовеальний рендеринг використовується так само для задоволення обмежених наявних ресурсів, як і для забезпечення аутентичного фокусного досвіду для користувача, з великими областями накладених зображень, які важко досягти в системах типу HoloLens, і обмеженим «рендерингом літерного ящика» та нестабільними краями постійною скаргою.

З SIGGRAPH 98 – бачення доповненого реальності в офісному середовищі, цитоване в новій статті. Джерело: https://www.youtube.com/watch?v=I8DGTQnxm38 і https://web.media.mit.edu/~raskar/UNC/Office/

Стаття відзначає ряд відомих переваг, які стереоскопічна проєкційна мапа (PM) має над більш сучасними реалізаціями доповненого реальності, які залежать від важкої та інтенсивної апаратури, яку потрібно носити на тілі, як зазначають автори*:

По-перше, поле зору (FOV) можна зробити настільки широким, наскільки це можливо, збільшуючи кількість проєкторів для покриття всього середовища. По-друге, активні шторки, використовувані в окулярах, зазвичай значно легші, і, таким чином, їх фізична нагрузка менша, ніж у шоломів. По-третє, кілька користувачів можуть спільно використовувати один і той же досвід доповненого реальності, якщо їх точки зору достатньо близькі одна до одної. Завдяки цим перевагам дослідники виявили, що стереоскопічна проєкційна мапа підходить для широкого спектра застосувань, включаючи, але не обмежуючись музейні гіди, планування архітектури, проектування продукту, медичну підготовку, інтерфейси, які змінюють форму, та відеоконференції.

Одна з таких реалізацій була розроблена Microsoft Research у 2012 році, до того, як компанія зосередилася на апаратних рішеннях доповненого реальності в останні роки:

https://www.youtube.com/watch?v=EaCjTog0u40

Дослідники IEEE стверджують, що нова система вводу фокусу є першою, яка подолала VAC, контролюючи мультифокусні площини, і також першою, яка вирішує цю проблему у загальному та широко застосовному вигляді, без потреби у дорогій, спеціалізованій проєкційній апаратурі.

Фокус-центрований рендеринг-потік, розроблений дослідниками, включає фокусну інформацію, отриману від окулярів ETL глядача, на самому початку процесу рендерингу, а не вимагає базового комп’ютера для рендерингу та затемнення. залежно від реалізації це може додатково зберегти ресурси обробки та покращити затримку, коли фокусна увага глядача блукає навколо віртуальних елементів.

Техніка зазначається як така, що працює добре на різних можливих проєкційних поверхнях, включаючи плоскі, непланарні (тобто викривлені або складні геометрії, такі як манекени, на яких можна накладати медичні рентгенівські зображення) та рухомі поверхні.

Манекен доповненого реальності, який використовує 3D-проєкцію, розроблений для медичної освітньої середовищі, цитований у статті. Джерело: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Проєкційні системи цього типу вимагають темних середовищ, таких як музейні установки, і система ETL зменшує кут огляду глядача, хоча дослідники стверджують, що тенденція до збільшення розмірів апертур для обладнання ETL буде пом’якшувати це обмеження з часом. Хоча автори також зазначають, що система вимагає високошвидкісного проєктора для забезпечення достатньої кількості кадрів для розділення на два потоки, вони використали проєктор, доступний у продажу, для своєї реалізації.

https://www.youtube.com/watch?v=I8DGTQnxm38

*Моя конвертація внутрішніх посилань у гіперпосилання.