Аутентична система фокусування для «дешевого» доповненого реальності

Дослідники з Інституту інженерів з електротехніки та електроніки (IEEE) розробили метод підвищення автентичності низькобюджетних, проєкційних установок доповненого реальності, за допомогою спеціальних окулярів, які роблять проєкційні 3D-образи різними за фокусом так само, як і справжні об’єкти, подолавши критичний перцептивний бар’єр для практичного використання проєкційних систем у контрольованих середовищах.

Система IEEE реконструює площини глибини для проєкційних реальних та CGI-зображень, які будуть накладені на кімнати. У цьому випадку три CGI-стенфордські кролики накладені на одну площину глибини з трьома реальними об’єктами, і їх розмитість контролюється тим, куди дивиться і фокусується глядач. 3D-проєктори можуть проєктувати зображення на стаціонарні поверхні, рухомі поверхні або навіть складну геометрію, забезпечуючи широке покриття, яке важко реконструювати під суворими обмеженнями обробки даних систем доповненого реальності, таких як HoloLens. Джерело: https://www.youtube.com/watch?v=I8DGTQnxm38

Система використовує електричні лінзи з фокусуванням (ETL), вбудовані в окуляри глядача (які в будь-якому випадку необхідні для розділення двох потоків зображень на переконливий, інтегрований 3D-досвід), і які спілкуються з проєкційною системою, яка потім автоматично змінює рівень розмитості проєкційного зображення, яке бачить глядач.

Лінзи ETL передають інформацію про фокусування уваги користувача та змінюють рівень розмитості на основі площини глибини для проєкційного геометричного зображення. Розробка системи описана в супровідному відео, яке розміщено в кінці статті.

Стаття стаття, озаглавлена Мультifoкусна стереоскопічна проєкційна карта, пропонує новий рівень зручності галузі, яка обмежена відсутністю інтеграції з тим, як користувачі фокусуються на різних об’єктах, і яка обіцяє подолати проблеми, пов’язані з конфліктом вергенції-акомодації (VAC) – синдромом, при якому сприймана відстань між об’єктом не збігається з його логічною відстанню фокусування, що робить об’єкт «плаваючим» у невідповідному різкому вигляді, де він повинен бути розмитим у контексті його розміщення.

У середовищах доповненого реальності, таких як Microsoft HoloLens, фовеальна візуалізація використовується для концентрації потужності обробки, візуалізації деталей та фокусування на основі того, куди дивиться та фокусується користувач. Однак носимі системи доповненого реальності, такі як HoloLens, мають значно більшу обчислювальну нагрузку, оскільки вони повинні доставляти 3D-зображення користувачеві.

Перевага проєкційного доповненого реальності

Натомість, окуляри з ETL просто передають інформацію про фокусування як додаткову змінну до віддалених потоків CGI, які можуть змінити фокус проєкційних зображень швидше, ніж інформація про фокусування повинна зробити круговий шлях у носимій системі доповненого реальності (тобто інформація про фокусування > відправляється на віддалений процесор > візуалізується > відправляється назад користувачеві), покращуючи затримку, яка сама по собі є потенційною причиною дезорієнтації користувача в системах доповненого реальності.

По суті, фовеальна візуалізація використовується так само для адаптації до обмежених ресурсів, як і для надання автентичного фокусного досвіду користувачеві, з великими областями накладених зображень, які важко досягнути в системах типу HoloLens, і обмеженою «візуалізацією у форматі листа» та нестабільними краями постійною скаргою.

З SIGGRAPH 98 – бачення доповненого реальності в офісному середовищі, згадане в новій статті. Джерело: https://www.youtube.com/watch?v=I8DGTQnxm38 і https://web.media.mit.edu/~raskar/UNC/Office/

Стаття відзначає ряд відомих переваг, які стереоскопічна проєкційна карта (PM) має над більш сучасними реалізаціями доповненого реальності, які залежать від важкої та інтенсивної носимої апаратури, оскільки автори зазначають*:

По-перше, поле зору (FOV) можна зробити настільки широким, наскільки це необхідно, збільшуючи кількість проєкторів для покриття всього середовища. По-друге, активні шторки окулярів зазвичай значно легші, і, таким чином, їх фізичне навантаження менше, ніж у шоломів. По-третє, кілька користувачів можуть спільно використовувати один і той же досвід доповненого реальності, якщо їх точки зору достатньо близькі один до одного. Завдяки цим перевагам дослідники виявили, що стереоскопічна проєкційна карта підходить для широкого спектра застосувань, включаючи, але не обмежуючись музейними гідами, плануванням архітектури, дизайном продукції, медичною підготовкою, інтерфейсами, які змінюють форму, і телемостингом.

Одна з таких реалізацій була розроблена Microsoft Research у 2012 році, до того, як компанія зосередилася на носимих системах доповненого реальності в останні роки:

Дослідники IEEE стверджують, що нова система введення фокусування є першою, яка подолала VAC, контролюючи багатофокусні площини, і також першою, яка вирішує цю проблему у загальному та широко застосовному вигляді, без потреби у дорогому спеціалізованому проєкційному обладнанні.

Система фокусування, розроблена дослідниками, включає інформацію про фокусування, отриману від окулярів глядача з ETL, на початку процесу візуалізації, а не вимагає від базового комп’ютера візуалізувати та затемнити. В залежності від реалізації це може додатково зберегти ресурси обробки та покращити затримку, коли погляд глядача блукає навколо віртуальних елементів.

Техніка зазначається як така, що працює добре на різних можливих поверхнях проєкції, включаючи плоскі, непланарні (тобто криві або складну геометрію, таку як манекени, на яких можна накладати медичні рентгенівські зображення) та рухомі поверхні.

Манекен доповненого реальності, який використовує 3D-проєкцію, розроблений для медичної освітньої середовищі, згаданий у статті. Джерело: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Системи проєкції такого типу вимагають темних середовищ, таких як музейні установки, і система ETL зменшує кут огляду глядача, хоча дослідники стверджують, що тенденція до збільшення розмірів апертур для обладнання ETL буде пом’якшувати цю обмеження з часом. Хоча автори також зазначають, що система вимагає високошвидкісного проєктора для забезпечення достатньої кількості кадрів для розділення на два потоки, вони використовували проєктор, доступний у продажу, для своєї реалізації.

*Моя конвертація внутрішніх посилань у гіперпосилання.