Автентична система фокусування для «дешевої» доповненої реальності

Дослідники з Інституту інженерів з електротехніки та електроніки (IEEE) розробили метод підвищення автентичності недорогих інсталяцій доповненої реальності на основі проекцій за допомогою спеціальних окулярів, які призводять до того, що проектовані 3D-зображення то входять, то розфокусуються. якби вони були, якби об’єкти були реальними, долаючи критичну перцептивну перешкоду для практичного використання проекційних систем у контрольованому середовищі.

Система IEEE відтворює площини глибини для проектованих реальних і CGI-зображень, які будуть накладені на кімнати. У цьому випадку три зайчики Стенфордського CGI накладаються на тій самій площині глибини, що й три об’єкти реального світу, і їх розмитість контролюється тим, куди дивиться глядач і фокусується. 3D-проектори можуть розміщувати відзнятий матеріал на нерухомих поверхнях, рухомих поверхнях або навіть на складній геометрії, пропонуючи широке охоплення, яке важко відтворити за суворих обмежень обробки систем AR, таких як HoloLens. Джерело: https://www.youtube.com/watch?v=I8DGTQnxm38

Система використовує лінзи з електричним регулюванням фокусування (ETL), вбудовані в окуляри глядача (які в будь-якому випадку необхідні для розділення двох потоків зображення в переконливий інтегрований 3D-досвід), і які спілкуються з проекційною системою, яка потім автоматично змінює рівень розмитості проектованого зображення, яке бачить глядач.

Лінзи ETL повідомляють інформацію про фокусну увагу користувача та встановлюють рівень розмиття на кожній площині для візуалізації спроектованої геометрії. Розвиток системи описано у супровідному відео, вбудованому в кінці цієї статті.

Команда папір, Під назвою Мультифокальна стереоскопічна проекція, пропонує новий рівень зручності використання для сфери, яка була обмежена відсутністю інтеграції з тим, як користувачі зосереджуються на різних об’єктах, і яка обіцяє подолати проблеми таких систем із конфліктом вергенції та пристосування (В змінного струму) – синдром, коли сприймана відстань між об’єктами не відповідає його логічній відстані фокусування, внаслідок чого об’єкт «пливе» непереконливо різко там, де він повинен бути розфокусований у контексті свого розміщення.

У середовищах AR, таких як HoloLens від Microsoft, використовується фовеатний рендеринг щоб зосередити обчислювальну потужність, відтворити деталі та фокус на основі того, куди дивиться та фокусується користувач із пристроєм. Однак носимі AR-системи, такі як функція HoloLens, мають набагато більше навантаження на бортове апаратне забезпечення, оскільки вони фактично повинні доставляти 3D-зображення глядачеві.

Перевага проектованої доповненої реальності

Навпаки, окуляри з підтримкою ETL просто надсилають фокусну інформацію як додаткову змінну на віддалені CGI-конвеєри, які можуть змінювати фокус проектованих зображень швидше, ніж зворотна передача, яку фокусна інформація має зробити в переносному пристрої AR (тобто інформація про фокус > надіслано до віддаленого процесора > відтворено > надіслано назад користувачеві), покращуючи затримку, яка сама по собі є a потенційна причина дезорієнтації глядача в системах AR.

По суті, фовеатне рендеринг використовується як для того, щоб забезпечити обмежені доступні ресурси, так і для забезпечення автентичного фокусного досвіду для користувача, з великими областями накладених зображень, яких важко досягти в системах у стилі HoloLens, і обмеженим «рендерінгом поштової скриньки» та нестійкі краї послідовна скарга.

З SIGGRAPH 98 – бачення доповненої реальності в офісному середовищі, наведене в новій статті. Джерело: https://www.youtube.com/watch?v=I8DGTQnxm38 і https://web.media.mit.edu/~raskar/UNC/Office/

Автори відзначають ряд відомих переваг, які має стереоскопічне проекційне відображення (PM) перед більш сучасними реалізаціями доповненої реальності, які покладаються на важке та інтенсивне обладнання, яке носить на тілі:

По-перше, поле огляду (FOV) можна зробити максимально широким, збільшивши кількість проекторів, щоб охопити все середовище. По-друге, використовувані окуляри з активним затвором зазвичай набагато легші, і, отже, їх фізичне навантаження менше, ніж у HMD. По-третє, кілька користувачів можуть ділитися одним і тим же доповненим доповненням, якщо їхні точки зору досить близькі одна до одної. Завдяки цим перевагам дослідники виявили, що стереоскопічний PM підходить для широкого спектру застосувань, включаючи, але не обмежуючись цим. музейні екскурсоводи, архітектурне планування, дизайн продукту, медичне навчання, інтерфейси, що змінюють форму, і телеконференції.

Одну з таких реалізацій було розроблено Microsoft Research у 2012 році, до того, як компанія зосередилася на доповненій реальності в пристрої в останні роки:

Дослідники IEEE стверджують, що нова система введення фокусу є першою, яка вирішує VAC, керуючи багатофокусними площинами, а також першою, яка вирішує цю проблему загальним і широко застосовним способом, без необхідності дорогого спеціалізованого обладнання для проектування.

Розроблений дослідниками конвеєр орієнтованого на фокус візуалізації включає фокусну інформацію, отриману від окулярів ETL глядача на самому початку процесу візуалізації, а не вимагає від базового комп’ютера візуалізації, а потім розмивання. Залежно від реалізації, це може додатково заощадити ресурси обробки та покращити затримку, коли фокусний погляд глядача блукає навколо віртуальних елементів.

Повідомляється, що ця техніка добре працює на різних можливих проекційних поверхнях, включаючи плоскі, неплоскі (тобто вигнуті або складної геометрії, такі як манекени, на які можна накласти медичні рентгенівські зображення) і рухомі поверхні.

Манекен змішаної реальності, який використовує 3D-проекцію, розроблений для медичного освітнього середовища, цитується в статті. Source: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Проекційні системи цього типу потребують темних середовищ, таких як музейні налаштування, і система ETL зменшує доступний кут огляду для глядача, хоча дослідники стверджують, що тенденція до збільшення розмірів діафрагми для обладнання ETL з часом пом’якшить це обмеження. Хоча автори також зазначають, що системі потрібен високошвидкісний проектор, щоб забезпечити достатню кількість кадрів для розділення на два потоки, вони використали готовий комерційно доступний проектор для їх реалізації.

*Моє перетворення вбудованих цитат на гіперпосилання.