Аутентичная система фокусировки для «дешевой» дополненной реальности

Исследователи из Института электрических и электронных инженеров (IEEE) разработали метод увеличения аутентичности недорогих, проекционных установок дополненной реальности, посредством специальных очков, которые заставляют проектированные 3D-изображения фокусироваться и дефокусироваться так же, как если бы они были реальными, преодолевая критический перцептивный барьер для практического использования проекционных систем в контролируемых средах.

Система IEEE воссоздает глубинные плоскости для проектированных реальных и CGI-изображений, которые будут наложены на комнаты. В этом случае три CGI-станфордских кролика наложены на одну глубинную плоскость с тремя реальными объектами, и их размытость контролируется местом, где смотрит и фокусируется зритель. 3D-проекторы могут проецировать изображения на фиксированные поверхности, движущиеся поверхности или даже сложную геометрию, предлагая широкое покрытие, которое трудно воссоздать под жесткими ограничениями обработки систем дополненной реальности, таких как HoloLens. Источник: https://www.youtube.com/watch?v=I8DGTQnxm38

Система использует электрически фокусируемые линзы (ETL), встроенные в очки зрителя (которые в любом случае необходимы для разделения двух потоков изображений на убедительный, интегрированный 3D-опыт), и которые общаются с проекционной системой, которая затем автоматически меняет уровень размытости проектированного изображения, видимого зрителем.

Линзы ETL сообщают обратную информацию о фокусе внимания пользователя и изменяют уровень размытости на основе плоскости для рендеринга проектированной геометрии. Разработка системы описана в сопровождающем видео, встроенном в конце этой статьи.

Статья предлагает новый уровень удобства для области, которая была ограничена отсутствием интеграции с тем, как пользователи фокусируются на разных объектах, и которая обещает преодолеть проблемы, которые такие системы имели с конфликтом вергенции-аккомодации (VAC) – синдромом, при котором воспринимаемое расстояние между объектом не соответствует его логическому фокусному расстоянию, вызывая объект «плавающий» в неубедительно резком виде, где он должен быть размытым в контексте своего размещения.

В средах дополненной реальности, таких как Microsoft’s HoloLens, фовеатное рендеринг используется для концентрации мощности обработки, рендеринга деталей и фокуса на основе того, где пользователь носит устройство и фокусируется. Однако носимые системы дополненной реальности, такие как HoloLens, имеют гораздо более высокую нагрузку на бортовом оборудовании, поскольку они фактически должны доставить 3D-изображение зрителю.

Преимущество проецируемой дополненной реальности

Напротив, очки с ETL просто отправляют фокусную информацию в качестве дополнительной переменной в удаленные CGI-конвейеры, которые могут изменить фокус проектированных изображений быстрее, чем фокусная информация должна сделать круговой путь в носимом устройстве дополненной реальности (т.е. фокусная информация > отправлена на удаленный процессор > рендеринг > отправлено обратно носителю), улучшая задержку, которая сама по себе является потенциальной причиной дезориентации зрителя в системах дополненной реальности.

По сути, фовеатное рендеринг используется столько же для того, чтобы приспособиться к ограниченным доступным ресурсам, сколько и для того, чтобы предоставить аутентичный фокусный опыт для пользователя, с большими областями наложенных изображений, которые трудно достичь в системах типа HoloLens, и ограниченным «рендерингом в формате письма» и нестабильными краями постоянной жалобой.

Из SIGGRAPH 98 – вид дополненной реальности в офисной среде, цитируемой в новой статье. Источник: https://www.youtube.com/watch?v=I8DGTQnxm38 и https://web.media.mit.edu/~raskar/UNC/Office/

Статья отмечает ряд известных преимуществ, которые стереоскопическое проекционное сопоставление (PM) имеет над более современными реализациями дополненной реальности, которые полагаются на тяжелое и интенсивное носимое оборудование, как отмечают авторы*:

Во-первых, поле зрения (FOV) можно сделать как можно шире, увеличивая количество проекторов для покрытия всей среды. Во-вторых, активные затворные очки обычно намного легче и, таким образом, их физическая нагрузка меньше, чем у HMD. В-третьих, несколько пользователей могут делиться одним и тем же опытом дополненной реальности, если их точки зрения достаточно близки друг к другу. Благодаря этим преимуществам, исследователи обнаружили, что стереоскопическое PM подходит для широкого спектра приложений, включая, но не ограничиваясь музейные гиды, планирование архитектуры, проектирование продукта, медицинскую подготовку, интерфейсы, меняющие форму, и телемостинг.

Одна такая реализация была разработана Microsoft Research в 2012 году, до того, как компания сосредоточилась на устройстве дополненной реальности в последние годы:

Исследователи IEEE утверждают, что новая система ввода фокуса является первой, которая решает VAC, контролируя многофокусные плоскости, и также является первой, которая решает эту проблему в общем и широко применимом виде, без необходимости дорогого, специализированного проекционного оборудования.

Система фокусировки, разработанная исследователями, включает фокусную информацию, полученную от очков зрителя с ETL, прямо в начале процесса рендеринга, а не требует от базового компьютера рендеринга и затем размытия. В зависимости от реализации это может еще больше сэкономить ресурсы обработки и улучшить задержку, когда взгляд зрителя блуждает по виртуальным элементам.

Техника, как сообщается, работает хорошо на различных возможных поверхностях проекции, включая плоскую, не плоскую (т.е. кривую или сложную геометрию, такую как манекены, на которые можно наложить медицинские рентгеновские изображения) и движущиеся поверхности.

Манекен смешанной реальности, использующий 3D-проекцию, разработанный для медицинской образовательной среды, цитируемой в статье. Источник: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Системы проекции этого типа требуют темных сред, таких как музейные условия, и система ETL снижает доступный угол зрения зрителя, хотя исследователи утверждают, что тенденция к увеличению размеров апертур для оборудования ETL смягчит это ограничение со временем. Хотя авторы также отмечают, что система требует высокоскоростного проектора, чтобы обеспечить достаточно кадров для разделения на два потока, они использовали проектор, доступный в магазине, для своей реализации.

*Мое преобразование внутренних цитат в гиперссылки.