Исследователи создают AI-поддерживаемые реальные 3D-голографии на смартфонах

Смартфоны скоро смогут генерировать фотореалистичные 3D-голографии, благодаря в частности модели ИИ, разработанной исследователями в MIT. Система ИИ разработанная командой MIT определяет лучший способ генерации голографий из серии входных изображений.

Исследователи из MIT недавно разработали модели ИИ, которые позволяют генерировать фотореалистичные 3D-голографии. Эта технология может иметь применения для шлемов виртуальной и дополненной реальности, и голографии даже могут быть сгенерированы смартфоном.

В отличие от традиционных 3D и VR-дисплеев, которые просто создают иллюзию глубины и которые могут вызывать тошноту и головные боли, голографические дисплеи могут быть видны людьми без причинения нагрузки на глаза. Основным препятствием на пути создания голографических медиа является обработка данных, необходимых для фактического создания голографии. Каждая голография состоит из огромного количества данных, необходимых для создания “глубины” голографии. Из-за этого генерация голографий обычно требует огромного количества вычислительной мощности. Чтобы сделать голографическую технологию более практичной, команда MIT применила глубокие свёрточные нейронные сети к этой проблеме, создав сеть, способную быстро генерировать голографии на основе входных изображений.

Традиционный подход к генерации голографий заключается в создании многих фрагментов голографий, а затем использовании физических симуляций для объединения фрагментов в полное представление объекта или изображения. Это отличается от традиционного подхода, используемого для генерации голографий. В традиционном методе изображения разрезаются на части, и используется ряд таблиц поиска для соединения фрагментов голографии, поскольку таблицы поиска отмечают границы различных фрагментов голографии. Процесс определения границ фрагментов голографии с помощью таблиц поиска довольно трудоёмкий и требующий большого количества процессорного времени.

Согласно IEEE Spectrum, команда MIT разработала другой метод генерации голографий. Используя мощность глубоких обучающих сетей, они смогли разрезать изображения на фрагменты, которые можно было бы重新 собрать в голографии, используя намного меньше “срезов”. Новый метод анализа и разделения изображений на дискретные фрагменты значительно уменьшает количество операций, которые система должна выполнить.

Чтобы разработать свой генератор голографий на основе ИИ, исследовательская команда начала с создания базы данных, состоящей из около 4000 компьютерных изображений, с соответствующей 3D-голографией, назначенной каждому из этих изображений. Свёрточная нейронная сеть была обучена на этом наборе данных, изучая, как каждое изображение связано с его голографией и лучшим способом использования функций для генерации голографий. Когда система ИИ была предоставлена незнакомым данным с информацией о глубине, она могла затем генерировать новые голографии из этих данных. Информация о глубине поставляется через использование либо лидарных датчиков, либо дисплеев с несколькими камерами и отображается в виде компьютерного сгенерированного изображения. Некоторые новые iPhone имеют эти компоненты, что означает, что они потенциально могут генерировать голографии, если подключены к правильному типу дисплея.

Новая система голографий на основе ИИ требует намного меньше памяти, чем классические методы. Система может генерировать 3D-голографии со скоростью 60 кадров в секунду в полном цвете с разрешением 1920 х 1080, используя около 620 килобайт памяти при работе на одном обычно доступном GPU. Исследователи смогли запустить свою систему на iPhone 11, производя около 1 голографии в секунду, а на Google Edge TPU система могла отображать 2 голографии в секунду. Это говорит о том, что система может быть адаптирована для смартфонов, устройств дополненной и виртуальной реальности в целом. Система также может иметь применения для объемной 3D-печати или в проектировании голографических микроскопов.

В будущем улучшения технологии могут включать аппаратное и программное обеспечение для отслеживания глаз, позволяющее голографиям динамически масштабироваться в разрешении, когда пользователь смотрит на определенные места.