Исследователи создали AI-поддерживаемые реальные 3D-голографии на смартфонах

Смартфоны скоро смогут генерировать фотореалистичные 3D-голографии, благодаря в частности модели ИИ, разработанной исследователями в MIT. Система ИИ разработанная командой MIT определяет лучший способ генерировать голографии из серии входных изображений.

Исследователи из MIT недавно разработали модели ИИ, которые позволяют генерировать фотореалистичные 3D-голографии. Эта технология может иметь применения для гарнитур VR и AR, и голографии даже могут быть сгенерированы смартфоном.

В отличие от традиционных 3D и VR-дисплеев, которые просто создают иллюзию глубины и которые могут вызывать тошноту и головные боли, голографические дисплеи могут быть просмотрены людьми без вызывания напряжения глаз. Основным препятствием на пути создания голографических медиа является обработка данных, необходимых для фактического создания голографии. Каждая голография состоит из огромного количества данных, необходимых для создания “глубины” голографии. Из-за этого генерирование голографий обычно требует огромного количества вычислительной мощности. Чтобы сделать голографическую технологию более практичной, команда MIT применила глубокие свёрточные нейронные сети к этой проблеме, создав сеть, способную быстро генерировать голографии на основе входных изображений.

Традиционный подход к генерированию голографий по сути генерирует многие фрагменты голографий, а затем использует физические симуляции для объединения фрагментов в полное представление объекта или изображения. Этот подход отличается от традиционного метода генерирования голографий. В традиционном методе изображения разрезаются на части, и серия таблиц поиска используется для соединения фрагментов голографии, поскольку таблицы поиска отмечают границы различных фрагментов голографии. Процесс определения границ фрагментов голографии с помощью таблиц поиска довольно трудоёмкий и требующий большого количества вычислительной мощности.

Согласно IEEE Spectrum, команда MIT разработала другой метод генерирования голографий. Используя силу глубоких обучающих сетей, они смогли разрезать изображения на фрагменты, которые можно было бы重新 собрать в голографии с помощью гораздо меньшего количества “срезов”. Новый метод анализа и разрезания изображений значительно снижает количество операций, которые система должна выполнить.

Чтобы разработать свой генератор голографий на основе ИИ, исследовательская команда начала с создания базы данных, состоящей из примерно 4000 компьютерных изображений, с соответствующей 3D-голографией, назначенной каждому из этих изображений. Свёрточная нейронная сеть была обучена на этом наборе данных, изучая, как каждое изображение связано с его голографией и лучшим способом использовать функции для генерирования голографий. Когда система ИИ была предоставлена незнакомым данным с информацией о глубине, она могла затем генерировать новые голографии из этих данных. Информация о глубине поставляется через использование либо лидарных датчиков, либо дисплеев с несколькими камерами и отображается как компьютерное изображение. Некоторые новые iPhone имеют эти компоненты, что означает, что они потенциально могут генерировать голографии, если подключены к правильному типу дисплея.

Новая система голографий на основе ИИ требует гораздо меньше памяти, чем классические методы. Система может генерировать 3D-голографии со скоростью 60 кадров в секунду в полном цвете с разрешением 1920 x 1080, используя около 620 килобайт памяти при запуске на одном обычно доступном GPU. Исследователи смогли запустить свою систему на iPhone 11, производя около 1 голографии в секунду, в то время как на Google Edge TPU система могла отображать 2 голографии в секунду. Это говорит о том, что система может быть адаптирована для смартфонов, устройств AR и VR в целом. Система также может иметь применения для объемной 3D-печати или в проектировании голографических микроскопов.

В будущем улучшения технологии могут ввести аппаратное и программное обеспечение для отслеживания глаз, позволяя голографиям динамически масштабировать разрешение при просмотре пользователями определенных мест.