Исследователи создают 3D-голограммы в режиме реального времени с помощью искусственного интеллекта на смартфонах

Смартфоны скоро смогут создавать фотореалистичные 3D-голограммы, отчасти благодаря модель ИИ, разработанная исследователями Массачусетского технологического института. Система ИИ разработан командой Массачусетского технологического института определяет наилучший способ создания голограмм из серии входных изображений.

Исследователи из Массачусетского технологического института недавно разработали модели искусственного интеллекта, которые позволяют создавать фотореалистичные трехмерные голограммы. У этой технологии могут быть приложения для гарнитур виртуальной и дополненной реальности, а голограммы могут быть созданы даже смартфоном.

В отличие от традиционных 3D- и VR-дисплеев, которые просто создают иллюзию глубины и могут вызвать тошноту и головную боль, голографические дисплеи можно увидеть, не вызывая напряжения глаз. Основным препятствием на пути создания голографических носителей является обработка данных, необходимых для фактического создания голографии. Каждая голограмма состоит из огромного количества данных, необходимых для создания «глубины» голограммы. Из-за этого создание голограммы обычно требует огромных вычислительных мощностей. Чтобы сделать голографическую технологию более практичной, команда Массачусетского технологического института применила к проблеме глубокие сверточные нейронные сети, создав сеть, способную быстро генерировать голограммы на основе входных изображений.

Типичный подход к созданию голограмм, по сути, генерировал множество фрагментов голограмм, а затем использовал физическое моделирование для объединения фрагментов в полное представление объекта или изображения. Это отличается от типичного подхода, используемого для создания голограмм. В традиционном методе изображения разрезаются на части, и для соединения фрагментов голограммы используется ряд таблиц поиска, поскольку таблицы поиска отмечают границы различных фрагментов голограммы. Процесс определения границ голографических фрагментов с помощью таблиц просмотра занимает довольно много времени и ресурсов.

По данным IEEE Spectrum, Команда Массачусетского технологического института разработала еще один метод создания голограмм. Используя возможности сетей глубокого обучения, они смогли разрезать изображения на куски, которые можно было преобразовать в голограммы, используя гораздо меньше «кусков». Новые методы используют возможности сверточных нейронных сетей для анализа изображений и разделения изображений на дискретные фрагменты. Этот новый метод анализа и разделения изображений значительно сокращает общее количество операций, которые должна выполнять система.

Чтобы разработать голографический генератор на базе искусственного интеллекта, исследовательская группа начала с создания базы данных, состоящей примерно из 4000 сгенерированных компьютером изображений, с соответствующей трехмерной голограммой, присвоенной каждому из этих изображений. Сверточная нейронная сеть была обучена на этом наборе данных, изучая, как каждое изображение связано с его голограммой, и как лучше всего использовать функции для создания голограмм. Когда системе искусственного интеллекта были предоставлены невидимые данные с информацией о глубине, она могла затем генерировать новые голограммы на основе этих данных. Информация о глубине предоставляется с помощью лидарных датчиков многокамерных дисплеев и отображается в виде изображения, сгенерированного компьютером. Некоторые новые iPhone имеют эти компоненты, а это означает, что они потенциально могут генерировать голограммы, если их подключить к правильному типу дисплея.

Новая система голограмм, управляемая искусственным интеллектом, требует гораздо меньше памяти, чем классические методы. Система может генерировать 3D-голограммы со скоростью 60 кадров в секунду в полноцветном режиме с разрешением 1920 x 1080, используя около 620 килобайт памяти при работе на одном общедоступном графическом процессоре. Исследователи смогли запустить свои системы на iPhone 11, производя около 1 голограммы в секунду, в то время как TPU Google Edge система могла отображать 2 голограммы в секунду. Это говорит о том, что система может быть адаптирована для смартфонов, устройств дополненной реальности и устройств виртуальной реальности в целом. Система также может найти применение в объемной 3D-печати или в разработке голографических микроскопов.

В будущем усовершенствования технологии могут привести к внедрению аппаратного и программного обеспечения для отслеживания взгляда, что позволит голограммам динамически масштабироваться в разрешении, когда пользователь смотрит на определенные места.