연구자들, 스마트폰에서 실시간 3D 홀로그래프 생성하는 AI 기술 개발

스마트폰이 곧 포토리얼리스틱 3D 홀로그래프를 생성할 수 있게 될 것으로 보인다. 이는 MIT 연구자들이 개발한 AI 모델에 일부 기인한다. MIT 팀이 개발한 AI 시스템은 입력 이미지 시리즈에서 홀로그래프를 생성하는 최적의 방법을 결정한다.

MIT 연구자들은 최근 포토리얼리스틱 3D 홀로그래프를 생성하는 AI 모델을 설계했다. 이 기술은 VR과 AR 헤드셋에 적용될 수 있으며, 홀로그래프는 심지어 스마트폰에서도 생성될 수 있다.

전통적인 3D와 VR 디스플레이는 단순히 깊이의 환상을 생성하여 메스꺼움과 두통을 유발할 수 있다. 홀로그래픽 디스플레이는 사람들이 눈에 무리를 주지 않고 볼 수 있다. 홀로그래픽 미디어를 생성하는 데 필요한 데이터를 처리하는 것이 주요 장애물이다. 모든 홀로그래프는 “깊이”를 생성하는 데 필요한大量의 데이터로 구성된다. 이로 인해 홀로그래프를 생성하는 데大量의 컴퓨팅 파워가 필요하다. MIT 팀은 이 문제를 해결하기 위해 깊은 컨볼루션 신경 네트워크를 적용하여 입력 이미지에 기반한 홀로그래프를 빠르게 생성할 수 있는 네트워크를 생성했다.

홀로그래프를 생성하는 전통적인 접근 방법은 많은 홀로그래프 조각을 생성한 다음 물리 시뮬레이션을 사용하여 조각을 하나의 개체 또는 이미지로 결합한다. 이는 홀로그래프를 생성하는 전통적인 방법과 다르다. 전통적인 방법에서는 이미지 조각을 나누고 lookup 테이블을 사용하여 홀로그래프 조각을 결합한다. 홀로그래프 조각의 경계를 lookup 테이블로 정의하는 과정은 시간이 많이 걸리고 처리 파워를 많이 소모한다.

IEEE 스펙트럼에 따르면, MIT 팀은 홀로그래프를 생성하는 또 다른 방법을 설계했다. 깊은 학습 네트워크의 힘을利用하여 이미지 조각을 재구성하여 홀로그래프를 생성하는 데 필요한 “조각”의 수를 크게 줄였다. 이 새로운 기술은 컨볼루션 신경 네트워크가 이미지 분석하고 이미지 조각을 분리하는 능력을利用한다. 이 새로운 방법은 시스템이 수행해야 하는 총 연산의 수를 크게 줄인다.

MIT 연구 팀은 먼저 약 4000개의 컴퓨터 생성 이미지로 구성된 데이터베이스를 구축하여 시작했다. 각 이미지에는 해당 홀로그래프가 할당되었다. 컨볼루션 신경 네트워크는 이 데이터셋에서 학습하여 각 이미지와 홀로그래프가 어떻게 연결되어 있는지以及 홀로그래프를 생성하는 데 특성을 어떻게 사용하는지 학습했다. AI 시스템에 보이지 않는 데이터와 깊이 정보가 제공되면 새로운 홀로그래프를 생성할 수 있다. 깊이 정보는 라이더 센서 또는 멀티 카메라 디스플레이를 통해 제공되며 컴퓨터 생성 이미지로 렌더링된다. 일부 새로운 아이폰에는 이러한 구성 요소가 포함되어 있으므로 올바른 디스플레이에 연결되면 홀로그래프를 생성할 수 있다.

새로운 AI 기반 홀로그래프 시스템은 전통적인 방법보다 훨씬 적은 메모리가 필요하다. 시스템은 60 프레임당 1920 x 1080의 해상도와 전색상으로 3D 홀로그래프를 생성할 수 있으며 단일 일반 GPU에서 약 620 킬로바이트의 메모리를 사용하여 실행된다. 연구자들은 아이폰 11에서 시스템을 실행하여 1초당 약 1개의 홀로그래프를 생성할 수 있었으며, 구글 에지 TPU에서 시스템을 실행하여 1초당 2개의 홀로그래프를 렌더링할 수 있었다. 이는 시스템이 스마트폰, AR 디바이스 및 VR 디바이스에 적용될 수 있음을 시사한다. 시스템은 또한 부피 3D 프린팅 또는 홀로그래픽 현미경 설계에 적용될 수 있다.

미래에는 기술의 향상으로 사용자가 특정 위치를看着 있을 때 홀로그래프의 해상도를 동적으로 조정할 수 있는 아이 트래킹 하드웨어와 소프트웨어가 도입될 수 있다.