์ฆ๊ฐํ์ค
์ฐ๊ตฌ์ง, AI๋ฅผ ์ด์ฉํ ์ค์๊ฐ 3D ํ๋ก๊ทธ๋จ์ ์ค๋งํธํฐ์์ ์์ฑ
스마트폰은 MIT의 연구진이 개발한 AI 모델 덕분에 곧 사진과 같은 3D 홀로그램을 생성할 수 있게 될 것이다. MIT 팀이 개발한 AI 시스템은 입력 이미지 시리즈에서 홀로그램을 생성하는 최적의 방법을 결정한다.
MIT의 연구진은 최근 사진과 같은 3D 홀로그램을 생성할 수 있는 AI 모델을 설계했다. 이 기술은 VR과 AR 헤드셋에 적용될 수 있으며, 홀로그램은甚至 스마트폰으로 생성될 수 있다.
전통적인 3D와 VR 디스플레이와는 달리, 홀로그램 디스플레이는 사람들에게 깊이를 느끼게 할 수 있으며, 눈의 피로를 줄일 수 있다. 홀로그램 미디어를 생성하는 데 주요한 장애는 실제로 홀로그램을 생성하는 데 필요한 데이터를 처리하는 것이다. 모든 홀로그램은 깊이를 생성하는 데 필요한大量의 데이터로 구성되므로, 홀로그램을 생성하는 데에는大量의 컴퓨팅 파워가 필요하다. MIT 팀은 이 문제를 해결하기 위해 깊은 컨볼루션 신경 네트워크를 적용하여 입력 이미지에 기반한 홀로그램을 빠르게 생성할 수 있는 네트워크를 생성했다.
전통적인 홀로그램 생성 방법은 많은 홀로그램 조각을 생성한 다음 물리 시뮬레이션을 사용하여 이러한 조각을 하나의 완전한 객체 또는 이미지로 결합한다. 이는 전통적인 홀로그램 생성 방법과 다르다. 전통적인 방법에서는 이미지들을 조각으로 나누고, 이러한 조각들을 결합하기 위해 룩업 테이블을 사용한다. 이러한 룩업 테이블은 홀로그램 조각의 경계를 표시한다. 홀로그램 조각의 경계를 룩업 테이블로 정의하는 과정은 시간이 많이 걸리고, 처리 파워를 많이 필요로 한다.
IEEE Spectrum에 따르면, MIT 팀은 홀로그램을 생성하는 또 다른 방법을 설계했다. 깊은 학습 네트워크의 힘을 이용하여, 이미지들을 조각으로 나누고, 이러한 조각들을 홀로그램으로 재구성할 수 있다. 이러한 새로운 기술은 컨볼루션 신경 네트워크가 이미지들을 분석하고, 이미지들을离散한 조각으로 나누는 능력을 이용한다. 이러한 새로운 이미지 분석 및 조각화 방법은 시스템이 수행해야 하는 총 연산의 수를 크게 줄인다.
AI 기반 홀로그램 생성기를 설계하기 위해, 연구 팀은 약 4000개의 컴퓨터 생성 이미지로 구성된 데이터베이스를 생성하기 시작했다. 각 이미지에는 해당 3D 홀로그램이 할당되어 있었다. 컨볼루션 신경 네트워크는 이 데이터셋에서 학습하여, 각 이미지와 해당 홀로그램이 어떻게 연결되는지, 그리고 홀로그램을 생성하는 데 필요한 기능을 어떻게 사용하는지 학습했다. AI 시스템이 미리 보지 못한 데이터와 깊이 정보를 제공받으면, 해당 데이터에서 새로운 홀로그램을 생성할 수 있었다. 깊이 정보는 라이더 센서 또는 멀티 카메라 디스플레이를 통해 제공되며, 컴퓨터 생성 이미지로 렌더링된다. 일부 새로운 아이폰에는 이러한 구성 요소가 포함되어 있으므로, 적절한 디스플레이에 연결되면 홀로그램을 생성할 수 있다.
새로운 AI 기반 홀로그램 시스템은 기존 방법보다 훨씬 적은 메모리가 필요하다. 시스템은 60 프레임당 1920 x 1080의 해상도와 전색으로 3D 홀로그램을 생성할 수 있으며, 이는 단일 일반 GPU에서 약 620 킬로바이트의 메모리를 사용하여 실행된다. 연구진은 아이폰 11에서 시스템을 실행하여 약 1초당 1개의 홀로그램을 생성할 수 있었으며, Google Edge TPU에서 시스템은 1초당 2개의 홀로그램을 렌더링할 수 있었다. 이는 시스템이 스마트폰, AR 디바이스, VR 디바이스에 적용될 수 있음을 시사한다. 시스템은 또한 볼륨 렌더링 3D 프린팅 또는 홀로그램 현미경 설계에 적용될 수 있다.
미래에는 기술의 개선으로, 사용자가 특정 위치를看着 있을 때 홀로그램의 해상도를 동적으로 조정할 수 있는 아이 트래킹 하드웨어와 소프트웨어가 도입될 수 있다.
