연구원, 스마트폰에서 AI 기반 실시간 3D 홀로그램 생성

스마트폰은 부분적으로 덕분에 곧 사실적인 3D 홀로그램을 생성할 수 있습니다. MIT 연구원들이 개발한 AI 모델. AI 시스템 MIT 팀이 개발한 일련의 입력 이미지에서 홀로그램을 생성하는 가장 좋은 방법을 결정합니다.

MIT 연구원들은 최근 사실적인 3D 홀로그램 생성을 가능하게 하는 AI 모델을 설계했습니다. 이 기술은 VR 및 AR 헤드셋용 애플리케이션을 가질 수 있으며 홀로그램은 스마트폰으로도 생성할 수 있습니다.

기존의 3D 및 VR 디스플레이는 단순히 깊이의 착시를 일으키고 메스꺼움과 두통을 유발할 수 있지만 홀로그램 디스플레이는 눈의 피로를 유발하지 않고 사람이 볼 수 있습니다. 홀로그램 미디어 생성에 대한 주요 장애물은 실제로 홀로그램을 생성하는 데 필요한 데이터를 처리하는 것입니다. 모든 홀로그램은 홀로그램의 "깊이"를 생성하는 데 필요한 방대한 양의 데이터로 구성됩니다. 이 때문에 홀로그램을 생성하려면 일반적으로 엄청난 양의 컴퓨팅 성능이 필요합니다. 홀로그램 기술을 보다 실용화하기 위해 MIT 연구팀은 딥 컨볼루션 신경망을 문제에 적용해 입력 이미지를 기반으로 홀로그램을 빠르게 생성할 수 있는 네트워크를 만들었다.

홀로그램을 생성하는 일반적인 접근 방식은 본질적으로 많은 홀로그램 청크를 생성한 다음 물리 시뮬레이션을 사용하여 청크를 객체 또는 이미지의 완전한 표현으로 결합했습니다. 이는 홀로그램을 생성하는 데 사용되는 일반적인 접근 방식과 다릅니다. 기존 방법에서는 이미지가 분리되고 조회 테이블이 서로 다른 홀로그램 청크의 경계를 표시하므로 일련의 조회 테이블을 사용하여 홀로그램 청크를 결합합니다. 룩 테이블을 사용하여 홀로그램 청크의 경계를 정의하는 프로세스는 시간이 많이 걸리고 처리 능력이 많이 소모됩니다.

IEEE 스펙트럼에 따르면, MIT 팀은 홀로그램을 생성하는 또 다른 방법을 설계했습니다. 딥 러닝 네트워크의 힘을 사용하여 훨씬 적은 수의 "슬라이스"를 사용하여 홀로그램으로 다시 컴파일할 수 있는 청크로 이미지를 슬라이스할 수 있었습니다. 새로운 기술은 컨볼루션 신경망의 기능을 활용하여 이미지를 분석하고 이미지를 개별 덩어리로 분리합니다. 이미지를 분석하고 청킹하는 이 새로운 방법은 시스템이 수행해야 하는 총 작업 수를 크게 줄입니다.

AI 기반 홀로그램 생성기를 설계하기 위해 연구팀은 약 4000개의 컴퓨터 생성 이미지로 구성된 데이터베이스를 구축하고 각 이미지에 해당하는 3D 홀로그램을 할당하기 시작했습니다. 컨벌루션 신경망은 이 데이터 세트에 대해 훈련되어 각 이미지가 홀로그램과 연결되는 방법과 홀로그램을 생성하기 위해 기능을 사용하는 가장 좋은 방법을 학습했습니다. AI 시스템에 깊이 정보가 포함된 보이지 않는 데이터가 제공되면 이 데이터로부터 새로운 홀로그램을 생성할 수 있습니다. 깊이 정보는 다중 카메라 디스플레이의 라이더 센서를 사용하여 제공되고 컴퓨터 생성 이미지로 렌더링됩니다. 일부 새로운 iPhone에는 이러한 구성 요소가 있습니다. 즉, 올바른 유형의 디스플레이에 연결하면 잠재적으로 홀로그램을 생성할 수 있습니다.

새로운 AI 기반 홀로그램 시스템은 기존 방법보다 훨씬 적은 메모리를 필요로 합니다. 이 시스템은 일반적으로 사용 가능한 단일 GPU에서 실행하면서 약 3KB의 메모리를 사용하여 60 x 1920의 해상도로 풀 컬러로 초당 1080프레임으로 620D 홀로그램을 생성할 수 있습니다. 연구원들은 초당 약 11개의 홀로그램을 생성하는 iPhone 1에서 시스템을 실행할 수 있었고 Google Edge TPU 시스템은 초당 2개의 홀로그램을 렌더링할 수 있었습니다. 이는 시스템이 일반적으로 스마트폰, AR 장치 및 VR 장치에 적용될 수 있음을 시사합니다. 이 시스템은 체적 3D 인쇄 또는 홀로그램 현미경 설계에 응용할 수도 있습니다.

미래에는 기술 개선으로 시선 추적 하드웨어 및 소프트웨어가 도입되어 사용자가 특정 장소를 볼 때 홀로그램의 해상도가 동적으로 확장될 수 있습니다.