인텔 랩스, 컴퓨터 비전 개발을 위한 두 개의 새로운 AI 모델 발표

VI-Depth 1.0과 MiDaS 3.1 오픈 소스 AI 모델은 컴퓨터 비전을 위한 깊이 추정 기능을 향상시킵니다.

깊이 추정은 로봇공학, 증강 현실(AR) 및 가상 현실(VR)과 같은 다양한 응용 프로그램을 생성하기 위해 필요한 어려운 컴퓨터 비전 작업입니다. 기존 솔루션은 거리를 정확하게 추정하는 데 어려움을 겪는 경우가 많습니다. 이는 시각적 탐색에서 운동 계획 및 장애물 회피를 도와주는 데 중요한 측면입니다. 인텔 (INTC ) 랩스의 연구자들은 단안 깊이 추정을 위한 두 개의 AI 모델을 출시하여 이 문제를 해결하고 있습니다. 하나는 시각-관성 깊이 추정이고, 다른 하나는 강건한 상대 깊이 추정(RDE)입니다.

최신 RDE 모델인 MiDaS 버전 3.1은 단일 이미지 입력만 사용하여 강건한 상대 깊이를 예측합니다. 대규모 및 다양한 데이터셋에서 훈련된 결과, 더 넓은 범위의 작업 및 환경에서 효율적으로 수행할 수 있습니다. MiDaS의 최신 버전은 더 큰 훈련 세트와 업데이트된 인코더 백본을 통해 RDE에 대한 모델 정확도를 약 30% 개선합니다.

MiDaS는 많은 프로젝트에 통합되었으며, 특히 Stable Diffusion 2.0에서 깊이-이미지 기능을 활성화하여 입력 이미지의 깊이를 추론하고 텍스트 및 깊이 정보를 사용하여 새로운 이미지를 생성합니다. 예를 들어, 디지털 크리에이터 Scottie Fox는 Stable Diffusion과 MiDaS의 조합을 사용하여 360도 VR 환경을 생성했습니다. 이 기술은 법정 사건을 위한 범죄 현장 재구성, 의료를 위한 치료 환경 및 몰입형 게임 경험과 같은 새로운 가상 애플리케이션으로 이어질 수 있습니다.

RDE는 우수한 일반화 가능성을 가지고 있으며 유용하지만, 실제 거리 단위에 맞는 스케일이 없기 때문에 매핑, 계획, 내비게이션, 객체 인식, 3D 재구성 및 이미지 편집처럼 절대 깊이가 필요한 후속 작업에서 활용도가 낮아집니다. 인텔 랩스의 연구자들은 이 문제를 해결하기 위해 VI-Depth라는 또 다른 AI 모델을 출시하여 정확한 깊이 추정을 제공하고 있습니다.

VI-Depth는 단안 깊이 추정과 시각-관성 오도메트리(VIO)를 통합하여 실제 거리 단위의 조밀한 깊이 추정치를 생성하는 시각-관성 깊이 추정 파이프라인입니다. 이 접근 방식은 장면 재구성, 매핑 및 객체 조작을 지원하는 정확한 깊이 추정을 제공합니다.

관성 데이터를 통합하면 스케일의 모호성을 해결하는 데 도움이 될 수 있습니다. 대부분의 모바일 장치에는 이미 관성 측정 장치(IMU)가 포함되어 있습니다. 전역 정렬은 적절한 전역 스케일을 결정하고, 조밀한 스케일 정렬(SML)은 국소적으로 작동해 각 영역을 실제 거리 단위의 올바른 깊이에 가까워지도록 밀거나 당깁니다. SML 네트워크는 MiDaS를 인코더 백본으로 사용합니다. 모듈러 파이프라인에서 VI-Depth는 데이터 주도 깊이 추정과 MiDaS 상대 깊이 예측 모델 및 IMU 센서 측정 장치를 결합합니다. 데이터 소스의 조합으로 인해 VI-Depth는 이미지의 모든 픽셀에 대해 더 신뢰할 수 있는 조밀한 절대 깊이를 생성할 수 있습니다.

MiDaS 3.1 및 VI-Depth 1.0은 GitHub에서 오픈 소스 MIT 라이선스로 제공됩니다.

자세한 정보는 “Vision Transformers for Dense Prediction” 및 “Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-shot Cross-dataset Transfer”를 참조하십시오.