AI 모델 및 플랫폼
뉴럴 파츠: 의미 있는 추론 기하학을 위한 원시 단위 분해
Unite.AI를 Google의 선호 소스에 추가
정적 단일 이미지에서 3D 기하학을 생성하는 시스템은 최근 몇 년 동안 phổ biến해졌지만, 얻은 객체는 실제 의미 있는 스키마 없이 ‘융합’된 것으로 나타난다.
의미 있는 부분 분할을 가진 계층적 추론 모델을 생성하는 것은 산업 분석, 의료 연구 및 영상 응용, 비디오 게임, 시뮬레이터 및 VR/AR 환경의 자동 기하학 생성, 비주얼 이펙트 리깅 등 여러 이유로 중요하다.
최근 개발된 많은 방법, 예를 들어 슈퍼 쿼드릭 형태 파싱, 만족스러운 결과를 생산하지 못하고, 큐브형식의 슬라이스로의 진행을 제한했다.
슈퍼 쿼드릭스와 다른 접근법에 의해 제공되는 하위 부분은 추론된 이미지에 대한 粗略한 또는 대표적인 하위 부분이다. 출처: https://www.youtube.com/watch?v=6WK3B0IZJsw
그러나 막스 플랑크 연구소의 새로운 연구, 즉 뉴럴 파츠: 반전 가능한 신경 네트워크를 사용한 표현 가능한 3D 형태 추상화 학습, 의미 있는 섹션을 생성하는 새로운 신경 원시 3D 표현 시스템을 제공한다.
이전 방법은 큰 추론된 객체를 분해할 수 있지만, 의미 있는 방식으로는 아니다. 오른쪽의 뉴럴 파츠 방법은 더 실제적인 조각을 생성한다. 출처: https://paschalidoud.github.io/neural_parts
세그멘테이션은 조건부 홈이오토피를 사용하여 기본 기하학적 형태를 원시 단위로 변형시키고, 그 반대로 계산하여 상위 계층을 생성한다. 이를 통해 각 원시 단위는 학습 가능한 원시 임베딩을 가지게 되어, 해당 원시 단위의 형태 임베딩을 생성할 수 있다.
아키텍처
뉴럴 파츠는 재구성 품질과 원시 단위의 무결성을 균형 있게 조절해야 한다. 복잡한 원시 단위는 시스템을 복잡한 분해로 이끌기 때문이다. 따라서 뉴럴 파츠의 아키텍처는 이러한 상반된 고려를 우아하게 조절하기 위해 설계되었다.
뉴럴 파츠 아키텍처는 입력 벡터를 매핑하는 특징 추출기와 형태 임베딩에 의해 조건화되는 홈이오토피 매핑을 학습하는 조건부 홈이오토피 구성으로 구성된다.
특징 추출기의 초기 섹션은 ResNet-18 구성 요소를 사용하여 특징 이미지를 추출한다. 조건부 홈이오토피 구성 요소는 실제 값의 비 볼륨 보존 (실제 NVP) 변환 모듈을 사용한다.
평가
시스템은 세 가지 데이터셋 – 2017년의 다이나믹 FAUST (D-FAUST), FreiHAND (2019), 스탠퍼드 대학교의 인기 있는 2015년 ShapeNet – 에 대해 테스트되었다. D-FAUST에는 38,640개의 인간 중심 메시가 포함되어 있으며, 이는 비교에 적합했다. FreiHAND의 경우, 첫 5000개의 손 자세를 사용하여 메시를 생성했다. ShapeNet의 경우, 연구자들은 스탠퍼드 연구자들이 2016년에 제시한 것과 같은 카테고리별 훈련을 따랐다.
테스트는 슈퍼 쿼드릭스, CvxNet, H-SQs를 포함한 원시 단위 기반 방법에 대해 수행되었다.
ShapeNet에서, 연구자들은 뉴럴 파츠 모델이 5개 및 25개의 원시 단위 수준에서 CvxNet보다 더 정확한 재구성을 나타냈다. 데이터베이스의 일부 더 단순한 객체, 예를 들어 의자,는 의미 있는 분해를 위한 충분한 기하학적 특성이 없었다.
FreiHAND의 경우, 뉴럴 파츠는 더 기하학적으로 정확한 재구성을 나타냈으며, 엄지의 위치와 같은 세부 사항을 더 잘 포착했다. 연구자들은 CvxNet과 SQs가 일반적인 핵심 구조에 더 집중되어 있으며 이러한 세부 사항이 부족하다고 주목했다.
다이나믹 FAUST의 경우, CvxNet과 SQs는 초기에 데이터에서 추론된 인간 신체의 무결성을 포착하기 위해 5개의 원시 단위로 뉴럴 파츠의 출력과 비교되었다. 뉴럴 파츠는 기본적인 위상학을 희생하지 않고 더 매끄러운 세그멘테이션을 달성할 수 있었다.
미래 연구
연구자들은 대상 메시를 직접 제공하지 않는 연구에 뉴럴 파츠를 확장하기 위해 차별 가능한 렌더링 기술을 사용할 계획이다. 뉴럴 파츠 프레임워크에서 현재 사용되는 기본 원시 단위는 구이므로, 연구자들은 더 복잡하고 표현 가능한 기하학적 원시 단위를 사용하는 것을 고려하고 있다.
