실시간 AI 인간을 위한 신경망 루미그래프 렌더링

현재 뉴럴 라디언스 필드(NeRF)에 대한 관심이 높아지고 있지만, 이 기술은 여전히 많은 훈련 시간이 필요하고, 실시간、高반응 인터페이스를 구현할 수 없습니다.

그러나 산업과 학계의 몇몇 인물들이 협력하여 새로운 접근 방식을 제시했습니다. 이 새로운 접근 방식은 Novel View Synthesis(NVS)라고 불리며, 기존의 기술보다 두 가지 정도 더 나은 성능을 보입니다.

연구 논문 Neural Lumigraph Rendering은 기존 기술보다 약 두 배 정도 더 나은 성능을 보이며, 실시간 컴퓨터 그래픽스 렌더링을 위한 기초를 마련했습니다.

신경망 루미그래프 렌더링은 이전 방법보다 블렌딩 아티팩트를 더 잘 처리하고, 오CLUSION을 더 잘 처리합니다. 출처: https://www.youtube.com/watch?v=maVF-7×9644

이 논문은 스탠퍼드 대학교와 홀로그래픽 디스플레이 기술 회사 Raxium의 협력으로 작성되었습니다. 이 논문에는 구글의 머신 러닝 아키텍트, 어도비의 컴퓨터 과학자, 스토리파일의 CTO 등이 기여했습니다.

스토리파일은 최근 윌리엄 샤트너의 AI 버전을 만들면서 헤드라인을 장식했습니다. 이 회사는 신경망 루미그래프 렌더링을 사용하여 개인의 특성과 내러티브를 기반으로 한 인터랙티브 AI 엔티티를 생성하는 새로운 프로세스를 개발했습니다.

스토리파일은 이 기술을 박물관 전시, 온라인 인터랙티브 내러티브, 홀로그래픽 디스플레이, 증강 현실, 유산 문서화 등에 사용할 계획입니다. 또한 이 회사는 채용 면접과 가상 데이트 애플리케이션 등에 대한 잠재적인 새로운 적용을 연구하고 있습니다.

스토리파일의 온라인 비디오에서 제안된 사용법. 출처: https://www.youtube.com/watch?v=2K9J6q5DqRc

신경망 루미그래프 렌더링을 위한 볼륨 캡처

볼륨 캡처의 원리는 기존의 논문에서 다루어졌으며, 이는 기존의 카메라 배열에서 취한 이미지나 비디오를 사용하여 기계 학습을 통해 보충되지 않은 관점을 채우는 것입니다.

출처: https://research.fb.com/wp-content/uploads/2019/06/Neural-Volumes-Learning-Dynamic-Renderable-Volumes-from-Images.pdf

위의 이미지에서 볼 수 있듯이, 볼륨 캡처는 네 가지 단계로 구성됩니다. 첫째, 여러 카메라에서 이미지나 비디오를 얻습니다. 둘째, 인코더/디코더 아키텍처를 사용하여 관점의 상대성을 계산하고 연결합니다. 셋째, 레이 마칭 알고리즘을 사용하여 볼륨 공간의 각 점의 보クセ르를 계산합니다. 마지막으로, 훈련을 통해 완전한 엔티티를 합성합니다.

이러한 훈련 단계는 현재까지 실시간 또는 높은 반응성의 캡처를 방해했습니다.

신경망 루미그래프 렌더링은 기존의 기술보다 더 나은 성능을 보이며, 실시간 컴퓨터 그래픽스 렌더링을 위한 기초를 마련했습니다.

신경망 루미그래프 렌더링은 SIREN(Sinusoidal Representation Networks)을 사용하여 기존의 기술의 강점을 결합하여 실시간 그래픽스 파이프라인에서 직접 사용할 수 있는 출력을 생성합니다.

SIREN은 이전에 유사한 구현에서 사용되었습니다. 그러나 신경망 루미그래프 렌더링은 SIREN을 2차원 다중 관점 이미지 감시로 적용하여 이전의 기술보다 더 나은 성능을 보입니다.

결과적으로 생성된 메시는 기존의 기술보다 더 일반화되고 대표적이며, 계산이 적고, 부드러운 피부와 같은 영역에 과도한 세부 사항을 적용하지 않습니다.

출처: https://arxiv.org/pdf/2103.11571.pdf

그러나 신경망 루미그래프 렌더링은 아직 동적 조명이나 재조명 기능이 없습니다. 또한 출력은 캡처 시점의 섀도우 맵과 조명 고려 사항으로 제한됩니다. 연구자들은 향후 이러한 문제를 해결할 계획입니다.

볼륨 이미지 합성의 부상

신경망을 사용하여 3D 엔티티를 생성하는 아이디어는 NeRF 이전에 존재했습니다. 2019년 페이스북의 AI 연구 부서는 신경망 볼륨: 이미지에서 동적 렌더링 볼륨 학습이라는 연구 논문을 발표하여 머신 러닝 기반의 볼륨 캡처를 통해 합성된 인간에 대한 반응형 인터페이스를 가능하게 했습니다.

페이스북의 2019년 연구는 볼륨 캡처를 통해 생성된 인간에 대한 반응형 인터페이스를 가능하게 했습니다. 출처: https://research.fb.com/publications/neural-volumes-learning-dynamic-renderable-volumes-from-images/