์ธ๊ณต์ง๋ฅ
์ค์๊ฐ AI ์ธ๊ฐ์ ์ํ ๋ด๋ด ๋ฃจ๋ฏธ๊ทธ๋ํ ๋ ๋๋ง
현재 뉴럴 라디언스 필드(NeRF)에 대한 관심이 높아지고 있지만, 이 기술은 여전히 많은 훈련 시간이 필요하며 실시간으로 반응하는 인터페이스를 구현할 수 없습니다. 그러나 산업과 학계의 몇몇 인물들이 협력하여 새로운 접근 방식을 제시했습니다. 이 연구는 약 두 배의 성능 개선을 보여주며, 이는 실시간 CG 렌더링을 위한 중요한 단계입니다.
뉴럴 루미그래프 렌더링(오른쪽)은 이전 방법보다 블렌딩 아티팩트를 더 잘 처리하며 오브젝트의 처리도 개선되었습니다. 출처.
이 연구는 스탠퍼드 대학교와 홀로그래픽 디스플레이 기술 회사인 Raxium의 이름으로 발표되었습니다. 그러나 기여자는 구글의 머신 러닝 아키텍트, 어도비의 컴퓨터 과학자, 스토리파일의 CTO 등입니다. 스토리파일은 최근 윌리엄 샤트너의 AI 버전을 제작하여 주목을 받았습니다.
신규 뷰 합성 인터페이스 및 비디오를 위한 볼륨 캡처
볼륨 캡처의 원리는 여러 카메라로 촬영한 이미지나 비디오를 사용하여 기존의 카메라 배열로 커버되지 않은 뷰를 머신 러닝으로 채우는 것입니다.
출처: https://research.fb.com/wp-content/uploads/2019/06/Neural-Volumes-Learning-Dynamic-Renderable-Volumes-from-Images.pdf
이미지에서 볼 수 있듯이, 볼륨 캡처는 여러 단계로 구성됩니다. 여러 카메라로 촬영한 이미지나 비디오를 얻은 후, 인코더/디코더 아키텍처를 사용하여 뷰의 상대적인 위치를 계산하고 연결합니다. 그다음, 레이 마칭 알고리즘을 사용하여 볼륨 공간의 각 점의 XYZ 공간 기하학적 단위를 계산합니다. 마지막으로, 완전한 엔티티를 합성하기 위해 훈련을 수행합니다.
볼륨 이미지 합성의 부상
한정된 사진 시리즈에서 3D 엔티티를 생성하는 뉴럴 네트워크의 아이디어는 NeRF 이전부터 존재했습니다. 2019년 페이스북의 AI 연구 부서는 신경 볼륨을 학습하여 동적 렌더링 가능한 볼륨을 생성하는 연구를 발표했습니다.
페이스북의 2019년 연구는 사용자에 의해 구동되는 볼륨틱 인을 생성하기 위한 반응형 사용자 인터페이스를 가능하게 했습니다. 출처: https://research.fb.com/publications/neural-volumes-learning-dynamic-renderable-volumes-from-images/
