컨벌루션 네트워크를 사용한 단일 뷰 3D 객체 재구성은 놀라운 기능을 보여주었습니다. 단일 뷰 3D 재구성 모델은 단일 이미지를 참조로 사용하여 모든 개체의 3D 모델을 생성하므로 컴퓨터 비전 연구에서 가장 인기 있는 주제 중 하나입니다. 

예를 들어 위 이미지의 오토바이를 생각해 보겠습니다. 3D 구조를 생성하려면 먼저 낮은 수준 이미지의 단서와 높은 수준의 의미 정보, 부품의 구조적 배열에 대한 지식을 결합하는 복잡한 파이프라인이 필요합니다. 

복잡한 프로세스로 인해 단일 뷰 3D 재구성은 컴퓨터 비전의 주요 과제였습니다. 단일 뷰 3D 재구성의 효율성을 높이기 위해 개발자는 개체의 초고속 단일 뷰 3D 형상 및 3D 외관 구성을 달성하는 것을 목표로 하는 방법인 Splatter Image를 개발했습니다. 기본적으로 Splatter Image 프레임워크는 Gaussian Splatter 방법을 사용하여 3D 표현을 분석하고 속도와 품질을 활용합니다. 

최근에는 실시간 렌더링, 향상된 스케일링 및 빠른 교육을 위해 수많은 다중 뷰 재구성 모델을 통해 Gaussian Splatting 방법이 구현되었습니다. 즉, Splatter Image는 단일 뷰 재구성 작업을 위해 Gaussian Splatting 방법을 구현하는 최초의 프레임워크입니다. 

이 기사에서는 Splatter Image 프레임워크가 Gaussian Splatter를 사용하여 초고속 단일 뷰 3D 재구성을 달성하는 방법을 살펴보겠습니다. 그럼 시작해 보겠습니다. 

스플래터 이미지: 초고속 단일 뷰 3D 재구성 시도

앞서 언급했듯이 Splatter Image는 Gaussian Splatter 방법을 기반으로 단일 뷰 3D 객체 재구성을 위한 초고속 접근 방식입니다. Splatter Image는 전통적으로 Gaussian Splatting이 다중 뷰 3D 객체 재구성 프레임워크를 지원해 온 이래 단안 3D 객체 생성을 위해 Gaussian Splatting을 구현한 최초의 컴퓨터 비전 프레임워크입니다. 그러나 Splatter Image 프레임워크가 이전 방법과 다른 점은 학습 기반 접근 방식이며 테스트에서 재구성에는 신경망의 피드포워드 평가만 필요하다는 것입니다. 

Splatter Image는 근본적으로 Gaussian Splatting의 렌더링 품질과 높은 처리 속도에 의존하여 생성됩니다. 3D 재구성. Splatter Image 프레임워크는 간단한 디자인을 특징으로 합니다. 프레임워크는 2D 이미지 간 신경망을 사용하여 입력 이미지 픽셀당 3D 가우스를 예측하고 입력 이미지를 픽셀당 하나의 3D 가우스에 매핑합니다. 결과 3D 가우시안은 스플래터 이미지(Splatter Image)로 알려진 이미지 형태를 가지며, 가우시안은 이미지의 360도 표현도 제공합니다. 프로세스는 다음 이미지에 설명되어 있습니다. 

프로세스는 간단하고 간단하지만 가우스 스플래팅을 사용하여 3D 가우스를 생성할 때 스플래터 이미지 프레임워크가 직면하는 몇 가지 주요 과제가 있습니다. 단일 뷰 3D 표현. 첫 번째 주요 장애물은 객체의 이미지를 입력으로 받아들이고 이미지의 모든 측면을 출력으로 나타내는 해당 가우스 혼합을 생성하는 신경망을 설계하는 것입니다. 이 문제를 해결하기 위해 Splatter Image는 생성된 가우스 혼합이 세트이거나 순서가 지정되지 않은 항목 모음임에도 불구하고 여전히 순서가 지정된 데이터 구조에 저장될 수 있다는 사실을 활용합니다. 따라서 프레임워크는 2D 이미지를 3D 가우스에 대한 컨테이너로 사용하며 그 결과 컨테이너의 각 픽셀에는 모양, 불투명도, 색상과 같은 속성을 포함하여 하나의 가우스 매개변수가 포함됩니다. 

Splatter Image 프레임워크는 이미지에 3D 가우스 세트를 저장함으로써 이미지 신경망을 학습할 때 직면하는 재구성 문제를 줄일 수 있습니다. 이 접근 방식을 사용하면 2D 연산자에 의존하는 대신 효율적인 3D 연산자를 활용해야만 재구성 프로세스를 구현할 수 있습니다. 또한 Splatter Image 프레임워크에서 3D 표현은 3D Gaussian의 혼합이므로 Gaussian Splatting이 제공하는 렌더링 속도와 메모리 효율성 이점을 활용하여 학습 및 추론의 효율성을 향상시킵니다. 계속해서 Splatter Image 프레임워크는 단일 뷰 3D 표현을 생성할 뿐만 아니라 표준 3D 개체 벤치마크에서 단일 GPU에서도 학습할 수 있으므로 놀라운 효율성을 보여줍니다. 또한 Splatter Image 프레임워크를 확장하여 여러 이미지를 입력으로 사용할 수 있습니다. 개별 가우스 혼합을 공통 참조에 등록한 다음 개별 뷰에서 예측된 가우스 혼합의 조합을 사용하여 이를 달성할 수 있습니다. 또한 프레임워크는 예측 중에 서로 다른 뷰가 서로 통신할 수 있도록 아키텍처에 경량 교차 주의 레이어를 주입합니다. 

경험적 관점에서 보면 Splatter Image 프레임워크가 객체의 한 면만 보더라도 객체를 360도 재구성할 수 있다는 점은 주목할 가치가 있습니다. 그런 다음 프레임워크는 2D 이미지에서 생성된 3도 정보를 코딩하기 위해 360D 개체의 여러 부분에 2D 환경의 다양한 가우스를 할당했습니다. 또한 프레임워크는 여러 가우시안의 불투명도를 XNUMX으로 설정하여 비활성화하므로 후처리 중에 제거할 수 있습니다. 

요약하면 Splatter Image 프레임워크는 다음과 같습니다.

1. Gaussian Splatting 접근 방식을 이식하여 단일 뷰 3D 개체 재구성을 생성하는 새로운 접근 방식입니다. 
2. 다중 뷰 3D 객체 재구성 방법을 확장합니다. 
3. 탁월한 속도와 품질로 표준 벤치마크에서 최첨단 3D 개체 재구성 성능을 달성합니다. 

스플래터 이미지 : 방법론 및 아키텍처

가우스 스플래팅

앞서 언급했듯이 Gaussian Splatter는 단일 보기 3D 개체 재구성을 생성하기 위해 Splatter Image 프레임워크에서 구현하는 기본 방법입니다. 가우시안 스플래팅(Gaussian Splatting)은 쉽게 말하면 3차원 영상을 실시간으로 재구성하고 다각도의 영상을 렌더링하기 위한 래스터화(rasterization) 방식이다. 영상 속 3D 공간을 가우시안(Gaussian)이라고 하며, 각 가우시안의 매개변수를 학습하기 위해 머신러닝 기법이 구현된다. Gaussian Splatting은 렌더링 시간을 단축하기 위해 렌더링 중에 훈련이 필요하지 않습니다. 다음 이미지는 3D Gaussian Splatting의 아키텍처를 요약합니다. 

3D Gaussian Splatting은 먼저 입력 이미지 세트를 사용하여 포인트 클라우드를 생성합니다. 그런 다음 Gaussian Splatting은 입력 이미지를 사용하여 이미지 간의 픽셀을 일치시켜 기울기 및 위치와 같은 카메라의 외부 매개변수를 추정한 다음 이러한 매개변수를 사용하여 포인트 클라우드를 계산합니다. Gaussian Splatting은 다양한 기계 학습 방법을 사용하여 각 가우스에 대해 위치(위치), 공분산(3×3 행렬의 확장 또는 크기 조정 범위), 색상(RGB 색 구성표) 등 3가지 매개변수를 최적화합니다. 및 알파(투명도 측정). 최적화 프로세스는 각 카메라 위치에 대한 이미지를 렌더링하고 이를 사용하여 원본 이미지에 더 가까운 매개변수를 결정합니다. 결과적으로 생성된 XNUMXD Gaussian Splatter 출력은 캡처된 카메라 위치에서 원본 이미지와 가장 유사한 Splatter Image라는 이미지입니다. 

또한 Gaussian Splatting의 불투명도 기능과 색상 기능은 3D 포인트의 시선 방향에 따라 복사 필드를 제공합니다. 그런 다음 프레임워크는 픽셀을 통과하는 광선을 따라 관찰된 색상을 통합하여 복사 필드를 이미지에 렌더링합니다. Gaussian Splatting은 이러한 함수를 가우스 공분산과 함께 가우스 평균 또는 중심이 모양과 크기를 결정하는 데 도움이 되는 컬러 가우스 조합으로 나타냅니다. 각 가우시안에는 불투명도 속성과 광도 필드를 함께 정의하는 뷰 종속 색상 속성도 있습니다. 

스플래터 이미지

렌더러 구성 요소는 3D 가우시안 세트를 이미지에 매핑합니다. 단일 뷰 3D 재구성을 수행하기 위해 프레임워크는 이미지에서 3D 가우스 혼합을 재구성하는 3D 가우스에 대한 역함수를 찾습니다. 여기에 포함된 핵심은 역함수에 대한 효과적이고 단순한 디자인을 제안하는 것입니다. 특히, 입력 이미지의 경우 프레임워크는 이미지 간 신경망 아키텍처를 사용하여 각 개별 픽셀에 대한 가우스를 예측하여 스플래터 이미지(Splatter Image)라는 이미지를 출력합니다. 네트워크는 모양, 불투명도, 색상도 예측합니다. 

이제 Splatter Image 프레임워크가 어떻게 작동할 수 있는지 추측할 수 있습니다. 3D 표현 재구성 뷰 중 하나만 액세스할 수 있음에도 불구하고 객체에 대해 어떻게 생각하시나요? 실시간으로 Splatter Image 프레임워크는 사용 가능한 가우시안 중 일부를 사용하여 뷰를 재구성하고 나머지 가우시안을 사용하여 이미지의 보이지 않는 부분을 자동으로 재구성하는 방법을 학습합니다. 효율성을 극대화하기 위해 프레임워크는 불투명도가 0인지 예측하여 모든 가우스를 자동으로 끌 수 있습니다. 불투명도가 0이면 가우시안이 꺼지고 프레임워크는 이러한 점을 렌더링하지 않고 대신 후처리에서 선별됩니다. 

이미지 레벨 손실

Splatter Gaussian 방법이 제공하는 속도와 효율성을 활용하는 주요 이점은 배치 크기가 비교적 큰 배치의 경우에도 프레임워크가 각 반복에서 모든 이미지를 렌더링할 수 있다는 것입니다. 또한 이는 프레임워크가 분해 가능한 손실을 사용할 수 있을 뿐만 아니라 픽셀당 손실로 분해되지 않는 이미지 수준 손실도 사용할 수 있음을 의미합니다. 

스케일 정규화

단일 뷰를 보고 객체의 크기를 추정하는 것은 어렵고, 손실을 가지고 학습할 때 이러한 모호성을 해결하는 것도 어려운 작업입니다. 모든 객체가 동일한 카메라 내장 기능으로 렌더링되고 객체가 카메라로부터 고정된 거리에 있기 때문에 합성 데이터세트에서는 동일한 문제가 관찰되지 않습니다. 이는 궁극적으로 모호성을 해결하는 데 도움이 됩니다. 그러나 실제 이미지가 포함된 데이터 세트에서는 모호함이 매우 분명하며 Splatter Image 프레임워크는 여러 전처리 방법을 사용하여 모든 개체의 크기를 대략적으로 고정합니다. 

종속 색상 보기

뷰 종속 색상을 표현하기 위해 Splatter Image 프레임워크는 구형 조화를 사용하여 Lambertian 색상 모델 이상의 색상을 일반화합니다. 특정 가우스에 대해 모델은 네트워크와 구면 고조파에 의해 예측되는 계수를 정의합니다. 시점 변경은 카메라 소스의 보기 방향을 기준 프레임의 해당 보기 방향으로 변환합니다. 그런 다음 모델은 변환된 색상 함수를 찾기 위해 해당 계수를 찾습니다. 회전할 때 구면 고조파가 다른 모든 차수와 함께 닫히기 때문에 모델이 그렇게 할 수 있습니다. 

신경망 아키텍처

입력 이미지를 가우시안 조합으로 매핑하는 예측기 아키텍처의 대부분은 SongUNet 프레임워크에서 사용되는 프로세스와 동일합니다. 아키텍처의 마지막 레이어는 출력 채널의 너비를 결정하는 색상 모델이 있는 1×1 컨볼루셔널 레이어로 대체됩니다. 입력 이미지가 주어지면 네트워크는 출력 채널 텐서를 출력으로 생성하고 각 픽셀 채널에 대해 오프셋, 불투명도, 회전, 깊이 및 색상으로 변환되는 매개변수를 코딩합니다. 그런 다음 프레임워크는 비선형 함수를 사용하여 매개변수를 활성화하고 가우스 매개변수를 얻습니다. 

다중 뷰로 3D 표현을 재구성하기 위해 Splatter Image 프레임워크는 각 입력 뷰에 동일한 네트워크를 적용한 다음 시점 접근 방식을 사용하여 개별 재구성을 결합합니다. 또한 네트워크의 뷰 간의 효율적인 조정 및 정보 교환을 용이하게 하기 위해 Splatter Image 프레임워크는 네트워크에서 두 가지 수정을 수행합니다. 첫째, 프레임워크는 해당 카메라 포즈로 모델을 조절하고 정현파 위치 임베딩을 사용하여 각 항목을 인코딩하여 벡터를 전달하여 다차원을 생성합니다. 둘째, 프레임워크는 교차 주의 레이어를 추가하여 서로 다른 뷰의 기능 간의 통신을 용이하게 합니다. 

스플래터 이미지 : 실험 및 결과

Splatter Image 프레임워크는 프레임워크가 소스 뷰를 사용하고 재구성을 수행하기 위해 보이지 않는 뷰를 대상으로 3D 모양을 렌더링하기 때문에 새로운 뷰 합성 품질을 평가하여 재구성 품질을 측정합니다. 프레임워크는 SSIM(구조적 유사성), 피크 신호 ​​대 잡음비(PSNR), 인지 품질(LPIPS) 점수를 측정하여 성능을 평가합니다. 

싱글뷰 3D 재구성 성능

다음 표는 ShapeNet 벤치마크의 단일 뷰 3D 재구성 작업에서 Splatter Image 모델의 성능을 보여줍니다. 

관찰할 수 있듯이 Splatter Image 프레임워크는 LPIPS 및 SSIM 점수 전체에서 모든 결정론적 재구성 방법보다 성능이 뛰어납니다. 점수는 Splatter Image 모델이 더 선명하게 재구성된 이미지를 생성한다는 것을 나타냅니다. 또한 Splatter Image 모델은 생성된 재구성이 더 정확하다는 것을 나타내는 PSNR 점수 측면에서 모든 결정적 기준선보다 성능이 뛰어납니다. 또한 모든 결정론적 방법보다 뛰어난 성능을 발휘하는 것 외에도 Splatter Image 프레임워크는 교육 및 테스트 단계 모두에서 효율성을 높이기 위해 상대적인 카메라 포즈만 필요합니다. 

다음 이미지는 Splatter Image 프레임워크의 질적 우수성을 보여 주며, 볼 수 있듯이 모델은 얇고 흥미로운 형상으로 재구성을 생성하고 조건 조정 뷰의 세부 정보를 캡처합니다. 

다음 이미지는 Splatter Image 프레임워크에 의해 생성된 재구성이 특히 얇은 구조와 가시성이 제한된 색다른 조건에서 이전 모델보다 더 선명할 뿐만 아니라 정확도도 더 높다는 것을 보여줍니다. 

멀티뷰 3D 재구성

다중 뷰 3D 재구성 기능을 평가하기 위해 Splatter Image 프레임워크는 두 뷰 예측을 위해 SpaneNet-SRN Cars 데이터세트에서 교육되었습니다. 기존 방법은 다중 뷰 3D 재구성 작업을 위해 절대 카메라 자세 조건을 사용합니다. 이는 모델이 객체의 표준 방향에 주로 의존하는 방법을 학습한다는 의미입니다. 작업을 수행하기는 하지만 객체의 새로운 이미지에 대해 절대적인 카메라 포즈를 알 수 없는 경우가 많기 때문에 모델의 적용 가능성이 제한됩니다. 

최종 생각

이 기사에서는 물체의 초고속 단일 뷰 3D 형상 및 3D 외관 구성을 달성하는 것을 목표로 하는 방법인 Splatter Image에 대해 설명했습니다. 기본적으로 Splatter Image 프레임워크는 Gaussian Splatter 방법을 사용하여 3D 표현을 분석하고 속도와 품질을 활용합니다. Splatter Image 프레임워크는 기성 2D CNN 아키텍처를 사용하여 이미지를 처리하여 모든 픽셀당 하나의 컬러 가우스를 포함하는 의사 이미지를 예측합니다. Gaussian Splatting 방법을 사용함으로써 Splatter Image 프레임워크는 빠른 렌더링과 빠른 추론을 결합하여 실제 벤치마크와 합성 벤치마크에 대한 빠른 교육과 빠른 평가를 가능하게 합니다.