AI 모델 및 플랫폼
제로123++: 단일 이미지에서 일관된 다중뷰 확산 베이스 모델로

핵심 포인트Zero123++는 3D 일관성을 보장하기 위해 6개의 뷰를 하나의 이미지로 타일링하여 다중 뷰 생성을 수행합니다.
더 보기
- Zero123++는 3D 일관성을 보장하기 위해 6개의 뷰를 하나의 이미지로 타일링하여 다중 뷰 생성을 수행합니다.
- 단일 입력 이미지의 지역적 질감을 보존하기 위해 스케일 조정 참조 어텐션 메커니즘을 도입했습니다.
- 전체 구조를 개선하기 위해 기존의 스케일-선형 노이즈 스케줄 대신 선형 노이즈 스케줄을 사용합니다.
최근 몇 년 동안 새로운 AI 생성 모델의 성능, 효율성, 생성 능력이 급격히 발전했습니다. 이러한 모델은 광범위한 데이터셋과 2D 확산 생성 기술을 활용하여 텍스트, 이미지, 비디오, GIF 등 다양한 형태의 2D 미디어와, 어느 정도는 3D 미디어 콘텐츠를 생성할 수 있습니다.
이번 글에서는 제로123++ 프레임워크에 대해 논의하겠습니다. 제로123++는 단일 이미지 입력을 사용하여 3D 일관된 다중뷰 이미지를 생성하는 이미지 조건부 확산 생성 AI 모델입니다. 제로123++ 프레임워크는 이전에 학습된 생성 모델의 이점을 최대한 활용하기 위해 다양한 훈련 및 조건화 기법을 구현하여 오프-더-셸프 확산 이미지 모델에서 미세 조정을 하는데 필요한 노력을 최소화합니다. 우리는 제로123++ 프레임워크의 아키텍처, 작동 방식, 결과 및 성능 비교를 더 깊이 분석하고, 단일 이미지에서 높은 품질의 일관된 다중뷰 이미지를 생성하는 능력을 분석하겠습니다. 시작해 보겠습니다.
제로123 및 제로123++: 소개
제로123++ 프레임워크는 단일 이미지 입력을 사용하여 3D 일관된 다중뷰 이미지를 생성하는 이미지 조건부 확산 생성 AI 모델입니다. 제로123++는 제로123 또는 제로-1-투-3 프레임워크의 연장선상에 있으며, 오픈소스 단일 이미지-3D 변환을 위한 제로샷 신규 시점 이미지 합성 기술을 활용합니다. 제로123++ 프레임워크는 유망한 성능을 제공하지만, 생성된 이미지에는 기하학적 불일치가 존재하며, 이는 3D 장면과 다중뷰 이미지 간의 간격을 유지하는 주요 이유입니다.
제로-1-투-3 프레임워크는 SyncDreamer, One-2-3-45, Consistent123 등의 기반입니다. 이들은 제로123에 추가 계층을 더해 3D 이미지 생성의 일관성을 높입니다. ProlificDreamer, DreamFusion, DreamGaussian 등은 여러 불일치한 결과에서 3D 표현을 증류하는 최적화 기반 접근법을 사용합니다. 이러한 기술은 효과적이지만, 다중뷰 이미지 생성을 일관되게 생성할 수 있는 확산 베이스 모델을 구현하면 결과를 개선할 수 있습니다. 따라서 제로123++ 프레임워크는 제로-1-투-3와 함께 새로운 다중뷰 베이스 확산 모델을 스테이블 확산에서 미세 조정합니다.
제로-1-투-3 프레임워크에서 각 새로운 뷰는 독립적으로 생성되며, 이는 확산 모델의 샘플링 특성으로 인해 일관성이 없는 뷰를 생성하는 문제를 초래합니다. 이를 해결하기 위해 제로123++ 프레임워크는 6개의 뷰를 단일 이미지로 결합하여 다중뷰 생성을 위한 올바른 모델링을 제공하는 타일 레이아웃 접근 방식을 채택합니다.
제로-1-투-3를 사용하는 개발자들이 겪는 또 다른 문제는 Stable Diffusion의 역량을 충분히 활용하지 못해 비효율과 추가 비용이 발생한다는 점입니다. 원문은 두 가지 이유를 제시합니다.
- 이미지 조건을 사용한 훈련에서 Stable Diffusion이 제공하는 로컬 및 전역 조건화 메커니즘을 효과적으로 통합하지 못합니다.
- 훈련 해상도보다 낮은 출력 해상도를 사용하는 방식이 Stable Diffusion 모델의 이미지 생성 품질을 떨어뜨릴 수 있습니다.
이를 해결하기 위해 제로123++는 Stable Diffusion의 자원을 최대한 활용하면서 이미지 생성 품질을 유지하는 여러 조건화 기법을 도입합니다.
조건화 및 일관성 개선
이미지 조건화 및 다중뷰 이미지 일관성을 개선하기 위해 제로123++ 프레임워크는 다양한 기법을 구현했습니다. 이러한 기법의 주요 목표는 이전에 학습된 스테이블 확산 모델의 기술을 재사용하는 것입니다.
다중뷰 생성
일관된 다중뷰 이미지를 생성하는 데 필요한 중요한 특성은 여러 이미지의 결합 확률분포를 올바르게 모델링하는 것입니다. 제로-1-투-3 프레임워크에서는 다중뷰 이미지 간의 상관관계를 무시합니다. 각 이미지의 조건부 주변분포를 독립적으로 모델링하며, 제로123++ 프레임워크에서는 6개의 이미지를 단일 프레임으로 결합하여 일관된 다중뷰 생성을 제공합니다.

또한, 객체의 방향이 카메라 포즈를 훈련할 때 모호해질 수 있다는 사실이 발견되었습니다. 이를 방지하기 위해 제로-1-투-3 프레임워크는 카메라 포즈를 입력 시점에 대한 고도각과 상대 방위각을 사용해 훈련합니다. 이러한 접근 방식을 구현하려면 입력 뷰의 높이각을 알아야 합니다. 입력 고도각으로 신규 시점과 입력 시점 사이의 상대 포즈를 결정합니다. 이 각도를 알아내려고 고도각 추정 모듈을 추가하는 경우가 많지만, 그 과정에서 파이프라인에 추가 오차가 생길 수 있습니다.
노이즈 스케줄
스케일-선형 스케줄, 스테이블 확산의 원래 노이즈 스케줄은 주로 국소적인 세부 사항에 중점을 두고 있습니다. 그러나 다음 이미지를 보면, 낮은 SNR(신호 대 노이즈 비율)을 갖는 단계가 매우 적다는 것을 알 수 있습니다.

이러한 낮은 SNR 단계는 디노이즈링 단계 초기에 발생하며, 이는 전역적인 저주파수 구조를 결정하는 데 중요한 단계입니다. 디노이즈링 단계 또는 훈련 중에 이러한 단계의 수를 줄이면 구조적 변동이 커질 수 있습니다. 이러한 설정은 단일 이미지 생성에 적합하지만, 다른 뷰 간의 전역 일관성을 보장하는 프레임워크의 능력을 제한합니다. 이를 극복하기 위해 제로123++ 프레임워크는 스테이블 확산 2 v-예측 프레임워크에서 LoRA 모델을 미세 조정하여 단순화된 실험 과제를 수행하며, 결과는 아래와 같습니다.

스케일-선형 노이즈 스케줄을 사용하면 LoRA 모델이 과적합되지 않으며, 이미지를 약간 밝게 만듭니다. 반면에 선형 노이즈 스케줄을 사용하면 LoRA 프레임워크가 입력 프롬프트에 관계없이 빈 이미지를 성공적으로 생성합니다. 이는 노이즈 스케줄이 프레임워크가 새로운 요구 사항에 적응하는 능력에 미치는 영향을 나타냅니다.
로컬 조건에 대한 스케일 참조 어텐션
제로-1-투-3 프레임워크에서 단일 뷰 입력 또는 조건 이미지는 피처 차원에서 노이즈 입력과 결합되어 이미지 조건화를 위해 노이즈됩니다.
이 결합은 대상 이미지와 입력 간에 픽셀 단위의 공간적 상관관계가 올바르지 않게 만듭니다. 제로123++ 프레임워크는 참조 어텐션 접근 방식을 사용하여 올바른 로컬 조건 입력을 제공합니다. 이 접근 방식에서는 디노이즈링 UNet 모델을 참조 이미지에서 실행한 다음, 참조 이미지에서 값 행렬과 셀프 어텐션 키를 모델 입력의 디노이즈링 시에 해당 어텐션 레이어에 추가합니다.

참조 어텐션 접근 방식은 미세 조정 없이 참조 이미지와 유사한 텍스처를 갖는 이미지와 의미적 콘텐츠를 생성하는 데 도움이 됩니다. 미세 조정을 거치고 잠재 표현을 스케일링하면 참조 어텐션이 더 우수한 결과를 냅니다.

전역 조건: 플렉스 디퓨즈
원래 스테이블 확산 접근 방식에서는 텍스트 임베딩이 전역 임베딩의 유일한 출처이며, CLIP 프레임워크를 사용하여 텍스트 임베딩과 모델 잠재 변수 간의 교차 어텐션을 수행합니다. 원문은 이를 cross-examinations라고 표현하지만, 이 문맥에서는 교차 어텐션을 뜻합니다. 따라서 개발자는 텍스트 공간과 CLIP 이미지 간의 정렬을 사용하여 전역 이미지 조건화를 수행할 수 있습니다.
제로123++ 프레임워크는 전역 이미지 조건화를 프레임워크에 통합하기 위해 최소한의 미세 조정만 필요한 훈련 가능한 선형 가이드 메커니즘을 제안합니다. 다음 이미지는 이를 보여줍니다. 전역 이미지 조건화가 없는 경우, 프레임워크가 생성하는 콘텐츠의 품질은 입력 이미지에 해당하는 가시적 영역에서 만족스럽지만, 보이지 않는 영역의 품질은 전역적 의미를 추론하지 못하는 모델의 능력으로 인해 크게 저하됩니다.

모델 아키텍처
제로123++ 프레임워크는 스테이블 확산 2v-모델을 기반으로 다양한 접근 방식과 기술을 사용하여 훈련됩니다. 제로123++ 프레임워크는 랜덤 HDRI 조명을 사용하여 렌더링된 Objaverse 데이터셋에서 사전 학습됩니다. 또한 스테이블 확산 이미지 변형 프레임워크에서 사용되는 훈련 일정 접근 방식을 채택하여 미세 조정을 최소화하고 이전 스테이블 확산에서 가능한 많은 것을 보존합니다.
제로123++ 프레임워크의 작동 또는 아키텍처는 순차적인 단계 또는 훈련 일정으로 나눌 수 있습니다. 첫 단계에서는 Stable Diffusion의 교차 어텐션 및 셀프 어텐션 계층의 KV 행렬을 미세 조정합니다. 최적화기로 AdamW를 사용하고, 워밍업 1,000단계와 최대 학습률 7×10^-5의 코사인 학습률 스케줄을 적용합니다. 두 번째 단계에서는 매우 보수적인 고정 학습률, 워밍업 2,000단계, 학습 효율을 높이는 Min-SNR 접근법을 사용합니다.
제로123++: 결과 및 성능 비교
질적 성능
제로123++ 프레임워크의 성능을 평가하기 위해, 우리는 SyncDreamer와 제로-1-투-3-XL과 같은 최첨단 프레임워크와 비교합니다. 프레임워크는 다른 범위의 네 개의 입력 이미지와 비교됩니다. 첫 번째 이미지는 Objaverse 데이터셋에서 가져온 전기 장난감 고양이이며, 객체의 뒤쪽에 큰 불확실성이 있습니다. 두 번째 이미지는 소화기 이미지이고, 세 번째 이미지는 SDXL 모델로 생성된 개가 로켓 위에 앉아 있는 이미지입니다. 마지막 이미지는 애니메이션 일러스트레이션입니다. 필요한 고도각은 One-2-3-4-5의 고도각 추정 방식으로 구하고, 배경은 SAM으로 제거합니다. 결과에서 제로123++는 고품질 다중 시점 이미지를 일관되게 생성하며, 훈련 분포 밖의 2D 일러스트레이션과 AI 생성 이미지에도 잘 일반화됩니다.


양적 분석
제로123++ 프레임워크를 양적으로 평가하기 위해, 우리는 Objaverse 데이터셋의 검증 분할 데이터에서 Zero-1-투-3 및 Zero-1-투-3 XL 프레임워크와 비교합니다. 다중뷰 이미지 생성 성능을 평가하기 위해, 우리는 정답 참조 이미지와 6개의 생성된 이미지를 각각 타일링하고, 학습된 지각적 이미지 패치 유사도(LPIPS) 점수를 계산합니다. 아래 결과에서 제로123++는 검증 분할에서 가장 좋은 성능을 보입니다.

텍스트-다중뷰 평가
제로123++ 프레임워크의 텍스트-다중뷰 콘텐츠 생성 능력을 평가하기 위해, 우리는 먼저 SDXL 프레임워크를 사용하여 텍스트 프롬프트로 이미지를 생성한 다음, 제로123++ 프레임워크를 생성된 이미지에 적용합니다. 일관된 다중 시점 생성을 보장하지 못하는 제로-1-투-3와 달리, 제로123++는 텍스트→이미지→다중 시점 파이프라인으로 일관되고 사실적이며 매우 상세한 다중 시점 이미지를 생성합니다.

제로123++ 깊이 컨트롤넷
제로123++ 프레임워크 외에도, 개발자들은 제로123++ 깊이 컨트롤넷을 출시했습니다. 이는 제로123++의 깊이 제어 버전으로, 컨트롤넷 아키텍처를 사용하여 구축되었습니다. 정규화된 선형 이미지는 후속 RGB 이미지와 함께 렌더링되며, 컨트롤넷 프레임워크는 제로123++ 프레임워크의 기하학을 제어하기 위해 깊이 인식을 사용하여 훈련됩니다.

결론
이번 글에서는 제로123++, 즉 단일 이미지 입력을 사용하여 3D 일관된 다중뷰 이미지를 생성하는 이미지 조건부 확산 생성 AI 모델에 대해 논의했습니다. 이전에 학습된 생성 모델의 이점을 최대한 활용하기 위해, 제로123++ 프레임워크는 다양한 훈련 및 조건화 기법을 구현하여 오프-더-셸프 확산 이미지 모델에서 미세 조정을 하는데 필요한 노력을 최소화합니다. 우리는 제로123++ 프레임워크의 아키텍처, 작동 방식, 결과 및 성능 비교를 분석하고, 단일 이미지에서 높은 품질의 일관된 다중뷰 이미지를 생성하는 능력을 분석했습니다.
그러나, 제로123++ 프레임워크는 효율성과 높은 품질의 다중뷰 이미지를 생성하는 능력에도 불구하고, 여전히 개선할 수 있는 여지가 있습니다. 이러한 개선의 잠재적인 영역에는 제로123++의 일관성 요구 사항을 충족하지 못하는 문제를 해결할 수 있는 2단계 리파인 모델이 포함될 수 있습니다. 또한, 제로123++의 이미지 생성 품질을 더욱 향상시키기 위한 추가적인 확장도 포함될 수 있습니다.
- 2단계 리파인 모델은 제로123++의 일관성 요구 사항을 충족하지 못하는 문제를 해결할 수 있습니다.
- 추가적인 확장은 제로123++의 이미지 생성 품질을 더욱 향상시킬 수 있습니다.












