제너레이티브 AI 모델은 오랜 시간 동안 AI 산업에서 논의되는 주제였다. 2D 제너레이티브 모델의 최근 성공은 오늘날 시각적 콘텐츠를 생성하는 방법에 대한 길을 열어주었다. 2D 제너레이티브 모델에서 놀라운 성공을 거두었음에도 불구하고, 3D 콘텐츠를 생성하는 것은 여전히 깊은 제너레이티브 AI 프레임워크에 대한 주요 도전이다. 특히 시각 게임, 애플리케이션, 가상 현실, 그리고 영화를 포함한 다양한 분야에서 3D 생성 콘텐츠에 대한 수요가 전례 없는 수준으로 증가하고 있기 때문이다. 3D 제너레이티브 AI 프레임워크가 특정 범주와 작업에서 수용할 만한 결과를 제공하는 반면, 효율적으로 3D 객체를 생성하는 데에는 여전히 한계가 있다. 이러한 부족은 이러한 프레임워크를 훈련하는 데 사용할 수 있는 광범위한 3D 데이터가 부족하기 때문이다. 최근 개발자들은 사전 훈련된 텍스트-이미지 제너레이티브 모델의 지침을 활용하는 접근 방식을 제안했으며, 이는 유망한 결과를 보여주었다.

이 기사에서는 계층적 3D 콘텐츠 생성을 위한 DreamCraft3D 프레임워크에 대해 논의할 것이다. DreamCraft3D 프레임워크는 2D 참조 이미지를 사용하여 기하학적 조각 단계를 안내하고, 일관성 문제를 해결하기 위해 텍스처를 강화하는 고해상도 3D 객체를 생성한다. 또한 DreamCraft3D 프레임워크는 조감도 의존성 확산 모델을 사용하여 기하학적 조각에 기여하는 일관된 렌더링을 구현한다.

DreamCraft3D 프레임워크를 자세히 살펴보겠다. 또한 3D 콘텐츠 생성을 위한 사전 훈련된 텍스트-이미지(T2I) 모델을 활용하는 개념과 DreamCraft3D 프레임워크가 이 접근 방식을 사용하여 현실적인 3D 콘텐츠를 생성하는 방법을 살펴볼 것이다.

DreamCraft3D: 소개

DreamCraft3D는 3D 콘텐츠 생성을 위한 계층적 파이프라인이다. DreamCraft3D 프레임워크는 텍스트 프롬프트를 사용하여 고해상도 2D 이미지를 생성하기 위해 최신 T2I 또는 텍스트-이미지 제너레이티브 프레임워크를 활용한다. 이 접근 방식은 DreamCraft3D 프레임워크가 텍스트 프롬프트에 설명된 시각적 의미를 나타내는 최신 2D 확산 모델의 기능을 최대화하는 동시에 이러한 2D AI 제너레이티브 프레임워크가 제공하는 창의적 자유를 유지할 수 있도록 한다. 생성된 이미지는 이후 기하학적 텍스처 강화와 기하학적 조각 단계를 통해 3D로 변환되며, 각 단계에서 문제를 분해하여 전문 기술을 적용한다.

DreamCraft3D 프레임워크는 기하학적 조각에 중점을 두어 전역 3D 구조와 다중 뷰 일관성을 강조하며, 이는 이미지의 세부 텍스처를妥协하는 공간을 만든다. 기하학적 문제가 해결되면 프레임워크는 일관된 실제 텍스처를 최적화하는 데 중점을 둔다. 기하학적 조각과 텍스처 강화의 두 최적화 단계에는 두 가지 주요 설계 고려 사항이 있다.

사전 훈련된 T2I 또는 텍스트-이미지 모델 활용

3D 콘텐츠 생성을 위한 사전 훈련된 T2I 또는 텍스트-이미지 모델을 활용하는 개념은 2022년 DreamFusion 프레임워크에서 처음 도입되었다. DreamFusion 프레임워크는 랜덤 뷰포인트에서 렌더링이 텍스트 조건부 이미지 분포와 일치하도록 3D 프레임워크를 최적화하기 위해 SDS 또는 점수 증류 샘플 손실을 적용하려고 시도했다. DreamFusion 접근 방식은 괜찮은 결과를 제공했지만, 흐릿함과 과포화라는 두 가지 주요 문제가 있었다. 이러한 문제를 해결하기 위해 최근 연구에서는 2D 증류 손실을 개선하기 위해 다양한 단계별 최적화 전략을 구현했다. 이러한 전략은 더 나은 품질과 실제 3D 이미지를 생성하는 데 도움이 된다.

DreamCraft3D: 작동 및 아키텍처

DreamCraft3D 프레임워크는 최신 T2I 또는 텍스트-이미지 제너레이티브 프레임워크를 사용하여 텍스트 프롬프트를 사용하여 고해상도 2D 이미지를 생성한다. 이 접근 방식은 DreamCraft3D 프레임워크가 텍스트 프롬프트에 설명된 시각적 의미를 나타내는 최신 2D 확산 모델의 기능을 최대화하는 동시에 이러한 2D AI 제너레이티브 프레임워크가 제공하는 창의적 자유를 유지할 수 있도록 한다. 생성된 이미지는 이후 기하학적 텍스처 강화와 기하학적 조각 단계를 통해 3D로 변환되며, 각 단계에서 문제를 분해하여 전문 기술을 적용한다.

기하학적 조각

기하학적 조각은 3D 모델을 참조 이미지를 사용하여 생성하는 첫 번째 단계로, 참조 뷰에서 일관성과 가능성을 최대화하는 3D 기하학적 모양을 생성한다. 이 단계에서는 SDS 손실을 사용하여 개별 샘플 뷰에서 사진 메트릭 손실을鼓励한다. 또한 참조 이미지를 효과적으로 사용하기 위해 참조 뷰에서 렌더링된 이미지와 참조 이미지 사이의 사진 메트릭 차이를 벌칙한다. 또한 장면 희소성을鼓励하기 위해 실루엣을 렌더링하는 마스크 손실을 구현한다.

3D 인식 확산 전위

기하학적 조각 단계에서 3D 최적화 방법은 단일 뷰 감독만을 사용하므로 제약이 있는 것이 주요 이유이다. DreamCraft3D 프레임워크는 Zero-1-to-3이라는 뷰 조건부 확산 모델을 사용하여 뷰포인트 인식성을 향상시킨다. Zero-1-to-3 프레임워크는 더 큰 규모의 3D 데이터 자산에서 훈련된 미세 조정된 확산 모델이다.

점진적 뷰 훈련

360도에서 직접 자유 뷰를 도출하는 것은 기하학적 아티팩트 또는 불일치로 인해 의도하지 않은 결과를 초래할 수 있다. 이러한 문제를 해결하기 위해 DreamCraft3D 프레임워크는 훈련 뷰를 점진적으로 확대하여 확립된 기하학을 360도까지渐進적으로 전파한다.

확산 시간 단계 어닐링

DreamCraft3D 프레임워크는 3D 최적화의 거친 단계에서 세부 사항을 tinh chỉnh하는 과정에 따라 확산 시간 단계 어닐링 전략을 사용한다. 최적화 과정의 초기에 프레임워크는 더 큰 확산 시간 단계를 샘플링하여 전역 구조를 제공한다. 훈련 과정에서 프레임워크는 수백 번의 반복 과정에서 선형적으로 확산 시간 단계를 어닐링한다. 이러한 어닐링 전략을 통해 프레임워크는 초기 최적화 단계에서 가능한 기하학적 구조를 확립한 후 세부 사항을 tinh chỉnh할 수 있다.

세부 구조 강화

DreamCraft3D 프레임워크는 초기에 암시적 표면 표현을 최적화하여 거친 구조를 확립한다. 이후 이 결과와 가변형 테트라헤드럴 그리드(DMTet)를 결합하여 기하학적 세부 사항을 학습하는 텍스처와 분리된 3D 메시 표현을 초기화한다. 구조 강화가 완료되면 모델은 참조 이미지에서 얻은 고주파수 세부 사항을 유지하면서 텍스처만 tinh chỉnh할 수 있다.

부트스트랩 점수 샘플링을 사용한 텍스처 강화

기하학적 조각 단계는 세부적이고 일관된 기하학적 모양을 학습하는 데 중점을 두지만, 이는 텍스처를 약간 흐리게 할 수 있다. 이는 2D 전위 모델이 粗한 해상도에서 작동하며 3D 확산 모델이 제한된 날카로움을 제공하기 때문이다. 또한 과포화 및 과부드러짐과 같은 일반적인 텍스처 문제가 발생할 수 있다. 이러한 문제를 해결하기 위해 DreamCraft3D 프레임워크는 VSD 또는 변분 점수 증류 손실을 사용하여 텍스처의 현실성을增强한다.

실험 및 결과

DreamCraft3D 프레임워크의 성능을 평가하기 위해, 이를 최신 프레임워크와 비교하고, 질적 및 양적 결과를 분석한다.

베이스라인 모델과의 비교

DreamCraft3D 프레임워크의 성능을 평가하기 위해, 이를 5개의 최신 프레임워크(DreamFusion, Magic3D, ProlificDreamer, Magic123, Make-it-3D)와 비교한다. 테스트 벤치마크는 300개의 입력 이미지로 구성되며, 이는 실제 이미지와 안정 확산 프레임워크에서 생성된 이미지의 혼합이다. 각 테스트 이미지에는 텍스트 프롬프트, 예측된 깊이 맵, 전경의 알파 마스크가 있다. 프레임워크는 실제 이미지의 텍스트 프롬프트를 이미지 캡션 프레임워크에서 가져온다.

질적 분석

다음 이미지는 DreamCraft3D 프레임워크와 현재의 베이스라인 모델을 비교한다. 텍스트-3D 접근 방식을 사용하는 프레임워크는 종종 다중 뷰 일관성 문제를 직면한다.

양적 분석

DreamCraft3D 프레임워크의 기술은 기준 모델과 비교하여, 입력 참조 이미지와 일관된 시맨틱을 전달하는 3D 이미지를 생성하는 데 사용된다. 평가 과정에서는 네 가지 지표(참조 뷰에서 신뢰도 및 LPIPS를 측정하기 위한 PSNR 및 참조 뷰에서 컨텍스트 거리를 평가하기 위한 CLIP)를 사용한다.

결론

이 기사에서는 3D 콘텐츠 생성을 위한 계층적 파이프라인인 DreamCraft3D에 대해 논의했다. DreamCraft3D 프레임워크는 최신 T2I 또는 텍스트-이미지 제너레이티브 프레임워크를 사용하여 텍스트 프롬프트를 사용하여 고해상도 2D 이미지를 생성한다. 이 접근 방식은 DreamCraft3D 프레임워크가 텍스트 프롬프트에 설명된 시각적 의미를 나타내는 최신 2D 확산 모델의 기능을 최대화하는 동시에 이러한 2D AI 제너레이티브 프레임워크가 제공하는 창의적 자유를 유지할 수 있도록 한다. 생성된 이미지는 이후 기하학적 텍스처 강화와 기하학적 조각 단계를 통해 3D로 변환되며, 각 단계에서 문제를 분해하여 전문 기술을 적용한다. 이러한 접근 방식의 결과로, DreamCraft3D 프레임워크는 다중 角度에서 볼 수 있는 일관된 3D 자산과 매력적인 텍스처를 생성할 수 있다.