딥 생성 모델, 특히 深層 생성 모델의 급속한 발전은 자연어 생성, 3D 생성, 이미지 생성 및 음성 합성을 포함한 다양한 분야에서 능력을 크게 향상시켰습니다. 이러한 모델은 다양한 산업에서 3D 생산을 혁신적으로 발전시켰습니다. 그러나 많은 모델은 복잡한 배선과 생성된 메시가 전통적인 렌더링 파이프라인과 호환되지 않는다는 문제를 직면합니다. 확산 기반 모델, 특히 조명 텍스처가 없는 모델은 인상적인 다양한 3D 자산 생성을 보여주며, 영화, 게임 및 AR/VR 분야에서 3D 프레임워크를 향상시킵니다.

이 기사에서는 Paint3D, 시각적 또는 텍스트 입력 조건에 따라 비텍스처 3D 메시에 대한 다양한 고해상도 2K UV 텍스처 맵을 생성하는 새로운 프레임워크를 소개합니다. Paint3D의 주요 도전은 내장된 조명을 포함하지 않는 고품질 텍스처를 생성하는 것입니다. 이는 사용자가 현대 그래픽스 파이프라인에서 텍스처를 다시 편집하거나 조명할 수 있도록 합니다. Paint3D는 초기 гру한 텍스처 맵을 생성하기 위해 사전 학습된 2D 확산 모델을 사용합니다. 그러나 이러한 맵은 2D 모델의 제한으로 인해 조명 효과와 불완전한 영역을 나타낼 수 있습니다.

Paint3D : 소개

딥 생성 모델의 능력은 자연어 생성, 3D 생성 및 이미지 합성을 포함한 다양한 분야에서 잘 알려져 있으며, 실제 응용 프로그램에서革命的に 발전시켰습니다. 이러한 모델은 3D 생성 산업을 혁신적으로 발전시켰습니다. 그러나 이러한 모델은 복잡한 배선과 조명 텍스처가 있는 메시를 생성하며, 이러한 메시는 전통적인 렌더링 파이프라인과 호환되지 않을 수 있습니다.

텍스처 합성 모델은 사전 학습된 깊이-이미지 확산 모델을 사용하여 텍스처를 생성하며, 텍스트 조건을 사용하여 고품질 텍스처를 생성합니다. 그러나 이러한 접근 방식은 사전 조명된 텍스처를 사용할 때 문제가 발생할 수 있으며, 이는 최종 3D 환경 렌더링에 영향을 미치고, 일반적인 워크플로우에서 조명을 변경할 때 조명 오류를 발생시킬 수 있습니다.

텍스처 생성 프레임워크는 3D 데이터에 학습된 모델을 사용하여 텍스처를 생성합니다. 이러한 모델은 특정 3D 객체의 전체 기하학을 이해하여 텍스처를 생성합니다. 그러나 이러한 모델은 일반화 능력이 부족하여 훈련 데이터以外의 3D 객체에 적용할 수 없습니다.

현재 텍스처 생성 모델은 두 가지 주요 도전을 직면합니다. 첫 번째는 이미지 지침 또는 다양한 프롬프트를 사용하여 다양한 객체에 대한 더 широк은 범위의 일반화를 달성하는 것입니다. 두 번째는 사전 훈련된 결과에서 결합된 조명을 제거하는 것입니다. 사전 조명된 텍스처는 렌더링 엔진에서 텍스처된 객체의 최종 결과에 영향을 미칠 수 있습니다.

Paint3D 프레임워크는 이러한 도전을 해결하기 위해 3D 객체를 위한 이중 단계 텍스처 확산 모델을 개발합니다. 이 모델은 다양한 사전 학습된 생성 모델에 일반화하고, 시각적 일관성을 유지하며, 조명 없는 텍스처 생성을 학습합니다.

Paint3D는 초기 гру한 텍스처 맵을 생성하기 위해 사전 학습된 2D 확산 모델을 사용합니다. 이 모델은 다중 뷰 이미지 샘플링을 수행하고, 이러한 이미지를 3D 메시 표면에 역투영하여 초기 텍스처 맵을 생성합니다. 두 번째 단계에서는 모델이 조명 없는 텍스처를 생성하기 위해 확산 모델을 사용합니다.

요약하면, Paint3D는 조명 없는 고해상도 2K UV 텍스처 맵을 생성하기 위한 새로운 프레임워크입니다. 이 프레임워크는 다양한 조건 입력을 사용하여 3D 객체를 텍스처링하는 데 사용할 수 있습니다.

방법론 및 아키텍처

Paint3D 프레임워크는 텍스처 맵을 생성하고 tinh chỉnh하기 위해 다중 단계 접근 방식을 사용합니다. 이 프레임워크는 사전 학습된 2D 확산 모델을 사용하여 초기 гру한 텍스처 맵을 생성합니다.

첫 번째 단계에서는 Paint3D 모델이 사전 학습된 2D 확산 모델을 사용하여 다중 뷰 이미지 샘플링을 수행합니다. 이 모델은 이러한 이미지를 3D 메시 표면에 역투영하여 초기 텍스처 맵을 생성합니다. 두 번째 단계에서는 모델이 UV 공간에서 확산 과정을 수행하여 초기 гру한 텍스처 맵을 tinh chỉnh합니다.

단계 1: 초기 гру한 텍스처 생성

첫 번째 단계에서는 Paint3D 모델이 사전 학습된 깊이-이미지 확산 모델을 사용하여 초기 гру한 텍스처 맵을 생성합니다. 이 모델은 다중 뷰 이미지 샘플링을 수행하고, 이러한 이미지를 3D 메시 표면에 역투영하여 초기 텍스처 맵을 생성합니다.

이 모델은 카메라 뷰를 사용하여 3D 메시를 렌더링하고, 깊이 조건을 사용하여 이미지 샘플링을 수행합니다. 이 모델은 이러한 이미지를 3D 메시 표면에 역투영하여 초기 텍스처 맵을 생성합니다.

이 모델은 텍스처 샘플링을 수행하기 위해 이미지 페인팅 접근 방식을 사용합니다. 이 모델은 이전 뷰포인트에서 텍스처된 영역을 고려하여, 렌더링 프로세스가 깊이 이미지와 부분적으로 색칠된 RGB 이미지를 출력하도록 합니다.

단계 2: UV 공간에서 텍스처 tinh chỉnh

두 번째 단계에서는 Paint3D 모델이 UV 공간에서 확산 과정을 수행하여 초기 гру한 텍스처 맵을 tinh chỉnh합니다. 이 모델은 텍스처 조각의 인접 정보를 사용하여 UV 공간에서 확산 과정을 수행합니다.

이 모델은 텍스처 맵을 tinh chỉnh하기 위해 UVHD 및 UV inpainting 방법을 사용합니다. UVHD 방법은 텍스처 맵의 시각적 매력을 향상시키기 위해 설계되었습니다. 이 모델은 이미지 향상 인코더와 위치 인코더를 사용하여 확산 모델을 tinh chỉnh합니다.

이 모델은 UV inpainting 방법을 사용하여 UV 평면의 텍스처 구멍을 채웁니다. 이 모델은 tinh chỉnh 단계에서 UV inpainting을 수행한 후 UVHD를 수행하여 최종 tinh chỉnh된 텍스처 맵을 생성합니다.

Paint3D : 실험 및 결과

Paint3D 모델은 Stable Diffusion 텍스트-이미지 모델을 사용하여 텍스처 생성을 지원합니다. 이 모델은 ControlNet 도메인 인코더를 사용하여 조건 입력을 처리합니다.

텍스트-텍스처 비교

Paint3D 모델의 성능을 분석하기 위해, 우리는 텍스처 생성 효과를 평가하고, 이를 Text2Tex, TEXTure, LatentPaint와 같은 상태-of-the-art 프레임워크와 비교합니다.

Paint3D 모델은 고품질 텍스처 세부 사항을 생성하고, 조명 없는 텍스처 맵을 합리적으로 잘 생성합니다. 반면에, LatentPaint 모델은模糊한 텍스처를 생성하며, TEXTure 모델은 매끄럽지 못한 텍스처를 생성합니다.

이미지-텍스처 비교

Paint3D 모델의 생성 능력을 평가하기 위해, 우리는 TEXTure 모델을 사용하여 이미지 조건을 사용하여 텍스처를 생성합니다.

Paint3D 모델은 텍스처를 생성하고, 이미지 조건을 유지하며, TEXTure 모델보다 더 나은 성능을 보여줍니다.

최종 생각

이 기사에서, 우리는 Paint3D, 조명 없는 고해상도 2K UV 텍스처 맵을 생성하기 위한 새로운 프레임워크를 소개했습니다. Paint3D 모델은 다양한 조건 입력을 사용하여 3D 객체를 텍스처링하는 데 사용할 수 있습니다.