AI 생성 모델, 특히 심층 생성 AI 모델의 급속한 발전으로 자연어 생성, 3D 생성, 이미지 생성 및 음성 합성 기능이 크게 향상되었습니다. 이러한 모델은 다양한 산업 분야에서 3D 제작에 혁명을 일으켰습니다. 그러나 많은 사람들이 문제에 직면합니다. 복잡한 배선과 생성된 메시가 PBR(물리 기반 렌더링)과 같은 기존 렌더링 파이프라인과 호환되지 않는 경우가 많습니다. 특히 조명 텍스처가 없는 확산 기반 모델은 인상적이고 다양한 3D 자산 생성을 보여주며 영화 제작, 게임 및 AR/VR에서 3D 프레임워크를 향상시킵니다.

이 기사에서는 시각적 또는 텍스트 입력에 따라 질감이 지정되지 않은 3D 메시에 대한 다양한 고해상도 2K UV 텍스처 맵을 생성하기 위한 새로운 프레임워크인 Paint3D를 소개합니다. Paint3D의 주요 과제는 내장된 조명 없이 고품질 텍스처를 생성하여 사용자가 최신 그래픽 파이프라인 내에서 다시 편집하거나 다시 조명할 수 있도록 하는 것입니다. 다중 뷰 텍스처 융합을 위해 사전 훈련된 2D 확산 모델을 사용하여 초기 거친 텍스처 맵을 생성합니다. 그러나 이러한 맵에는 조명 효과를 비활성화하고 2D 모양을 완전히 표현하는 데 있어 3D 모델의 한계로 인해 종종 조명 아티팩트와 불완전한 영역이 표시됩니다. Paint3D의 작동, 아키텍처 및 다른 심층 생성 프레임워크와의 비교를 자세히 살펴보겠습니다. 의 시작하자.

Paint3D : 소개

자연어 생성, 3D 생성 및 이미지 합성 작업에서 Deep Generative AI 모델의 기능은 잘 알려져 있으며 실제 애플리케이션에 구현되어 3D 생성 산업에 혁명을 일으키고 있습니다. 그들의 놀라운 능력에도 불구하고, 현대의 심층 생성 적 AI 프레임워크는 PBR 또는 물리 기반 렌더링을 포함한 기존 렌더링 파이프라인과 종종 호환되지 않는 복잡한 배선 및 혼란스러운 조명 텍스처가 특징인 메시를 생성합니다. 심층 생성 AI 모델과 마찬가지로 텍스처 합성도 특히 2D 확산 모델 활용에서 빠르게 발전했습니다. 텍스처 합성 모델은 사전 훈련된 깊이-이미지를 사용합니다. 확산 모델 텍스트 조건을 효과적으로 사용하여 고품질 텍스처를 생성합니다. 그러나 이러한 접근 방식은 다음 이미지에서 볼 수 있듯이 최종 3D 환경 렌더링에 큰 영향을 미칠 수 있고 일반적인 작업 흐름 내에서 조명이 변경될 때 조명 오류를 일으킬 수 있는 사전 조명 텍스처 문제에 직면합니다. 

관찰할 수 있듯이, 자유 조명이 적용된 텍스처 맵은 기존 렌더링 파이프라인과 동기화되어 정확한 결과를 제공하는 반면, 사전 조명이 적용된 텍스처 맵에는 재조명이 적용될 때 부적절한 그림자가 포함됩니다. 반면, 3D 데이터에 대해 훈련된 텍스처 생성 프레임워크는 프레임워크가 특정 3D 개체의 전체 형상을 이해하여 텍스처를 생성하는 대체 접근 방식을 제공합니다. 더 나은 결과를 제공할 수 있지만 3D 데이터에 대해 훈련된 텍스처 생성 프레임워크에는 훈련 데이터 외부의 3D 개체에 모델을 적용하는 기능을 방해하는 일반화 기능이 부족합니다. 

현재 텍스처 생성 모델은 두 가지 중요한 과제에 직면해 있습니다. 이미지 안내나 다양한 프롬프트를 사용하여 다양한 객체에 걸쳐 더 넓은 수준의 일반화를 달성하는 것과 두 번째 과제는 사전 훈련에서 얻은 결과에 대한 결합 조명을 제거하는 것입니다. 사전 조명된 텍스처는 렌더링 엔진 내에서 텍스처 개체의 최종 결과를 잠재적으로 방해할 수 있으며, 사전 훈련된 2D 확산 모델은 뷰 도메인에서만 2D 결과를 제공하므로 형태에 대한 포괄적인 이해가 부족하여 렌더링이 불가능합니다. 3D 개체에 대한 뷰 일관성을 유지합니다. 

위에서 언급한 문제로 인해 Paint3D 프레임워크는 사전 훈련된 다양한 생성 모델로 일반화하고 번개 없는 텍스처 생성을 학습하면서 뷰 일관성을 유지하는 3D 개체에 대한 이중 단계 텍스처 확산 모델을 개발하려고 시도합니다. 

Paint3D는 사전 훈련된 강력한 프롬프트 안내 및 이미지 생성 기능을 활용하는 것을 목표로 하는 XNUMX단계 거친 텍스처에서 미세한 텍스처 생성 모델입니다. 생성 적 AI 3D 개체의 질감을 표현하는 모델입니다. 첫 번째 단계에서 Paint3D 프레임워크는 사전 훈련된 깊이 인식 2D 이미지 확산 모델에서 다중 뷰 이미지를 먼저 샘플링하여 다양한 프롬프트에서 고품질의 풍부한 텍스처 결과를 일반화할 수 있도록 합니다. 그런 다음 모델은 이러한 이미지를 3D 메쉬 표면에 역투영하여 초기 텍스처 맵을 생성합니다. 두 번째 단계에서 모델은 조명 영향 제거 및 불완전 영역의 모양 인식 개선을 전문으로 하는 확산 모델에서 사용하는 접근 방식을 구현하여 조명 없는 텍스처를 생성하는 데 중점을 둡니다. 프로세스 전반에 걸쳐 Paint3D 프레임워크는 의미론적으로 고품질 2K 텍스처를 일관되게 생성할 수 있으며 고유한 조명 효과를 제거합니다. 

요약하자면, Paint3D는 서로 다른 조건을 사용하여 2D 객체를 텍스처링하는 데 있어 최첨단 성능을 달성하기 위해 텍스처링되지 않은 3D 메시에 대한 다양한 조명 없는 고해상도 3K UV 텍스처 맵을 생성하는 것을 목표로 하는 새로운 거칠고 미세한 생성 AI 모델입니다. 텍스트 및 이미지를 포함한 입력을 제공하며 합성 및 그래픽 편집 작업에 상당한 이점을 제공합니다. 

방법론 및 아키텍처

Paint3D 프레임워크는 다음 이미지에 설명된 것처럼 이미지 및 프롬프트를 포함한 원하는 조건부 입력을 사용하여 3D 모델에 대한 다양하고 고품질의 텍스처 맵을 생성하기 위해 텍스처 맵을 점진적으로 생성하고 개선합니다. 

대략 단계에서 Paint3D 모델은 미리 훈련된 2D 이미지 확산 모델을 사용하여 다중 뷰 이미지를 샘플링한 다음 이러한 이미지를 메시 표면에 역투영하는 초기 텍스처 맵을 생성합니다. 두 번째 단계, 즉 개선 단계에서 Paint3D 모델은 UV 공간의 확산 프로세스를 사용하여 거친 텍스처 맵을 향상시켜 최종 텍스처의 시각적 매력과 완성도를 보장하는 고품질, 인페인팅 및 조명 없는 기능을 달성합니다. . 

1단계: 점진적인 거친 텍스처 생성

점진적인 거친 텍스처 생성 단계에서 Paint3D 모델은 사전 훈련된 깊이 인식 3D 확산 모델을 사용하는 2D 메시에 대한 거친 UV 텍스처 맵을 생성합니다. 보다 구체적으로 말하면 모델은 먼저 다양한 카메라 뷰를 사용하여 깊이 맵을 렌더링한 다음 깊이 조건을 사용하여 이미지 확산 모델에서 이미지를 샘플링한 다음 이러한 이미지를 메시 표면에 역투영합니다. 프레임워크는 렌더링, 샘플링 및 역투영 접근 방식을 번갈아 수행하여 텍스처 메시의 일관성을 향상시키며, 이는 궁극적으로 텍스처 맵의 점진적인 생성에 도움이 됩니다. 

모델은 3D 메쉬에 초점을 맞춘 카메라 뷰로 가시 영역의 텍스처 생성을 시작하고 첫 번째 뷰에서 3D 메쉬를 깊이 맵으로 렌더링합니다. 그런 다음 모델은 모양 조건과 깊이 조건에 대한 텍스처 이미지를 샘플링합니다. 그런 다음 모델은 이미지를 3D 메시에 역투영합니다. 시점의 경우 Paint3D 모델은 유사한 접근 방식을 실행하지만 이미지 페인팅 접근 방식을 사용하여 텍스처 샘플링 프로세스를 수행하여 약간 변경합니다. 또한 모델은 이전 시점의 질감이 있는 영역을 고려하여 렌더링 프로세스에서 깊이 이미지를 출력할 뿐만 아니라 현재 뷰에서 무색 마스크를 사용하여 부분적으로 색상이 지정된 RGB 이미지도 출력할 수 있습니다. 

그런 다음 모델은 인페인팅 인코더가 포함된 깊이 인식 이미지 인페인팅 모델을 사용하여 RGB 이미지 내의 색상이 지정되지 않은 영역을 채웁니다. 그런 다음 모델은 칠해진 이미지를 현재 뷰 아래의 3D 메쉬로 역투영하여 뷰에서 텍스처 맵을 생성합니다. 이를 통해 모델은 점진적으로 텍스처 맵을 생성하고 전체 거친 구조 맵에 도달합니다. 마지막으로 모델은 텍스처 샘플링 프로세스를 여러 보기가 있는 장면이나 객체로 확장합니다. 보다 구체적으로 말하면, 모델은 한 쌍의 카메라를 사용하여 대칭 관점에서 초기 텍스처 샘플링 중에 두 개의 깊이 맵을 캡처합니다. 그런 다음 모델은 두 개의 깊이 맵을 결합하고 깊이 그리드를 구성합니다. 모델은 단일 깊이 이미지를 깊이 그리드로 대체하여 다중 뷰 깊이 인식 텍스처 샘플링을 수행합니다. 

2단계: UV 공간의 텍스처 미세 조정

거친 텍스처 맵의 모양은 논리적이지만 2D 이미지 확산 모델의 개입으로 인해 자체 폐색이나 번개 그림자로 인해 렌더링 프로세스 중에 발생하는 텍스처 구멍과 같은 몇 가지 문제에 직면합니다. Paint3D 모델은 거친 텍스처 맵을 기반으로 UV 공간에서 확산 프로세스를 수행하여 텍스처 개선 중에 문제를 완화하고 텍스처 맵의 시각적 매력을 더욱 향상시키는 것을 목표로 합니다. 그러나 UV 공간의 텍스처 맵으로 주류 이미지 확산 모델을 개선하면 텍스처 맵이 UV에서 연속 텍스처를 일련의 개별 조각으로 자르는 3D 표면 텍스처의 UV 매핑에 의해 생성되므로 텍스처 불연속성이 발생합니다. 공간. 조각화의 결과로 모델은 텍스처 불연속성 문제를 일으키는 조각 간의 3D 인접 관계를 학습하는 것이 어렵다는 것을 알게 됩니다. 

모델은 텍스처 조각의 인접 정보에 따라 확산 프로세스를 수행하여 UV 공간에서 텍스처 맵을 개선합니다. UV 공간에서는 텍스처 조각의 3D 인접 정보를 나타내는 것이 위치 맵이며, 모델은 배경이 아닌 각 요소를 3D 점 좌표로 처리한다는 점에 유의하는 것이 중요합니다. 확산 과정에서 모델은 사전 훈련된 이미지 확산 모델에 개별 위치 맵 인코더를 추가하여 3D 인접 정보를 융합합니다. 새로운 인코더는 ControlNet 프레임워크의 디자인과 유사하며 두 인코더를 연결하는 제로 컨볼루션 레이어가 있는 이미지 확산 모델에 구현된 인코더와 동일한 아키텍처를 갖습니다. 또한 텍스처 확산 모델은 텍스처와 위치 맵으로 구성된 데이터 세트에서 훈련되고, 모델은 노이즈 잠재성에 추가된 노이즈를 예측하는 방법을 학습합니다. 그런 다음 모델은 위치 인코더를 최적화하고 이미지 확산 작업을 위해 훈련된 노이즈 제거기를 고정합니다. 

그런 다음 모델은 조건부 인코더와 다른 인코더의 위치를 ​​동시에 사용하여 UV 공간에서 미세 조정 작업을 수행합니다. 이와 관련하여 모델에는 UVHD 또는 UV High Definition과 UV 인페인팅이라는 두 가지 개선 기능이 있습니다. UVHD 방법은 텍스처 맵의 시각적 매력과 미학을 향상시키도록 구성되었습니다. UVHD를 달성하기 위해 모델은 확산 모델과 함께 이미지 향상 인코더와 위치 인코더를 사용합니다. 모델은 UV 인페인팅 방법을 사용하여 렌더링 중에 발생하는 자체 폐색 문제를 방지할 수 있는 UV 평면 내의 텍스처 구멍을 채웁니다. 개선 단계에서 Paint3D 모델은 먼저 UV 인페인팅을 수행한 다음 UVHD를 수행하여 최종 개선된 텍스처 맵을 생성합니다. Paint3D 프레임워크는 두 가지 개선 방법을 통합하여 완전하고 다양한 고해상도의 조명 없는 UV 텍스처 맵을 생성할 수 있습니다. 

Paint3D : 실험 및 결과

Paint3D 모델은 안정적인 확산 text2image 모델은 이미지 조건을 처리하기 위해 이미지 인코더 구성 요소를 사용하는 동시에 텍스처 생성 작업을 지원합니다. 이미지 인페인팅, 깊이 및 고화질 이미지와 같은 조건부 제어에 대한 그립력을 더욱 강화하기 위해 Paint3D 프레임워크는 ControlNet 도메인 인코더를 사용합니다. 모델은 Kaolin에 구현된 렌더링 및 텍스처 투영과 함께 PyTorch 프레임워크에 구현됩니다. 

텍스트와 텍스처 비교

성능을 분석하기 위해 먼저 텍스트 프롬프트를 사용하여 조건을 지정할 때 Paint3D의 텍스처 생성 효과를 평가하고 이를 Text2Tex, TEXTure 및 LatentPaint를 포함한 최첨단 프레임워크와 비교합니다. 다음 이미지에서 볼 수 있듯이 Paint3D 프레임워크는 고품질 텍스처 디테일을 생성하는 데 탁월할 뿐만 아니라 조명이 없는 텍스처 맵을 합리적으로 잘 합성합니다. 

이에 비해 Latent-Paint 프레임워크는 흐릿한 텍스처를 생성하여 최적이 아닌 시각적 효과를 생성하는 경향이 있습니다. 반면, TEXture 프레임워크는 명확한 질감을 생성하지만 부드러움이 부족하고 접합 및 이음새가 눈에 띄게 나타납니다. 마지막으로 Text2Tex 프레임워크는 부드러운 질감을 매우 잘 생성하지만 복잡한 디테일이 있는 미세한 질감을 생성하는 성능을 재현하지 못합니다. 

다음 이미지는 Paint3D 프레임워크와 최신 프레임워크를 정량적으로 비교합니다. 

관찰할 수 있듯이 Paint3D 프레임워크는 모든 기존 모델보다 성능이 뛰어나며 FID 기준선에서는 거의 30% 향상되고 KID 기준선에서는 약 40% 향상되는 상당한 차이를 보입니다. FID 및 KID 기준 점수의 향상은 다양한 개체 및 범주에 걸쳐 고품질 텍스처를 생성하는 Paint3D의 능력을 보여줍니다. 

이미지와 텍스처 비교

시각적 프롬프트를 사용하여 Paint3D의 생성 기능을 생성하기 위해 TEXTure 모델을 기준으로 사용합니다. 앞서 언급했듯이 Paint3D 모델은 Stable Diffusion의 text2image 모델에서 가져온 이미지 인코더를 사용합니다. 다음 이미지에서 볼 수 있듯이 Paint3D 프레임워크는 절묘한 질감을 놀라울 정도로 잘 합성하며 이미지 조건에서도 여전히 높은 충실도를 유지할 수 있습니다. 

반면, TEXture 프레임워크는 Paint3D와 유사한 텍스처를 생성할 수 있지만 이미지 조건에서 텍스처 세부 사항을 정확하게 표현하기에는 부족합니다. 또한 다음 이미지에서 볼 수 있듯이 Paint3D 프레임워크는 TEXTure 프레임워크와 비교할 때 더 나은 FID 및 KID 기준 점수를 제공합니다. 전자는 40.83에서 26.86으로 감소한 반면 후자는 9.76에서 4.94로 감소했습니다. 

최종 생각

이 기사에서는 시각적 또는 텍스트 입력에 따라 조정된 텍스처링되지 않은 3D 메시에 대해 조명이 없고 다양한 고해상도 2K UV 텍스처 맵을 생성할 수 있는 거칠고 미세한 새로운 프레임워크인 Paint3D에 대해 설명했습니다. Paint3D 프레임워크의 주요 특징은 이미지나 텍스트 입력에 대한 조건을 적용하지 않고도 의미상 일관된 조명 없는 고해상도 2K UV 텍스처를 생성할 수 있다는 것입니다. Paint3D 프레임워크는 거친 것부터 미세한 것까지의 접근 방식으로 인해 조명이 없고 다양한 고해상도 텍스처 맵을 생성하고 현재 최첨단 프레임워크보다 더 나은 성능을 제공합니다.