심층 생성 AI 모델의 출현으로 자연어 생성, 3D 생성, 이미지 생성 및 음성 합성 분야에서 놀라운 기능을 갖춘 AI 개발이 크게 가속화되었습니다. 3D 생성 모델은 수많은 산업과 응용 분야를 변화시켜 현재의 3D 생산 환경에 혁명을 일으켰습니다. 그러나 현재의 많은 심층 생성 모델은 공통적인 장애물에 직면합니다. 복잡한 배선과 조명 텍스처가 포함된 생성된 메시는 종종 PBR(물리 기반 렌더링)과 같은 기존 렌더링 파이프라인과 호환되지 않습니다. 조명 텍스처 없이 3D 자산을 생성하는 확산 기반 모델은 다양한 3D 자산 생성을 위한 놀라운 기능을 보유하여 영화 제작, 게임, 증강/가상 현실 등 산업 전반에 걸쳐 기존 3D 프레임워크를 강화합니다.

이 기사에서는 시각적 또는 텍스트 입력을 조건으로 텍스처링되지 않은 3D 메시에 대한 다양한 고해상도 2K UV 텍스처 맵을 생성할 수 있는 새로운 거친 프레임워크인 Paint3D에 대해 설명합니다. Paint3D가 해결하는 주요 과제는 조명 정보를 포함하지 않고 고품질 텍스처를 생성하여 사용자가 최신 그래픽 파이프라인 내에서 다시 편집하거나 다시 조명할 수 있도록 하는 것입니다. 이 문제를 해결하기 위해 Paint3D 프레임워크는 미리 훈련된 2D 확산 모델을 사용하여 다중 뷰 텍스처 융합을 수행하고 뷰 조건부 이미지를 생성하여 초기에 거친 텍스처 맵을 생성합니다. 그러나 2D 모델은 조명 효과를 완전히 비활성화하거나 3D 모양을 완전히 표현할 수 없으므로 텍스처 맵에 조명 아티팩트 및 불완전한 영역이 나타날 수 있습니다.

이 기사에서는 Paint3D 프레임워크를 심층적으로 살펴보고 작동 방식과 아키텍처를 검토하고 이를 최첨단 심층 생성 프레임워크와 비교해 보겠습니다. 이제 시작하겠습니다.

Paint3D : 소개

Deep Generative AI 모델은 자연어 생성, 3D 생성 및 이미지 합성 분야에서 탁월한 기능을 입증했으며 실제 애플리케이션에 구현되어 3D 생성 산업에 혁명을 일으켰습니다. 그러나 놀라운 기능에도 불구하고 최신 심층 생성 AI 프레임워크는 PBR(물리 기반 렌더링)을 비롯한 기존 렌더링 파이프라인과 호환되지 않는 복잡한 배선과 혼란스러운 조명 텍스처가 포함된 메시를 생성하는 경우가 많습니다. 마찬가지로 텍스처 합성은 특히 2D 확산 모델을 사용하여 빠르게 발전했습니다. 이러한 모델은 사전 훈련된 깊이-이미지 확산 모델과 텍스트 조건을 효과적으로 활용하여 고품질 텍스처를 생성합니다. 그러나 중요한 과제는 여전히 남아 있습니다. 사전 조명된 텍스처는 최종 3D 환경 렌더링에 부정적인 영향을 미칠 수 있으며, 다음 이미지에서 볼 수 있듯이 일반적인 작업 흐름 내에서 조명을 조정할 때 조명 오류가 발생할 수 있습니다.

관찰된 바와 같이, 사전 조명이 없는 텍스처 맵은 기존 렌더링 파이프라인과 원활하게 작동하여 정확한 결과를 제공합니다. 반면, 사전 조명이 적용된 텍스처 맵은 재조명 적용 시 부적절한 그림자를 포함합니다. 3D 데이터로 학습된 텍스처 생성 프레임워크는 특정 3D 객체의 전체 지오메트리를 이해하여 텍스처를 생성하는 대안적인 접근 방식을 제공합니다. 이러한 프레임워크는 더 나은 결과를 제공할 수 있지만, 학습 데이터 외부의 3D 객체에 모델을 적용하는 데 필요한 일반화 기능이 부족합니다.

현재 텍스처 생성 모델은 두 가지 중요한 과제에 직면해 있습니다. 이미지 안내 또는 다양한 프롬프트를 사용하여 다양한 객체에 대한 광범위한 일반화를 달성하는 것과 사전 훈련 결과에서 결합된 조명을 제거하는 것입니다. 사전 조명 텍스처는 렌더링 엔진 내에서 텍스처 개체의 최종 결과를 방해할 수 있습니다. 또한 사전 훈련된 2D 확산 모델은 뷰 도메인에서 2D 결과만 제공하기 때문에 모양에 대한 포괄적인 이해가 부족하여 3D 객체에 대한 뷰 일관성을 유지하는 데 불일치가 발생합니다.

이러한 문제를 해결하기 위해 Paint3D 프레임워크는 이중 단계 텍스처를 개발합니다. 3D 객체에 대한 확산 모델 사전 훈련된 다양한 생성 모델을 일반화하고 조명이 없는 텍스처를 생성하는 동시에 뷰 일관성을 유지합니다.

Paint3D는 사전 훈련된 생성 AI 모델의 강력하고 신속한 지침과 이미지 생성 기능을 활용하여 3D 개체에 텍스처를 적용하는 이중 단계의 거친 텍스처 생성 모델입니다. 첫 번째 단계에서 Paint3D는 미리 훈련된 깊이 인식 2D 이미지 확산 모델에서 다중 뷰 이미지를 점진적으로 샘플링하여 다양한 프롬프트에서 고품질의 풍부한 질감 결과를 일반화할 수 있습니다. 그런 다음 모델은 이러한 이미지를 3D 메시 표면에 역투영하여 초기 텍스처 맵을 생성합니다. 두 번째 단계에서 모델은 조명 영향을 제거하고 모양 인식 불완전 영역을 개선하는 데 특화된 확산 모델이 사용하는 접근 방식을 구현하여 조명 없는 텍스처를 생성하는 데 중점을 둡니다. 프로세스 전반에 걸쳐 Paint3D 프레임워크는 의미상 고품질 2K 텍스처를 일관되게 생성하여 본질적인 조명 효과를 제거합니다.

요약하면 Paint3D는 질감이 없는 2D 메시를 위한 다양한 조명 없는 고해상도 3K UV 텍스처 맵을 생성하도록 설계된 새롭고 거친 생성 AI 모델입니다. 텍스트와 이미지를 포함한 다양한 조건부 입력을 사용하여 3D 개체를 텍스처링하는 데 있어 최첨단 성능을 달성하는 것을 목표로 하며 합성 및 그래픽 편집 작업에 상당한 이점을 제공합니다.

방법론 및 아키텍처

Paint3D 프레임워크는 다음 이미지에 표시된 대로 이미지 및 프롬프트와 같은 조건부 입력을 사용하여 3D 모델에 대한 다양하고 고품질 텍스처를 생성하기 위해 텍스처 맵을 점진적으로 생성하고 개선합니다.

1단계: 점진적인 거친 텍스처 생성

초기 거친 텍스처 생성 단계에서 Paint3D는 사전 훈련된 2D 이미지를 사용합니다. 확산 모델 다중 뷰 이미지를 샘플링한 다음 메시 표면에 역투영하여 초기 텍스처 맵을 생성합니다. 이 단계는 다양한 카메라 뷰에서 깊이 맵을 생성하는 것으로 시작됩니다. 모델은 깊이 조건을 사용하여 확산 모델의 이미지를 샘플링한 다음 3D 메시 표면에 역투영합니다. 이러한 대체 렌더링, 샘플링 및 역투영 접근 방식은 텍스처 메시의 일관성을 향상시키고 텍스처 맵을 점진적으로 생성하는 데 도움이 됩니다.

프로세스는 3D 메시의 가시 영역부터 시작하여 3D 메시를 깊이 맵으로 렌더링하여 첫 번째 카메라 뷰에서 텍스처를 생성하는 데 중점을 둡니다. 그런 다음 모양과 깊이 조건을 기반으로 텍스처 이미지를 샘플링하고 메시에 역투영합니다. 이 방법은 후속 시점에 대해 반복되며 이전 텍스처를 통합하여 깊이 이미지뿐만 아니라 색상이 지정되지 않은 마스크가 있는 부분적으로 색상이 지정된 RGB 이미지도 렌더링합니다. 이 모델은 깊이 인식 이미지 인페인팅 인코더를 사용하여 색상이 지정되지 않은 영역을 채우고 인페인팅된 이미지를 3D 메시에 역투영하여 완전한 거친 텍스처 맵을 생성합니다.

더 복잡한 장면이나 객체의 경우 모델은 여러 보기를 사용합니다. 처음에는 대칭 관점에서 두 개의 깊이 맵을 캡처하고 이를 깊이 그리드로 결합합니다. 이는 다중 뷰 깊이 인식 텍스처 샘플링을 위한 단일 깊이 이미지를 대체합니다.

2단계: UV 공간의 텍스처 미세 조정

논리적인 거친 텍스처 맵을 생성함에도 불구하고 렌더링 프로세스의 텍스처 구멍 및 2D 이미지 확산 모델의 조명 그림자와 같은 문제가 발생합니다. 이를 해결하기 위해 Paint3D는 거친 텍스처 맵을 기반으로 UV 공간에서 확산 프로세스를 수행하여 시각적 매력을 강화하고 문제를 해결합니다.

그러나 UV 공간에서 텍스처 맵을 미세 조정하면 연속 텍스처가 개별 조각으로 조각화되어 불연속성이 발생할 수 있습니다. 이를 완화하기 위해 Paint3D는 텍스처 조각의 인접 정보를 사용하여 텍스처 맵을 개선합니다. UV 공간에서 위치 맵은 텍스처 조각의 3D 인접 정보를 나타내며 배경이 아닌 각 요소를 3D 점 좌표로 처리합니다. 모델은 ControlNet과 유사한 추가 위치 맵 인코더를 사용하여 확산 프로세스 중에 이러한 인접 정보를 통합합니다.

이 모델은 조건부 인코더와 기타 인코더의 위치를 ​​동시에 사용하여 UV 공간에서 미세 조정 작업을 수행하고 UVHD(UV High Definition)와 UV 인페인팅이라는 두 가지 기능을 제공합니다. UVHD는 이미지 향상 인코더와 확산 모델이 포함된 위치 인코더를 사용하여 시각적 매력과 심미성을 향상시킵니다. UV 인페인팅은 텍스처 구멍을 채워 렌더링 시 발생하는 자체 폐색 문제를 방지합니다. 개선 단계는 UV 인페인팅으로 시작하고 UVHD로 최종 개선된 텍스처 맵을 생성합니다.

이러한 개선 방법을 통합함으로써 Paint3D 프레임워크는 완전하고 다양한 고해상도의 조명 없는 UV 텍스처 맵을 생성하여 3D 객체 텍스처링을 위한 강력한 솔루션이 됩니다.

Paint3D : 실험 및 결과

Paint3D 모델은 Stable Diffusion text2image 모델을 활용하여 텍스처 생성 작업을 지원하고 이미지 인코더 구성 요소는 이미지 조건을 관리합니다. 이미지 인페인팅, 깊이 처리 및 고화질 이미지와 같은 조건부 작업에 대한 제어를 강화하기 위해 Paint3D 프레임워크는 ControlNet 도메인 인코더를 사용합니다. 모델은 Kaolin에서 실행되는 렌더링 및 텍스처 투영을 통해 PyTorch 프레임워크에서 구현됩니다.

텍스트와 텍스처 비교

Paint3D의 성능을 평가하기 위해 먼저 텍스트 프롬프트로 조건을 지정할 때 텍스처 생성을 분석하고 이를 Text2Tex, TEXTure 및 LatentPaint와 같은 최첨단 프레임워크와 비교합니다. 다음 이미지에 표시된 것처럼 Paint3D 프레임워크는 고품질 텍스처 디테일을 생성하는 데 탁월할 뿐만 아니라 조명이 없는 텍스처 맵을 효과적으로 합성합니다.

Stable Diffusion 및 ControlNet 인코더의 강력한 기능을 활용함으로써 Paint3D는 탁월한 텍스처 품질과 다양성을 제공합니다. 비교를 통해 내장된 조명 없이 상세한 고해상도 텍스처를 생성하는 Paint3D의 능력이 강조되어 3D 텍스처링 작업을 위한 선도적인 솔루션이 되었습니다.

이에 비해 Latent-Paint 프레임워크는 흐릿한 텍스처를 생성하여 최적이 아닌 시각적 효과를 생성하는 경향이 있습니다. 반면, TEXture 프레임워크는 명확한 질감을 생성하지만 부드러움이 부족하고 접합 및 이음새가 눈에 띄게 나타납니다. 마지막으로 Text2Tex 프레임워크는 부드러운 질감을 매우 잘 생성하지만 복잡한 디테일이 있는 미세한 질감을 생성하는 성능을 재현하지 못합니다.  다음 이미지는 Paint3D 프레임워크와 최신 프레임워크를 정량적으로 비교합니다. 

관찰할 수 있듯이 Paint3D 프레임워크는 모든 기존 모델보다 성능이 뛰어나며 FID 기준선에서는 거의 30% 향상되고 KID 기준선에서는 약 40% 향상되는 상당한 차이를 보입니다. FID 및 KID 기준 점수의 향상은 다양한 개체 및 범주에 걸쳐 고품질 텍스처를 생성하는 Paint3D의 능력을 보여줍니다. 

이미지와 텍스처 비교

시각적 프롬프트를 사용하여 Paint3D의 생성 기능을 생성하기 위해 TEXTure 모델을 기준으로 사용합니다. 앞에서 언급했듯이 Paint3D 모델은 text2image 모델에서 가져온 이미지 인코더를 사용합니다. 안정적인 확산. 다음 이미지에서 볼 수 있듯이 Paint3D 프레임워크는 절묘한 질감을 놀라울 정도로 잘 합성하며 이미지 조건에서도 여전히 높은 충실도를 유지할 수 있습니다. 

반면, TEXture 프레임워크는 Paint3D와 유사한 텍스처를 생성할 수 있지만 이미지 조건에서 텍스처 세부 사항을 정확하게 표현하기에는 부족합니다. 또한 다음 이미지에서 볼 수 있듯이 Paint3D 프레임워크는 TEXTure 프레임워크와 비교할 때 더 나은 FID 및 KID 기준 점수를 제공합니다. 전자는 40.83에서 26.86으로 감소한 반면 후자는 9.76에서 4.94로 감소했습니다. 

최종 생각

이 기사에서는 시각적 또는 텍스트 입력에 따라 조정된 텍스처링되지 않은 3D 메시에 대해 조명이 없고 다양한 고해상도 2K UV 텍스처 맵을 생성할 수 있는 거칠고 미세한 새로운 프레임워크인 Paint3D에 대해 설명했습니다. Paint3D 프레임워크의 주요 특징은 이미지나 텍스트 입력에 대한 조건을 적용하지 않고도 의미상 일관된 조명 없는 고해상도 2K UV 텍스처를 생성할 수 있다는 것입니다. Paint3D 프레임워크는 거친 것부터 미세한 것까지의 접근 방식으로 인해 조명이 없고 다양한 고해상도 텍스처 맵을 생성하고 현재 최첨단 프레임워크보다 더 나은 성능을 제공합니다.