안정적인 확산을 위한 그린 스크린 생성 개선

시각적 생성 AI를 둘러싼 커뮤니티와 투자자의 열광에도 불구하고 이러한 시스템의 출력은 항상 실제 사용에 적합하지 않습니다. 한 가지 예는 생성 AI 시스템이 출력하는 경향이 있다는 것입니다. 전체 이미지 (또는 비디오의 경우 일련의 이미지) 개별적이고 고립된 요소 다양한 멀티미디어 응용 프로그램과 시각 효과 전문가에게 일반적으로 필요합니다.

이에 대한 간단한 예는 사용자가 선택한 대상 배경 위에 '떠다니도록' 디자인된 클립 아트입니다.

아마도 포토샵 사용자들에게 가장 친숙할 밝은 회색 체크 무늬 배경은 스톡 이미지와 같은 간단한 소비재에서도 알파 채널 또는 투명도 채널을 나타내게 되었습니다.

이런 종류의 투명성은 1990년 이상 일반적으로 사용 가능했습니다. XNUMX년대 초 디지털 혁명 이후, 사용자들은 점점 정교해지는 일련의 도구 세트와 기술을 통해 비디오와 이미지에서 요소를 추출할 수 있었습니다.

예를 들어, 한때 값비싼 비디오 영상의 관할권이었던 블루 스크린과 그린 스크린 배경을 '제거'하는 과제는 다음과 같습니다. 화학 공정 및 광학 프린터 (만큼 잘 핸드메이드 매트), Adobe의 After Effects 및 Photoshop 애플리케이션(다른 많은 무료 및 독점 프로그램과 시스템 포함)과 같은 시스템에서는 몇 분 만에 작업이 완료됩니다.

요소가 분리되면 알파 채널 (실제로는 관련 없는 콘텐츠를 가리는 마스크)를 사용하면 비디오의 모든 요소를 ​​새로운 배경 위에 손쉽게 중첩하거나, 다른 분리된 요소와 합성할 수 있습니다.

알파 채널의 예와 그 효과는 아래 행에 표시되어 있습니다. 출처: https://helpx.adobe.com/photoshop/using/saving-selections-alpha-channel-masks.html

중퇴하다

컴퓨터 비전에서 알파 채널 생성은 다음의 범주에 속합니다. 시맨틱 세그먼테이션Meta와 같은 오픈 소스 프로젝트와 함께 무엇이든 세그먼트화 의미적으로 향상된 객체 인식을 통해 대상 객체를 분리/추출하는 텍스트 기반 방법을 제공합니다.

Segment Anything 프레임워크는 다음과 같은 광범위한 시각 효과 추출 및 격리 워크플로에 사용되었습니다. Alpha-CLIP 프로젝트.

Alpha-CLIP 프레임워크에서 Segment Anything을 사용한 추출 예: 출처: https://arxiv.org/pdf/2312.03818

다음의 많은 대안 알파 채널을 할당하는 작업에 맞게 적용할 수 있는 의미 분할 방법입니다.

그러나 의미론적 분할은 모든 것을 포함하지 않을 수 있는 훈련된 데이터에 의존합니다. 객체의 카테고리 추출해야 하는 것입니다. 매우 많은 양의 데이터로 훈련된 모델은 더 광범위한 객체를 인식할 수 있게 해줍니다(실제로 기초 모델이 되거나 세계 모델), 그럼에도 불구하고 그들은 가장 효과적으로 인식하도록 훈련받은 계층에 의해 제한을 받습니다.

Segment Anything과 같은 의미적 세분화 시스템은 모호한 프롬프트의 출력에서 ​​예시된 것처럼 특정 객체 또는 객체의 일부를 식별하는 데 어려움을 겪을 수 있습니다. 출처: https://maucher.pages.mi.hdm-stuttgart.de/orbook/deeplearning/SAM.html

어떤 경우든 의미론적 세분화는 다음과 같습니다. 사후 그린 스크린 과정으로 처리해야 하며, 효과적으로 인식하고 제거할 수 있는 단일 배경색이 없이 요소를 분리해야 합니다.

이러한 이유로 사용자 커뮤니티에서는 가끔씩 이미지와 비디오를 생성할 수 있다는 생각이 들었습니다. 실제로 그린 스크린 배경을 포함하고 있습니다 기존 방법을 사용하면 즉시 제거할 수 있습니다.

불행히도 인기 있는 잠재 확산 모델 등 안정적인 확산 정말 생생한 그린 스크린을 렌더링하는 데 어려움을 겪는 경우가 많습니다. 이는 모델의 훈련 데이터에 이처럼 다소 특수한 시나리오의 예가 많지 않기 때문입니다. 시스템이 성공하더라도, '녹색'이라는 개념이 의도치 않게 전경 피사체로 확산되는 경향이 있습니다. 얽히게 함:

위에서 볼 수 있듯이, Stable Diffusion은 단일 녹색 강도를 구현하는 것보다 이미지의 진정성을 우선시하여 기존 그린 스크린 시나리오에서 발생하는 실제 문제를 효과적으로 재현했습니다. 아래에서는 '녹색'이라는 개념이 전경 이미지를 오염시킨 것을 볼 수 있습니다. 프롬프트가 '녹색' 개념에 더 집중할수록 이 문제는 더욱 악화될 가능성이 높습니다. 출처: https://stablediffusionweb.com/

진보된 방법을 사용함에도 불구하고, 위에서 볼 수 있는 아래 이미지에서 여성의 드레스와 남성의 넥타이는 녹색 배경과 함께 '빠져나가는' 경향이 있습니다. 이 문제는 1970년대와 1980년대에 광화학적 에멀전 염료를 제거하던 시절에 유래합니다.*

언제나 그렇듯이, 모델의 단점은 특정 데이터를 문제에 적용하고 상당한 학습 리소스를 투입함으로써 극복할 수 있습니다. 스탠포드의 2024년 제안과 같은 시스템은 레이어 디퓨즈 만들 조율이 잘되어있는 알파 채널로 이미지를 생성할 수 있는 모델:

Stanford LayerDiffuse 프로젝트는 모델에 투명성 기능을 부여할 수 있는 백만 개의 적절한 이미지를 사용하여 훈련을 받았습니다. 출처: https://arxiv.org/pdf/2402.17113

안타깝게도 이 접근 방식에 필요한 상당한 큐레이션 및 교육 리소스 외에도 LayerDiffuse에 사용된 데이터 세트는 공개적으로 사용할 수 없으므로 이를 통해 교육된 모델의 사용이 제한됩니다. 이러한 장애물이 없더라도 이 접근 방식은 특정 사용 사례에 맞게 사용자 지정하거나 개발하기 어렵습니다.

2024년 조금 후에 Adobe Research는 Stonybrook University와 협력하여 다음을 제작했습니다. 매직, 맞춤형 확산 이미지를 통해 훈련된 AI 추출 접근 방식입니다.

2024년 논문에서 MAGICK에서 세부적인 알파 채널을 추출하는 예를 보여줍니다. 출처: https://openaccess.thecvf.com/content/CVPR2024/papers/Burgert_MAGICK_A_Large-scale_Captioned_Dataset_from_Matting_Generated_Images_using_CVPR_2024_paper.pdf

150,000개의 추출된 AI 생성 객체가 MAGICK을 훈련하는 데 사용되어 시스템이 추출에 대한 직관적 이해를 개발할 수 있었습니다.

MAGICK 훈련 데이터 세트의 샘플입니다.

이 데이터 세트는 소스 논문에서 언급했듯이 앞서 언급한 이유로 생성하기가 매우 어려웠습니다. 즉, 확산 방법은 단색 키 가능한 색상 띠를 만드는 데 어려움이 있기 때문입니다. 따라서 생성된 매트를 수동으로 선택해야 했습니다.

이러한 물류적 병목 현상은 다시 한번 쉽게 개발하거나 사용자 정의할 수 없는 시스템으로 이어지고, 오히려 처음 훈련된 기능 범위 내에서 사용해야 합니다.

TKG-DM – 잠재 확산 모델을 위한 '네이티브' 크로마 추출

독일과 일본 연구원 간의 새로운 협업은 이러한 훈련된 방법에 대한 대안을 제안했으며, 이 논문은 특별히 큐레이팅된 데이터 세트에서 훈련할 필요 없이 위에 언급된 방법보다 더 나은 결과를 얻을 수 있다고 설명합니다.

TKG-DM은 생성 이미지에 시드를 생성하는 무작위 노이즈를 변경해 어떤 색상이든 견고하고 키잉 가능한 배경을 생성할 수 있는 능력을 향상시킵니다. 출처: https://arxiv.org/pdf/2411.15580

새로운 방법은 최적화를 통해 생성 수준에서 문제에 접근합니다. 무작위 소음 여기서 이미지가 생성됩니다 잠재 확산 모델 (LDM)과 같은 안정적인 확산.

접근 방식은 다음을 기반으로 합니다. 이전 조사 안정된 확산 분포의 색상 체계로 변환하고, 다른 방법에 비해 주요 배경색이 전경 콘텐츠에 얽히는 현상이 적거나 전혀 없이 모든 종류의 배경색을 생성할 수 있습니다.

초기 노이즈는 전경 콘텐츠에 색상 신호를 얽히게 하지 않고도 노이즈 제거 프로세스의 측면에 영향을 줄 수 있는 채널 평균 이동에 의해 조절됩니다.

논문은 다음과 같이 말합니다.

'저희의 광범위한 실험 결과, TKG-DM은 FID와 마스크 FID 점수를 각각 33.7%, 35.9% 향상시켰습니다.

'따라서 우리의 훈련이 필요 없는 모델은 미세 조정된 모델과 경쟁하며, 정확한 전경 및 배경 제어가 필요한 다양한 시각적 콘텐츠 생성 작업에 효율적이고 다재다능한 솔루션을 제공합니다.'

The 새 용지 제목이 TKG-DM: 훈련 없는 크로마키 콘텐츠 생성 확산 모델, 도쿄의 호세이 대학과 카이저슬라우테른의 RPTU 카이저슬라우테른-란다우 & DFKI GmbH의 7명의 연구원이 참여했습니다.

방법

새로운 접근 방식은 초기 가우시안 노이즈를 조건화하여 안정 확산의 아키텍처를 확장합니다. 채널 평균 교대 (CMS)는 생성된 결과에서 원하는 배경/전경 분리를 촉진하도록 설계된 노이즈 패턴을 생성합니다.

제안된 시스템의 스키마.

CMS는 노이즈 제거 프로세스의 전반적인 발전을 유지하면서 각 색상 채널의 평균을 조정합니다.

저자는 다음과 같이 설명합니다.

'크로마 키 배경에 전경 객체를 생성하기 위해 2D 가우시안 [마스크]를 사용하여 초기 [노이즈]와 초기 색상 [노이즈]를 선택적으로 결합하는 초기 노이즈 선택 전략을 적용합니다.

'이 마스크는 전경 영역의 원래 노이즈를 보존하고 색상이 변경된 노이즈를 배경 영역에 적용하여 점진적인 전환을 만듭니다.'

배경 크로마 색상에 필요한 색상 채널은 널 텍스트 프롬프트로 인스턴스화되는 반면, 실제 전경 콘텐츠는 사용자의 텍스트 지침에서 의미적으로 생성됩니다.

자기 관심 그리고 교차주의 이미지의 두 측면(크로마 배경과 전경 콘텐츠)을 분리하는 데 사용됩니다. 셀프 어텐션은 전경 객체의 내부 일관성을 유지하는 데 도움이 되는 반면, 크로스 어텐션은 텍스트 프롬프트에 대한 충실도를 유지합니다. 이 논문은 배경 이미지가 일반적으로 세대별로 덜 자세하고 강조되기 때문에 약한 영향은 비교적 쉽게 극복하고 순수한 색상 견본으로 대체할 수 있다고 지적합니다.

크로마 스타일 생성 과정에서 셀프 어텐션과 크로스 어텐션의 영향을 시각화한 것입니다.

데이터 및 테스트

TKG-DM은 Stable Diffusion V1.5와 Stable Diffusion SDXL을 사용하여 테스트되었습니다. 이미지는 각각 512x512px와 1024x1024px로 생성되었습니다.

이미지는 다음을 사용하여 생성되었습니다. DDIM 스케줄러 안정 확산에 본래부터 존재하며 안내 척도 7.5의 50단계의 노이즈 제거. 대상 배경색은 녹색이었지만 이제 지배적인 탈락 방법.

새로운 접근 방식은 다음과 비교되었습니다. 딥플로이드, MAGICK에 사용된 설정에서 미세 조정된 저등급 확산 모델 그린백 로라; 그리고 앞서 언급한 LayerDiffuse에도 적용됩니다.

이 데이터에는 MAGICK 데이터세트의 이미지 3000개가 사용되었습니다.

새 시스템을 테스트하기 위해 3000개의 이미지를 선별한 MAGICK 데이터 세트의 예입니다. 출처: https://ryanndagreat.github.io/MAGICK/Explorer/magick_rgba_explorer.html

측정을 위해 저자는 다음을 사용했습니다. Fréchet 시작 거리 (FID)를 사용하여 전경 품질을 평가합니다. 또한 m-FID라는 프로젝트별 메트릭도 개발했습니다. 바이레프넷 결과 마스크의 품질을 평가하는 시스템.

이전 방법과 BiRefNet 시스템의 시각적 비교. 출처: https://arxiv.org/pdf/2401.03407

입력 프롬프트와 의미적 정렬을 테스트하려면 CLIP-문장(CLIP-S)과 CLIP-이미지(CLIP-I) 방법이 사용되었습니다. CLIP-S는 신속한 충실도를 평가하고, CLIP-I는 실제 사실과의 시각적 유사성을 평가합니다.

새로운 방법에 대한 첫 번째 정성적 결과 세트, 이번에는 Stable Diffusion V1.5에 대한 것입니다. 더 나은 해상도를 위해 소스 PDF를 참조하십시오.

저자들은 결과(위와 아래에 각각 SD1.5와 SDXL)를 통해 TKG-DM이 신속한 엔지니어링이나 모델을 훈련하거나 미세 조정할 필요 없이 더 뛰어난 결과를 얻었다는 것을 보여준다고 주장합니다.

SDXL 정성적 결과. 더 나은 해상도를 위해 소스 PDF를 참조하세요.

그들은 생성된 결과에 녹색 배경을 유발하라는 프롬프트가 있을 때 Stable Diffusion 1.5가 깨끗한 배경을 생성하는 데 어려움을 겪는 반면 SDXL(성능은 조금 더 나음)은 불안정한 밝은 녹색 색조를 생성하여 크로마 프로세스에서 분리를 방해할 수 있다는 것을 관찰했습니다.

또한 LayerDiffuse가 잘 분리된 배경을 생성하지만, 정확한 숫자나 문자와 같은 세부 정보가 손실되는 경우가 있다고 지적하며, 이는 데이터셋의 한계 때문이라고 설명했습니다. 또한 마스크 생성도 때때로 실패하여 '잘라지지 않은' 이미지가 생성된다고 덧붙였습니다.

정량적 테스트의 경우, LayerDiffuse가 SDXL에서 FID에 유리한 것으로 보이지만, 저자들은 이것이 사실상 '베이킹된' 유연하지 않은 결과물을 구성하는 특수 데이터셋의 결과라고 강조합니다. 앞서 언급했듯이, 해당 데이터셋에 포함되지 않았거나 제대로 포함되지 않은 객체나 클래스는 성능이 좋지 않을 수 있으며, 새로운 클래스를 수용하기 위해 추가적인 미세 조정을 수행해야 하므로 사용자에게 큐레이션 및 학습 부담을 안겨줍니다.

비교를 위한 정량적 결과. 본 논문은 LayerDiffuse의 명백한 이점이 유연성과 데이터 큐레이션 및 학습의 부담을 희생하는 대가로 발생한다고 시사합니다.

논문은 다음과 같이 말합니다.

'DeepFloyd의 높은 FID, m-FID 및 CLIP-I 점수는 DeepFloyd의 출력을 기반으로 한 실제 결과와 유사함을 반영합니다. 그러나 이러한 정렬은 고유한 이점을 제공하여 이미지 품질에 대한 공정한 벤치마크로 적합하지 않습니다. 더 낮은 CLIP-S 점수는 다른 모델에 비해 텍스트 정렬이 약함을 더욱 나타냅니다.

전반적으로 이러한 결과는 우리 모델이 미세 조정 없이 고품질의 텍스트 정렬 전경을 생성할 수 있는 능력을 강조하며, 효율적인 크로마키 콘텐츠 생성 솔루션을 제공합니다.'

마지막으로, 연구진은 다양한 방법론에 대한 신속한 준수도를 평가하기 위해 사용자 연구를 수행했습니다. 30명의 참가자에게 각 방법론에서 XNUMX개의 이미지 쌍을 평가하도록 요청했으며, BiRefNet을 사용하여 피험자를 추출하고 모든 예시에 대해 수동 보정을 수행했습니다. 본 연구에서는 저자들이 제안한 비학습(training-free) 방식을 선호했습니다.

사용자 연구 결과.

TKG-DM은 인기 있는 컨트롤넷 안정적 확산을 위한 제3자 시스템을 개발했으며, 저자는 이 시스템이 이런 종류의 분리를 달성하는 ControlNet의 기본 기능보다 더 뛰어난 결과를 생성한다고 주장합니다.

결론

아마도 이 새로운 논문에서 가장 주목할 만한 사실은 잠재적 확산 모델이 얼마나 얽혀 있는지일 것입니다. 이는 새로운 콘텐츠를 생성할 때 이미지와 비디오의 측면을 쉽게 분리할 수 있다는 대중의 인식과는 대조적입니다.

이 연구는 연구 및 취미 커뮤니티가 미세 조정을 어느 정도까지 활용했는지 더욱 강조합니다. 사후 모델의 단점 해결 - 특정 클래스와 객체 유형을 항상 해결하는 솔루션입니다. 이러한 시나리오에서 미세 조정된 모델은 제한된 수의 클래스에서 매우 잘 작동하거나, 그렇지 않으면 참을 수 있을 정도로 훈련 세트에 더 많은 양의 데이터가 있으므로 가능한 클래스와 객체의 수도 훨씬 더 많아집니다.

그러므로 이렇게 힘들고 거짓이 담긴 해결책에 의존하지 않는 해결책을 하나라도 보는 것은 상쾌한 일입니다.

* 1978년 영화 촬영 초인배우 크리스토퍼 리브는 착용해야 했습니다. 터키석 슈퍼맨의 상징적인 파란색 의상이 지워지는 것을 막기 위해 블루스크린 촬영을 위해 슈퍼맨 의상을 사용했습니다. 이후 컬러 그레이딩을 통해 의상의 파란색을 복원했습니다.