Anderson의 관점
유니튠: 구글의 대안적 신경망 이미지 편집 기술

핵심 포인트UniTune은 단일 이미지에 대해 확산 모델을 미세 조정하여 정밀한 텍스트 기반 편집을 가능하게 합니다.
더 보기
- UniTune은 단일 이미지에 대해 확산 모델을 미세 조정하여 정밀한 텍스트 기반 편집을 가능하게 합니다.
- DreamBooth나 Textual Inversion과 달리, UniTune은 더 나은 세부 묘사 보존을 위해 두 접근법을 모두 거부합니다.
- 이 방법은 높은 의미적 분리를 달성하여 급진적인 배경 변환 중에도 얼굴을 그대로 유지합니다.
구글 리서치에서는 텍스트 기반 이미지 편집을 여러 방면에서 공격하고 있으며, 어떤 것이 효과적인지 확인하기 위해 기다리고 있는 것으로 보입니다. 이번 주에 발표된 Imagic 논문에 이어 검색 대기업 구글은 텍스트 명령으로 다른 방식으로는 불가능한 AI 이미지 편집을 수행하는 또 다른 잠재 확산 기반 방법인 유니튠(UniTune)을 제안했습니다.
프로젝트의 새 논문에 나온 예시를 보면 유니튠은 의미적 자세와 개념을 실제 이미지 내용에서 분리하는 데 놀라운 수준에 도달했습니다.

유니튠의 의미적 구성 능력은 뛰어납니다. 위쪽 행의 사진에서 두 사람의 얼굴이 이미지의 나머지 부분에 대한 비범한 변환으로왜곡되지 않은 것을 확인할 수 있습니다. 출처: https://arxiv.org/pdf/2210.09477.pdf
Stable Diffusion의 팬들은 이미 알고 있듯이, 이미지의 일부 섹션에 편집을 적용하는 것은 때때로 불가능한 작업일 수 있습니다. AUTOMATIC1111과 같은 인기 있는 배포판은 지역 및 제한된 편집을 위한 마스크를 생성할 수 있지만, 이 과정은 번거롭고 예측할 수 없습니다.
컴퓨터 비전 전문가에게는 명백한 해답은 이미지에 의미적 분할을 중간에 삽입하는 것입니다. 이는 사용자 개입 없이 객체를 인식하고 분리할 수 있습니다. 최근 이러한 방향으로 몇 가지 새로운 이니셔티브가 있었습니다.
또 다른 가능성은 오픈AI의 영향력 있는 대조적 언어-이미지 사전 훈련(Contrastive Language–Image Pre-training, CLIP) 모듈을 활용하여 텍스트-이미지 모델이 사용자에게 렌더링을 보내기 전에 필터 및 품질 관리 모듈로 작동하도록 하는 것입니다. 이 경우 CLIP는 잘못된 또는 적합하지 않은 렌더링을 거부하는 감시자 역할을 합니다. 이는 곧 Stability.ai의 API 기반 DreamStudio 포털에 도입될 예정입니다 (Discord 링크).
그러나 CLIP는 이러한 시나리오에서 범인과 해결책 모두이기 때문에(이미지의 진화 방식을 알려주기 때문이다), 하드웨어 요구 사항이 로컬 사용자에게 사용할 수 있는 것보다 더 높을 수 있으므로 이 접근 방식이 이상적이지 않을 수 있습니다.
압축 언어
제안된 유니튠은 기존 확산 모델(이 경우 구글의 Imagen)을 ‘세부 튜닝’하여 고유한 토큰을 삽입합니다. 연구자들은 이 방법이 다른 잠재 확산 아키텍처와도 호환된다고 말합니다. 이 토큰은 텍스트 프롬프트에 포함하여 호출할 수 있습니다.
언뜻 보면 구글의 DreamBooth와 비슷합니다. Stable Diffusion 사용자와 개발자들이 열광하는 DreamBooth는 몇 장의 원본 이미지로 흔히 한 시간 안에 기존 체크포인트에 새 캐릭터나 사물을 추가합니다. 또는 체크포인트의 보조 파일을 만드는 Textual Inversion과도 비슷합니다. 보조 파일은 원래 모델에 학습된 것처럼 취급되고 텍스트 분류기를 수정하여 모델의 방대한 자원을 활용하므로, 가지치기해도 최소 2GB인 DreamBooth 체크포인트보다 훨씬 작습니다. 그러나 연구자들은 두 방법 모두 거부했습니다. Textual Inversion은 중요한 세부 사항을 너무 많이 빠뜨렸고 DreamBooth는 최종 선택한 방법보다 “성능이 낮고 시간도 더 오래 걸렸습니다”.
유니튠은 DreamBooth와 같은 캡슐화된 의미적 ‘메타 프롬프트’ 접근 방식을 사용합니다. 훈련된 변경 사항은 훈련자에 의해 선택된 고유한 단어를 사용하여 호출할 수 있습니다. 이는 이미 모델에 존재하는 용어와 충돌하지 않습니다.
QUOTEOPEN‘편집 작업을 수행하려면 우리는 “[rare_tokens] edit_prompt”와 같은 프롬프트(예: “beikkpic 두 개의 개가 레스토랑에” 또는 “beikkpic 미니언”)로 미세 조정된 모델을 샘플링합니다.'”QUOTECLOSE
과정
이미지 편집 작업을 수행하는 두 개의 거의 동일한 논문이 구글에서 같은 주에 도착한 것은 의아할 수 있습니다. 그러나 두 이니셔티브 사이에는 적어도 하나의 명확한 차이가 있습니다. 후자는 ‘압축되지 않은’ 자연어 프롬프트를 사용하여 이미지 편집 작업을 안내하는 반면, 유니튠은 DreamBooth 스타일의 고유한 토큰을 훈련합니다.
따라서 이미지를 편집하려면…
Imagic에서는 “배경에 앉아 있는 세 번째 사람을 귀엽고 털이 많은 괴물로”라고 입력합니다. 이에 대응하는 유니튠 명령은 ‘남자 뒤에 [x]’‘와 같을 것입니다. 여기서 x는 모피 괴물 캐릭터와 관련된 미세하게 조정된 개념에 바인딩된 고유한 단어입니다.
DreamBooth와 Textual Inversion은 여러 자세로 나타낼 수 있는 딥페이크식 추상화를 만들려고 여러 이미지를 받지만, 유니튠과 Imagic은 원래의 손대지 않은 이미지 하나만 받습니다. 이는 최근 몇 년간 GAN 기반 편집 도구가 입력 이미지를 GAN 잠재 공간의 코드로 변환한 뒤 다른 영역으로 보내 수정하던 방식과 비슷합니다. 예를 들어 젊고 검은 머리인 사람을 “나이 듦”이나 “금발” 코드로 투영합니다.
그러나 확산 모델에서 이러한 방법의 결과는 비교적 놀랍도록 정확합니다.
세부 튜닝 과정
유니튠 방법은 원본 이미지를 확산 모델에 전달하여 수정 방법에 대한 지침을 제공합니다. 이는 모델에 훈련된 방대한 데이터를 사용하여 수행할 수 있습니다. 이는 현재 Stable Diffusion의 img2img 기능으로도 가능하지만, 보존하고 싶은 부분까지 왜곡되거나 바뀌는 것을 피할 수는 없습니다.
유니튠 과정에서 시스템은 미세 조정됩니다. 즉, 모델이 훈련을 재개하고 대부분의 레이어가 언프리즌됩니다. 대부분의 경우, 세부 튜닝은 모델의 일반적인 손실 값을 새로운 측면을 생성하거나 향상시키는 것을 선호하는 방향으로 낮출 것입니다.
그러나 유니튠이 처리하는 모델 사본은 몇 GB 이상일 수 있어도 일회용 보조 “껍질”로 취급되어 한 가지 목적을 마치면 폐기되는 것으로 보입니다. 이런 대용량 임시 데이터는 DreamBooth 사용자들의 일상적인 저장 공간 위기를 낳고 있으며, 그들의 모델은 가지치기해도 주제당 최소 2GB입니다.
Imagic과 마찬가지로 유니튠의 주요 조정은 Imagen의 세 층 가운데 하위 두 층(기본 64px, 64px>256px, 256px>1024px)에서 이루어집니다. Imagic과 달리 연구자들은 마지막이자 가장 큰 초해상도 층을 조정하는 데도 잠재적 가치가 있다고 보지만 아직 시도하지는 않았습니다. 최하위 64px 층에서는 학습 중 기본 이미지를 따르도록 유도하고, 중복된 이미지/텍스트 쌍을 배치 크기 4로 128회 반복하여 입력하며, 학습률 0.0001에서 Adafactor를 손실 함수로 사용합니다. 이 미세 조정에서는 T5 인코더만 동결되며, Imagen의 초기 학습에서도 동결되어 있습니다. 이후 Imagen의 원래 학습과 같은 노이즈 증강 절차로 64>256px 층에서도 작업을 반복합니다.
샘플링
변경 사항을 유도하는 데 사용할 수 있는 샘플링 방법은 여러 가지가 있습니다. 분류기 없는 유도(Classifier Free Guidance, CFG)과 같은 Stable Diffusion의 주요 구성 요소도 포함됩니다. CFG는 모델이 렌더링 가능성을 탐색하거나 입력 소스 데이터에 더 잘 부합하도록 제어하는 정도를 정의합니다.
연구자들은 또한 SDEdit의 ‘늦은 시작’ 기술을 실험했습니다. 이는 시스템이 원본 세부 사항을 유지하도록 유도하는 부분적으로 노이즈에서 시작하는 방식입니다. 연구자들은 이를 최하위 64px 층에만 사용했지만 앞으로 유용한 추가 샘플링 기술이 될 수 있다고 믿습니다.
연구자들은 또한 프롬프트-투-프롬프트(prompt-to-prompt)와 같은 추가 텍스트 기반 기술을 모델에 조건화했습니다.
QUOTEOPEN‘프롬프트 투 프롬프트 설정에서 프롬프트 가이드(prompt guidance)라는 기술이 충실도와 표현력을 조정하는 데 특히 유용하다는 것을 발견했습니다. ‘QUOTECLOSE
QUOTEOPEN‘프롬프트 가이드는 분류기 없는 유도와 비슷하지만, 기준은 무조건 모델이 아닌 다른 프롬프트입니다. 이는 모델을 두 프롬프트 사이의 델타로 안내합니다.'”QUOTECLOSE
그러나 프롬프트 가이드는 CFG가 원하는 결과를 얻지 못하는 경우에만 간혹 필요했습니다.
유니튠 개발 중에 발견된 또 다른 새로운 샘플링 접근 방식은 보간법입니다. 이미지 영역이 충분히 분리되어 있고 원본과 수정본의 구성이 매우 비슷하여 더 단순한 보간을 사용할 수 있습니다.
저자들은 보간법이 잘 작동할 수 있으며, 많은 대상 이미지에서 기본 설정으로 사용할 수 있을 것이라고 제안합니다. 또한 더 집중적인 방법으로 복잡한 가림을 처리할 필요가 없는 경우에도 뛰어난 변환을 수행할 수 있다고 관찰합니다.
유니튠은 편집 마스크가 있거나 없거나 로컬 편집을 수행할 수 있으며, 또한 편집을 위치시키는 데 있어 해석력과 강건성을 모두 가지고 있습니다.

두 번째 열의 최상단 이미지에서 유니튠은 ‘배경에 빨간 기차’를 삽입하도록 지시받았으며, 적절한 위치에 기차를 배치했습니다. 다른 예제에서 이미지의 의미적 무결성이 유지되는 것을 확인할 수 있습니다.
지연
첫 번째 반복은 항상 느릴 수 있으며, 이는 시스템을 최적화하고 속도를 높이는 데 커뮤니티나 기업의 참여가 필요할 수 있습니다. 그러나 유니튠과 이미지는 둘 다 편집을 생성하기 위해 주요 기계 학습 매뉴버를 수행하며, 이러한 리소스 집약적인 프로세스가 API를 통한 접근 대신 가정용으로 축소될 수 있을지는 의문입니다. Google은 API 접근을 더 선호할 수도 있습니다.
현재, 입력에서 결과까지의 라운드 트립은 T4 GPU에서 약 3분이며, 추론에는 약 30초가 더 걸립니다. 저자들은 이것이 높은 지연이며, 상호작용에 해당하지 않는다고 인정하지만, 모델이 초기에 조정된 후 편집이 완료될 때까지 사용할 수 있으므로 편집 시간을 줄일 수 있다고 주장합니다.
최초로 게시된 날짜: 2022년 10월 21일.



















