Anderson의 관점
어도비 리서치, 특성을 분리한 GAN 얼굴 편집 기능 확장

핵심 포인트Adobe의 잠재-잠재 매퍼는 재학습 없이 35개의 얼굴 속성을 편집하면서 정체성을 고정합니다.
더 보기
- Adobe의 잠재-잠재 매퍼는 재학습 없이 35개의 얼굴 속성을 편집하면서 정체성을 고정합니다.
- 이 시스템은 속성 변환 중 정체성 저하를 방지하기 위해 FaceNet을 판별기로 사용합니다.
- InterFaceGAN과 같은 경쟁 프레임워크는 나이와 성별 또는 안경을 얽히게 하지만, Adobe의 접근 방식은 이러한 부작용을 피합니다.
이미지 합성에서 특성의 얽힘(entanglement)이 왜 문제인지 이해하기는 어렵지 않다. 일상생활에서도 비슷한 문제가 흔하다. 예를 들어 카레에서 강황을 제거하는 것은 버거에서 피클을 빼는 것보다 훨씬 어렵고, 커피에 넣은 설탕을 다시 제거하는 것은 사실상 불가능하다. 어떤 것들은 그냥 함께 묶여 있다.
마찬가지로, 특성의 얽힘는 이상적으로 다양한 특징과 개념을 분리하여 기계 학습을 사용하여 얼굴(또는 개, 보트 등)을 생성하거나 편집하는 이미지 합성 아키텍처에 대한 장애물이다.
나이, 성별, 머리 색상, 피부 톤, 감정 등의 특성을 분리할 수 있다면, 실제로 유용하고 유연한 프레임워크의 토대가 될 것이다. 얼굴 이미지를 세밀하게 생성하고 편집하면서 원치 않는 특성을 변환에 끌어들이지 않을 수 있기 때문이다.
최대 특성의 얽힘(위쪽 왼쪽)에서는 학습된 GAN 네트워크의 이미지만 다른 사람의 이미지로 변경할 수 있다.
이는 효과적으로 최신 AI 컴퓨터 비전 기술을 사용하여 30여 년 전 다른 수단으로 해결된 것을 달성하는 것이다.
일정 정도의 분리(‘중간 분리’ 위의 이전 이미지)가 가능하면, 헤어 색상, 표현, 화장, 제한된 헤드 회전 등과 같은 스타일 기반의 변경을 수행할 수 있다.

출처: FEAT: Face Editing with Attention, 2022년 2월, https://arxiv.org/pdf/2202.02713.pdf
최근 2년 동안 상호작용 얼굴 편집 환경을 생성하여 사용자가 슬라이더와 전통적인 UI 상호작용을 사용하여 얼굴 특성을 변경하되 추가나 변경 과정에서 대상 얼굴의 핵심 특징을 그대로 유지할 수 있도록 하려는 시도가 여러 차례 있었다. 그러나 이것은 GAN의 잠재 공간에서 특징/스타일 특성의 얽힘로 인해 도전이 되었다.
예를 들어, 안경 특성은 종종 노화 특성과 얽혀 있다. 즉, 안경을 추가하면 얼굴이 늙어 보일 수 있고, 얼굴을 늙게 만들면 안경이 함께 추가될 수 있다. 이는 적용된 분리의 정도에 따라 다르다(아래 ‘테스트’ 참조).
가장 주목할 만한 것은 머리 색상과 다른 머리 요소를 변경하는 것이 거의 불가능했다. 이는 머리 스트랜드와 배치가 재계산되어 불안정하게 일렁이는 전환 효과를 줄 수 있다.

출처: InterFaceGAN Demo (CVPR 2020), https://www.youtube.com/watch?v=uoftpl3Bj6w
잠재 공간에서 잠재 공간으로의 GAN 트래버설
어도비 (ADBE )가 주도하고 WACV 2022에 제출한 새 연구는 이러한 근본 문제에 새로운 접근법을 제시한다. 논문 제목은 잠재 공간에서 잠재 공간으로: StyleGAN 생성 이미지에서 정체성을 유지하며 여러 얼굴 속성을 편집하기 위한 학습된 매퍼이다.

다음 논문의 보충 자료: 잠재 공간에서 잠재 공간으로: StyleGAN 생성 이미지에서 정체성을 유지하며 여러 얼굴 속성을 편집하기 위한 학습된 매퍼. 학습된 얼굴의 기본 특징이 관련 없는 변화에 휩쓸리지 않는 것을 볼 수 있다. 더 자세한 내용과 높은 해상도는 글 끝에 삽입된 전체 영상을 참고할 수 있다. 출처: https://www.youtube.com/watch?v=rf_61llRH0Q
이 논문은 어도비의 Applied Scientist Siavash Khodadadeh와 다른 4명의 어도비 연구원, 그리고 센트럴플로리다 대학교의 컴퓨터 과학부 연구원에 의해 수행되었다.
이 연구가 흥미로운 이유 중 하나는 어도비가 이미 이 분야에서 활동해 왔고, 향후 몇 년 안에 이런 기능이 Creative Suite 프로젝트에 들어갈 모습을 상상할 수 있다는 점이다. 더 중요한 이유는 제안한 아키텍처가 변경을 적용하는 동안 GAN 얼굴 편집기의 시각적 일관성을 유지하는 데 다른 접근법을 취한다는 점이다.
저자들은 다음과 같이 말한다:
‘우리는 변경된 속성을 가진 이미지에 해당하는 잠재 코드를 찾는 잠재 공간 간 변환 신경망을 훈련합니다. 이 기술은 한 번의 변환 단계로 처리하므로 속성을 점진적으로 변화시키는 선형 또는 비선형 경로에 의존하지 않습니다.
‘전체 생성 파이프라인을 통해 네트워크를 종단 간 방식으로 훈련함으로써, 시스템은 기성 생성기 아키텍처의 잠재 공간에 적응할 수 있습니다. 동일성과 같은 보존 속성은 훈련 손실의 형태로 인코딩될 수 있습니다.
‘한 번 훈련된 잠재 공간에서 잠재 공간으로의 네트워크는 재훈련 없이 임의의 이미지에 재사용할 수 있습니다.’
이 마지막 부분은 제안된 아키텍처가 최종 사용자에게 완성된 상태로 도착한다는 것을 의미한다. 여전히 로컬 리소스에서 신경망을 실행해야 하지만, 새로운 이미지는 거의 즉시 변경할 준비가 될 수 있다. 이는 프레임워크가 충분히 분리되어 이미지별 추가 훈련을 필요로 하지 않기 때문이다.

슬라이더가 잠재 공간에서 임의의 경로를 그리면서 성별과 얼굴의 털이 바뀐다. 단순히 두 끝점 사이를 오가는 방식이 아니다. 더 높은 해상도의 다른 변환은 글 끝에 삽입된 영상을 참고할 수 있다.
이 연구의 주요 성과 중 하나는 네트워크가 잠재 공간에서 동일성을 ‘동결’할 수 있는 능력이다. 이는 대상 벡터에서 속성만 변경하고, 변환되는 동일성을 보존하는 ‘보정 항’를 제공한다.
본질적으로, 제안된 네트워크는 처리된 요소를 모두 오케스트레이팅하는 더 넓은 아키텍처에 내장되어 있다. 이는 프리트레인된 구성 요소와 동결된 가중치를 통과하며, 변환에서 원치 않는 측면 효과를 생성하지 않는다.
훈련 과정은 삼중항을 사용하며, 이는 초기 이미지(GAN 역변환을 통해) 또는 기존 초기 잠재 인코딩에 의해 생성될 수 있다. 따라서 전체 훈련 과정은 무감독이며, 이러한 시스템에서 사용되는 범위의 라벨링 및 큐레이션 시스템의 묵시적 동작이 아키텍처에 효과적으로 내장되어 있다. 실제로, 새로운 시스템은 기성 속성 회귀 모델를 사용한다:
‘우리의 네트워크가 독립적으로 제어할 수 있는 속성의 수는 인식기(들)의 능력에만 제한된다. 인식기가 있는 경우, 우리는 임의의 얼굴에 속성을 추가할 수 있다. 우리의 실험에서, 우리는 35개의 다른 얼굴 속성을 조정할 수 있는 잠재 공간에서 잠재 공간으로의 네트워크를 훈련시켰다. 이는 이전 접근 방식보다 더 많다.’
시스템에는 원치 않는 ‘부작용’ 변환에 대한 추가적인 안전 장치가 있다. 속성 변경을 요청하지 않는 경우, 잠재 공간에서 잠재 공간으로의 네트워크는 잠재 벡터를 자신에게 매핑하여 대상 동일성의 안정적인 지속성을 더욱 증가시킨다.
얼굴 인식
최근 몇 년 동안 GAN 및 인코더/디코더 기반 얼굴 편집기에 대한 반복되는 문제 중 하나는 적용된 변형이 닮은 정도를 저하시킨다는 것이다. 이를 극복하기 위해 어도비 프로젝트는 FaceNet이라는 내장 얼굴 인식 네트워크를 판별기로 사용한다.

프로젝트 아키텍처. FaceNet은 그림 아래쪽 중앙에서 왼편에 포함되어 있다. 출처: 잠재 공간에서 잠재 공간으로: StyleGAN 생성 이미지에서 정체성을 유지하며 여러 얼굴 속성을 편집하기 위한 학습된 매퍼, OpenAccess.
(개인적으로 이는 표준 얼굴 식별, 나아가 표정 인식 시스템을 생성 네트워크에 통합하는 고무적인 진전으로 보인다. 현재 딥페이크 아키텍처를 지배하면서 표정의 충실도와 얼굴 생성의 다른 중요한 측면을 희생하는 맹목적인 픽셀 간 매핑을 극복하는 가장 유망한 방향일 수 있다.)
잠재 공간에서 모든 영역에 접근
이 프레임워크의 또 다른 인상적인 기능은 사용자가 임의로 잠재 공간의 변환 사이를 여행할 수 있는 능력이다. 이전 시스템은 사용자가 선형 또는 규정된 경험을 제공하는 고정된 특징 변환 타임라인 사이를 ‘스크럽’하는 것만 허용했다.

다음 연구에서 발췌: 공간 인식 향상을 통한 GAN 균형 개선. 사용자는 잠재 공간의 두 위치 사이에 있는 여러 전환 가능 지점을 오가지만, 미리 학습된 잠재 공간 위치 안에서만 움직인다. 같은 자료에 다른 종류의 변환을 적용하려면 재설정 및/또는 재훈련이 필요하다. 출처: https://genforce.github.io/eqgan/
이 프레임워크는 완전히 새로운 사용자 이미지도 받아들이며, 사용자는 변환 과정 중에 보존하고 싶은 요소를 수동으로 ‘동결’할 수 있다. 이를 통해 사용자는 배경이 이동하지 않거나 눈이 열려 있거나 닫혀 있는 것을 보장할 수 있다.
데이터
속성 회귀 네트워크는 세 가지 데이터셋으로 훈련되었다. FFHQ, CelebAMask-HQ, 그리고 StyleGAN-V2의 Z 공간에서 벡터 400,000개를 표본 추출하여 GAN으로 로컬 생성한 데이터셋이다.
OOD 이미지는 필터링되었으며, Microsoft의 Face API를 사용하여 속성이 추출되었으며, 결과 이미지 세트는 90/10으로 분할되어 721,218개의 훈련 이미지와 72,172개의 테스트 이미지로 비교되었다.
테스트
실험 네트워크는 초기에 35개의 잠재적인 변환을 수용하도록 구성되었지만, 비교 가능한 프레임워크인 InterFaceGAN, GANSpace, StyleFlow와의 테스트를 수행하기 위해 8개로 줄었다.
선택된 여덟 속성은 나이, 탈모, 수염, 표정, 성별, 안경, 머리의 위아래 기울기, 머리의 좌우 회전이었다. 일부 속성(예: InterFaceGAN에 탈모와 수염 추가)은 원래 배포에서 제공되지 않았으므로 경쟁 프레임워크를 다시 구성해야 했다.
예상대로, 라이벌 아키텍처에서 더 높은 수준의 특성의 얽힘가 발생했다. 예를 들어, 한 테스트에서 InterFaceGAN과 StyleFlow는 나이 변경을 요청했을 때 대상 인물의 성별을 변경했다.
또한, 두 개의 라이벌은 안경과 나이가 분리할 수 없는 특성이라고 판단했다.
연구는 완벽하게 승리하지 못했다. 아래의 비디오를 참조하십시오. 프레임워크는 다양한 각도(요)를 외삽할 때 가장 효과가 없으며, GANSpace는 나이 변경과 안경 추가에서 더 나은 결과를 보인다. 잠재 공간에서 잠재 공간으로의 프레임워크는 피치(머리 각도) 추가에서 GANSpace와 StyleFlow와 동률을 이룬다.

MTCNN 얼굴 검출기의 보정에 기반하여 계산한 결과. 수치가 낮을수록 좋다.
자세한 내용과 더 높은 해상도의 예제는 아래의 비디오를 참조하십시오.
최초 게시일: 2022년 2월 16일.















