사람의 이미지를 더 '아름답게' 만들어주는 AI 시스템

중국의 연구원들이 강화 학습에 대한 새로운 접근 방식을 기반으로 사람의 이미지를 더 '아름답게' 만들 수 있는 새로운 AI 기반 이미지 향상 시스템을 개발했습니다.

새로운 접근 방식은 '얼굴 아름다움 예측 네트워크'를 사용하여 '조명'과 눈 포즈가 중요한 요소일 수 있는 여러 요소를 기반으로 이미지의 변형을 반복합니다. 여기에서 원본 소스(각 열의 왼쪽)는 EigenGAN 시스템에서 가져온 것이며 새 결과는 오른쪽에 있습니다. 출처 : https://arxiv.org/pdf/2208.04517.pdf

이 기술은 다음을 위해 발견된 혁신에 의존합니다. EigenGAN 생성기, 2021년의 또 다른 중국 프로젝트로 다양한 시맨틱 속성 GAN(Generative Adversarial Networks)의 잠재 공간 내에서.

2021 EigenGAN 생성기는 생성적 적대 네트워크의 잠재 공간 내에서 '머리 색깔'과 같은 높은 수준의 개념을 개별화할 수 있었습니다. 새로운 작업은 소스 이미지를 '미화'할 수 있는 시스템을 제공하기 위해 이 혁신적인 도구를 기반으로 하지만 인식 가능한 ID를 변경하지 않고 이전 접근 방식의 문제입니다. 출처 : https://arxiv.org/pdf/2104.12476.pdf

시스템은 다음에서 파생된 '미학 점수 네트워크'를 사용합니다. SCUT-FBP5500 (SCUT), 얼굴 아름다움 예측을 위한 2018년 벤치마크 데이터 세트, 광저우에 있는 화난 공과 대학.

2018년 논문 'SCUT-FBP5500: A Diverse Benchmark Dataset for Multi-Paradigm Facial Beauty Prediction'에서 인지된 매력도 측면에서 얼굴의 순위를 매길 수 있지만 실제로는 변환할 수 없는 '얼굴 아름다움 예측'(FBP) 네트워크를 제안했습니다. 또는 '업그레이드' 얼굴.  출처 : https://arxiv.org/pdf/1801.06345.pdf

새로운 작업과 달리 2018 프로젝트는 실제로 변환을 실행할 수 없지만 5,500명의 혼합 성별 라벨러(60/50 분할)가 제공한 50개의 얼굴에 대한 알고리즘 값 판단을 포함합니다. 이들은 효과적인 것으로 새로운 시스템에 통합되었습니다. 판별 자, 이미지의 '매력'을 향상시킬 수 있는 변환을 알립니다.

흥미롭게도 새 용지 제목이 미학 기반 강화 학습에 의한 특성 제어 가능한 아름다운 백인 얼굴 생성. 백인을 제외한 모든 인종이 시스템에서 제외되는 이유(연구자 자신도 중국인임을 고려)는 SCUT의 소스 데이터가 특히 아시아인 소스(아시아인 여성/남성 4000명, 백인 여성 1500명)에 편향되어 있기 때문입니다. /males), 해당 데이터 세트의 '보통 사람'을 갈색 머리와 갈색 눈으로 만듭니다.

따라서 적어도 하나의 인종 내에서 색상 변화를 수용하기 위해서는 원래 데이터에서 아시아인 구성 요소를 제외하거나 데이터를 재구성하는 데 상당한 비용을 들여 데이터를 재구성하여 전개되지 않았을 수 있는 방법을 개발해야 했습니다. 추가적으로, 아름다움에 대한 문화적 인식의 차이 필연적으로 이러한 시스템은 '매력'을 구성하는 것과 관련하여 어느 정도의 지리적 구성 가능성이 필요함을 의미합니다.

관련 속성

사람의 '매력적인' 사진에 대한 주요 기여 요인을 결정하기 위해 연구자들은 이미지에 대한 다양한 변화의 효과를 테스트했습니다. 그러한 증강이 '아름다움'에 대한 알고리즘 인식을 얼마나 잘 향상시켰는지에 대해 말입니다. 그들은 적어도 하나의 측면이 좋은 유전학보다 좋은 사진에 더 중요하다는 것을 발견했습니다.

조명 외에도 뷰티 점수에 가장 큰 영향을 미쳤던 측면은 앞머리(남성의 경우 머리가 완전히 자란 것과 같은 경우가 많음), 신체 포즈, 눈의 성향(남녀와 교감하는 위치)이었습니다. 카메라 시점은 매력에 대한 필립).

('립스틱 컬러'와 관련하여, 남성과 여성 모두의 젠더 표현에 효과적으로 작용할 수 있는 새로운 시스템은 젠더 외모를 개별화하지 않고 오히려 이러한 점에서 '필터'로서 새로운 판별 시스템에 의존합니다.)

방법

새로운 시스템의 강화 학습 메커니즘의 보상 기능은 얼굴 아름다움 예측을 출력하는 SCUT 데이터에 대한 간단한 회귀에 의해 구동됩니다.

교육 시스템은 데이터 입력 이미지를 반복합니다(아래 회로도의 왼쪽 하단). 처음에는 사전 훈련된 레스넷18 모델(교육 IMAGEnet)는 XNUMX개의 동일한('y') 이미지에서 특징을 추출합니다. 다음으로, 잠재적인 변환 작업은 숨겨진 상태에서 파생됩니다. 완전히 연결된 레이어 (그루셀, 아래 이미지에서) 및 적용된 변환은 미학 점수 네트워크에 공급되는 XNUMX개의 변경된 이미지로 이어지며 순위인 다윈 스타일에 따라 어떤 변형이 개발되고 어떤 변형이 폐기되는지 결정됩니다.

새 시스템의 워크플로우 그림.

미학 점수 네트워크는 효율적인 채널 주의(Efficient Channel Attention)를 사용합니다.ACE) 모듈, 사전 훈련된 인스턴스의 적응 이피션트넷-B4 각 이미지에서 1,792개의 특징을 추출해야 합니다.

통해 정규화 후 ReLU 활성화 함수, 4차원 벡터는 ECA 모듈에서 다시 얻은 다음 활성화 후 XNUMX차원 벡터로 평면화되고 적응형 평균 풀링. 마지막으로 결과는 회귀 네트워크, 미학 점수를 검색합니다.

시스템 출력의 정성적 비교. 맨 아래 행에는 EigenGAN 방법으로 식별되고 이후에 향상된 모든 개별 패싯의 집계된 합계가 표시됩니다. 이미지의 평균 FID 점수는 이미지 행의 왼쪽에 있습니다(높을수록 좋음).

테스트 및 사용자 연구

제안된 방법의 다섯 가지 변형은 Fréchet 시작 거리(FID, 일각에선 논란) 시스템을 통해 총 1000개의 이미지에 할당된 점수.

연구원들은 조명을 개선하면 다른 몇 가지 더 '명백한' 가능한 변화(즉, 묘사된 사람의 실제 모습)보다 사진의 피사체에 대해 더 나은 매력 점수를 얻었다는 점에 주목합니다.

이러한 방식으로 시스템을 테스트하는 것은 '밝은 미소'가 많지 않은 SCUT 데이터의 편심에 의해 어느 정도 제한되며, 저자는 이것이 보다 일반적인 '수수께끼' 모양을 과도하게 과장할 수 있다고 주장합니다. 잠재적인 대상 최종 사용자(아마도 이 경우 서구 시장)의 선호도와 비교하여 데이터를 비교합니다.

그러나 전체 시스템이 60명의 평균 평균 의견(EigenGAN 논문에서)에 달려 있고 연구되는 품질이 경험적과는 거리가 멀기 때문에 절차가 데이터 세트보다 더 건전하다고 주장할 수 있습니다.

논문에서는 매우 간략하게 다루었지만, EigenGAN의 이미지와 시스템 자체의 XNUMX가지 변형은 제한된 사용자 연구(XNUMX명의 참가자)에서도 표시되었으며, 이들은 '최고의 이미지'('매력적'이라는 단어가 회피).

위의 GUI는 소규모 스터디 그룹에 제공되었습니다. 아래 결과.

결과는 새로운 시스템의 출력이 참가자들 사이에서 가장 높은 선택률을 달성했음을 나타냅니다(위 이미지의 'MAES').

(목적 없는?) 아름다움 추구

그러한 시스템의 효용성은 확립하기 어렵습니다. 주목할 만한 유전자좌 of 노력 in China 이러한 목표를 향해. 새 간행물에는 아무 것도 설명되어 있지 않습니다.

이전 EigenGAN 논문은* 아름다움 인식 시스템이 얼굴에 사용될 수 있다고 제안합니다. 메이크업 합성 추천 시스템, 미용 수술, 얼굴 미화또는 콘텐츠 기반 이미지 검색.

아마도 이러한 접근 방식은 오래된 사진 또는 사진을 사용하는 대신 자신의 프로필 사진을 보장된 '럭키 샷'으로 '강화'하기 위해 최종 사용자가 데이트 사이트에서 사용할 수도 있습니다. 다른 사람들의.

마찬가지로 데이트 사이트 자체도 고객에게 '점수'를 매겨 등급을 매길 수 있으며 심지어 제한된 액세스 계층, 하지만 이것은 아마도 제출된 사진이 아닌 라이브니스 인증 캡처를 통해서만 작동할 것입니다(접근 방식이 인기를 얻으려면 마찬가지로 클라이언트가 '강화'할 수 있음).

광고에서 아름다움을 평가하는 알고리즘 방식 보는 사람)는 대상 청중의 관심을 끌 가능성이 가장 높은 비보상 창의적 결과물을 선택하는 데 사용될 수 있으며, 실제로 딥페이크 스타일로 얼굴 이미지를 덮어쓰지 않고 얼굴 이미지의 미적 영향을 실제로 최대화할 수 있는 능력은 의도된 이미 효과적인 이미지를 향상시킬 수 있습니다. 대중의 관심을 끌기 위해.

이 새로운 연구는 중국 국립자연과학재단, 복합 시스템 관리 및 제어 국가 핵심 연구소의 공개 기금 프로젝트, 중국 교육부의 철학 및 사회과학 연구 프로젝트 등의 지원을 받고 있습니다.

* EigenGAN 논문의 많은 권장 사항은 학술 자료보다는 '얼굴 미용 분석을 위한 컴퓨터 모델'이라는 제목의 상업적으로 이용 가능한 2016년 책을 가리키고 있습니다.

11년 2022월 XNUMX일에 처음 게시되었습니다.