์ธ๊ณต์ง๋ฅ
์ธ๊ณต์ง๋ฅ ์์คํ ์ด ์ฌ๋์ ์ด๋ฏธ์ง๋ฅผ ๋ ‘์๋ฆ๋ต๊ฒ’ ๋ง๋ค ์ ์๋ค
중국의 연구자들은 사람의 이미지를 더 ‘아름답게’ 만들 수 있는 새로운 인공지능 기반 이미지 향상 시스템을 개발했다. 이 시스템은 강화 학습에 대한 새로운 접근 방식을 기반으로 한다.
새로운 접근 방식은 ‘얼굴 아름다움 예측 네트워크’를 사용하여 여러 가지 요인 중에서 조명과 눈의 姿勢가 중요한 요소일 수 있는 이미지의 변형을 반복한다. 여기 원본 소스(각 열의 왼쪽)는 EigenGAN 시스템에서 가져온 것이며, 새로운 결과는 오른쪽에 있다. 출처: https://arxiv.org/pdf/2208.04517.pdf
이 기술은 2021년 중국 프로젝트인 EigenGAN 생성기에서 발견된 혁신을 기반으로 한다. EigenGAN 생성기는 생성적 적대 신경망(GAN)의 잠재 공간 내에서 다양한 의미 속성을 식별하고 제어하는 데显著한 발전을 이루었다.
2021년 EigenGAN 생성기는 생성적 적대 신경망의 잠재 공간 내에서 높은 수준의 개념인 ‘머리 색상’을 식별할 수 있었다. 새로운 연구는 이 혁신적인 도구를 기반으로 하여 소스 이미지를 ‘아름답게’ 만들 수 있는 시스템을 제공한다. 그러나 이전 접근 방식의 문제인 인식 가능한 정체성을 변경하지 않는다. 출처: https://arxiv.org/pdf/2104.12476.pdf
시스템은 SCUT-FBP5500(SCUT)에서 파생된 ‘미학 점수 네트워크’를 사용한다. SCUT는 2018년 광저우의 남중국科技大学에서 개발한 얼굴 아름다움 예측 벤치마크 데이터셋이다.
2018년 논문 ‘SCUT-FBP5500: 다중 패러다임 얼굴 아름다움 예측을 위한 다양한 벤치마크 데이터셋’에서 제공된 ‘얼굴 아름다움 예측’ 네트워크는 얼굴을 인식된 매력도에 따라 순위 매길 수 있었다. 그러나 실제로 얼굴을 변형하거나 ‘업그레이드’할 수는 없었다. 출처: https://arxiv.org/pdf/1801.06345.pdf
새로운 시스템은 이전 연구와 달리 실제로 변형을 수행할 수 있다. 그러나 2018년 프로젝트는 60명의 混성 라벨러(남녀 50:50 비율)가 제공한 5,500개의 얼굴에 대한 알고리즘적 가치 판단을 포함한다. 이러한 판단은 새로운 시스템에서 효과적인 판별기로서 통합되었다.
새로운 논문은 Attribute Controllable Beautiful Caucasian Face Generation by Aesthetics Driven Reinforcement Learning이라는 제목을 가지고 있다. 시스템이 백인 외의 모든 인종을 제외하는 이유는 SCUT 데이터가 주로 아시아 출신의 데이터(4,000개의 아시아 여성/남성, 1,500개의 백인 여성/남성)로 구성되어 있기 때문이다. 따라서 시스템은 한 인종 내에서 색상 변화를 수용하기 위해 원래 데이터에서 아시아 구성 요소를 제외하거나 새로운 방법을 개발해야 했다.
관련 속성
연구자들은 이미지의 다양한 변경 사항을 테스트하여 알고리즘적 아름다움 인식에 미치는 영향을 조사했다. 그들은 좋은 사진보다 좋은 유전자가 더 중요한 요소가 있다는 것을 발견했다.
조명 외에도 가장 큰 영향을 미친 요소는 뱅스(남성의 경우 머리카락이 많을수록 매력적인 요소), 몸 姿勢, 눈의 姿勢(카메라와의 상호작용이 매력적인 요소)였다.
방법
강화 학습 메커니즘의 보상 함수는 SCUT 데이터에 대한 간단한 회귀를 통해 구동된다. 시스템은 입력 이미지(스키마의 왼쪽 아래)에 대한 특징을 추출하기 위해 사전 훈련된 ResNet18 모델을 사용한다.
새로운 시스템의 워크플로우를 보여주는 일러스트레이션.
테스트 및 사용자 연구
제안된 방법의 5가지 변형이 알고리즘적으로 평가되었으며, 총 1,000개의 이미지가 시스템을 통해 처리되었다.
연구자들은 시스템의 출력이 EigenGAN과 시스템의 5가지 변형 중에서 가장 높은 선택률을 얻었다고 보고했다.
위: 사용자 연구에 사용된 GUI; 아래: 결과.
아름다움의 추구
이 시스템의 유용성은 명확하지 않다. 그러나 시스템은 뷰티 시장을 위한 다양한 응용 프로그램을 가질 수 있다.
새로운 연구는 중국의 국가 자연 과학 기금, 복잡 시스템 관리 및 제어 국가 키 연구실의 오픈 펀드 프로젝트, 중국 교육부의 철학 및 사회 과학 연구 프로젝트 등 여러 기관의 지원을 받았다.
* EigenGAN 논문은 2016년 출판된 ‘Computer Models for Facial Beauty Analysis’라는 책을 참조한다.
最初에 2022년 8월 11일에 게시되었다.
