인공 지능으로 더 나은 몸 만들기

알리바바의 DAMO 아카데미에서 수행된 새로운 연구는 이미지의 몸 부분을 자동으로 재구성하는 인공 지능 기반 워크플로우를 제공합니다. 이는 현재 얼굴 기반 조작에 중점을 둔 컴퓨터 비전 분야에서 드문 노력입니다.

결과 열에 생성된 주의 맵이 표시됩니다. 수정할 영역을 정의합니다. 출처: https://arxiv.org/pdf/2203.04670.pdf

연구자들의 아키텍처는 골격 姿勢 추정을 사용하여 이미지 합성 및 편집 시스템이 기존 몸 이미지의 개념화 및 매개변수화에서 직면하는 더 큰 복잡성을 해결합니다.

추정된 골격 맵은 몸의 특정 영역에 주의를 집중할 수 있도록 도와줍니다.

시스템은 사용자가 몸의 무게, 근육량 또는 무게 분포를 변경할 수 있는 매개변수를 설정할 수 있으며, 전신 또는 중간 사진의 옷을 입은 또는 옷을 벗은 몸 부분에 임의의 변환을 생성할 수 있습니다.

왼쪽, 입력 이미지; 중간, 유도된 주의 영역의 열 지도; 오른쪽, 변환된 이미지.

이 연구의 동기는 사진가와 미디어의 다양한 분야에서 수행되는 노동적인 디지털 조작을 대체할 수 있는 자동화된 워크플로우를 개발하는 것입니다.

몸의 리터칭은 주로 여성들이 원하기 때문에 우리의 수집된 이미지 대부분은 여성 사진입니다. 다양한 연령, 인종, 姿勢 및 의류를 고려하여 수집했습니다.

논문은 인간 몸 재구성을 위한 구조 인식 흐름 생성이라는 제목을 가지고 있으며, 알리바바의 글로벌 DAMO 아카데미와 관련된 5명의 저자에 의해 작성되었습니다.

데이터셋 개발

이미지 합성 및 편집 시스템을 위한 아키텍처는 사용자 정의 훈련 데이터셋을 요구합니다. 연구자들은 3명의 사진가를 고용하여 스톡 사진 사이트 Unsplash의 적절한 이미지에 대한 표준 Photoshop 조작을 수행했습니다. 결과는 2K 해상도의 5,000개의 고화질 이미지로 구성된 BR-5K* 데이터셋을 생성했습니다.

연구자들은 이 데이터셋을 훈련하여 ‘ 理想化’된 특징이나 매력적인 외모를 생성하는 것이 아니라 전문적인 몸 이미지 조작에서 추출된 중심 특징 매핑을 생성하는 것을 목표로 합니다.

우리는 세 명의 전문 아티스트를 초대하여 Photoshop을 사용하여 몸의 리터칭을 수행했습니다. 목표는 인기 있는 미학적 기준에 맞는 날씬한 몸매를 달성하는 것이었습니다. 그리고 우리는 최고의 결과를 기준으로 선택했습니다.

아키텍처 및 핵심 개념

시스템의 워크플로우는 높은 해상도의 초상화를 입력받고, 사용 가능한 컴퓨팅 자원에 맞게 낮은 해상도로 다운샘플링하고, 추정된 골격 맵 姿勢 및 Part Affinity Fields (PAFs)를 추출하는 것을 포함합니다.

Part Affinity Fields는 2016년 카네기 멜런 대학교의 로봇공학 연구소에서 개발되었습니다. 이는 새로운 프로젝트에 추가적인 주의 및 위치 지정 도구를 제공합니다.

2016년 Part Affinity Fields 논문에서 예측된 PAFs는肢体의 방향을 인코딩합니다. 출처: https://arxiv.org/pdf/1611.08050.pdf

골격 맵은 몸의 특정 부분에 대한 최종 변환 과정을 направ하는 데 유용합니다.

테스트

흐름 기반 프레임워크는 이전의 흐름 기반 방법 FAL 및 Animating Through Warping (ATW)과 이미지 번역 아키텍처 Pix2PixHD 및 GFLA와 비교하여 테스트되었습니다. 평가 지표로는 SSIM, PSNR 및 LPIPS가 사용되었습니다.

초기 테스트 결과 (헤더의 화살표 방향은 더 낮은 또는 더 높은 값이 더 좋은지 나타냅니다).

采用된 지표에 따르면, 저자의 시스템은 이전 아키텍처를 능가합니다.

도전

새로운 논문은 인공 지능 기반 몸 조작에 대한 드문 시도입니다. 이미지 합성 분야는 현재 Neural Radiance Fields (NeRF)를 통해 editable 몸을 생성하거나 GANs의 잠재 공간을 탐색하는 것에 더 관심이 있습니다.

저자의 이니셔티브는 현재 몸의 무게를 변경하는 데만 국한되어 있으며, 배경을 복원하는 inpainting 기술은 구현되지 않았습니다.

그러나 저자들은 포트레이트 매칭 및 텍스처 추론을 통해 배경을 복원할 수 있을 것이라고 제안합니다.

AI 기반 체중 감량으로 노출된 배경을 복원하는 제안된 해결책.

* 전자 논문은 데이터셋에 대한 자세한 정보 및 프로젝트의 추가 예시를 제공하는 보충 자료를 참조하지만, 이 자료의 위치는 논문에서 제공되지 않으며, 해당 저자는 아직 접근 요청에 응하지 않았습니다.

최초로 게시된 날짜는 2022년 3월 10일입니다.