Anderson의 관점

인공지능으로 인간 신체 유형 재구성

Martin Anderson
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트NeuralReshaper는 SMPL 파라메트릭 모델을 사용하여 체중, 키, 신체 비율을 세밀하게 제어할 수 있게 합니다.
더 보기
  • NeuralReshaper는 SMPL 파라메트릭 모델을 사용하여 체중, 키, 신체 비율을 세밀하게 제어할 수 있게 합니다.
  • 트윈 인코더 구조는 전경 신체 리쉐이핑과 배경 인페인팅을 별도로 처리하여 사실적인 결과를 제공합니다.
  • SMPL 기반 CGI 방법은 GAN과 NeRF가 아직 신체 형태 매개변수를 안정적으로 편집할 수 없기 때문에 여전히 필수적입니다.

중국에서 새로운 연구 협력이 인간 신체를 이미지로 재구성하는 새로운 방법을 제공합니다. 이 방법은 조정된 쌍둥이 신경 인코더 네트워크를 사용하여 사용자가 매개변수 모델의 안내에 따라 대화형 GUI에서 체중, 키, 신체 비율을 조절할 수 있습니다.

파라미터화된 신체 형태 조절, 3개의 기능을 조절하는 슬라이더.

파라미터화된 신체 형태 조절, 3개의 기능을 조절하는 슬라이더. 출처: https://arxiv.org/pdf/2203.10496.pdf

이 연구는 알리바바의 최근 유사 프로젝트보다 몇 가지 개선점을 제공합니다. 예를 들어, 체중과 신체 비율뿐만 아니라 키도 조절할 수 있으며, ‘슬림’한 신체 이미지가 나타날 때 배경을 채우는 데 사용되는 전용 신경 네트워크가 있습니다. 또한 이전 매개변수 기반 방법과 달리 변환을 구성할 때 광범위한 사람의 개입이 필요하지 않습니다.

신경 리셰퍼(NeuralReshaper)라는 새로운 아키텍처는 파라미터 3D 인간 템플릿을 소스 이미지에 맞추고 템플릿의 왜곡을 사용하여 원본 이미지를 새로운 파라미터에 적응시킵니다.

이 시스템은 의류를 착용한 사람이나 수영복처럼 일부만 가리는 옷을 입은 사람의 신체 변형을 모두 처리할 수 있습니다.

이러한 종류의 변형은 현재 패션 AI 연구 분야에서 관심을 끌고 있습니다. StyleGAN/CycleGAN 기반의 플랫폼과 일반 신경 네트워크를 사용하여 가상 피팅을 통해 사용자 이미지의 신체 유형과 형태에 맞는 의류를 제공할 수 있습니다.

연구 논문은 Single-image Human-body Reshaping with Deep Neural Networks로 제목이 붙여졌으며, 항저우의 저장대학교와 홍콩시립대학교 창의미디어학부 연구진이 참여했습니다.

SMPL 피팅

신경 리셰퍼는 스킨드 멀티 퍼슨 리니어 모델(SMPL)을 사용합니다. 이 모델은 2015년에 막스 플랑크 지능 시스템 연구소와 Industrial Light & Magic에서 개발되었습니다.

SMPL 파라미터화된 인간 형태, 2015년 플랑크/ILM 협력.

SMPL 파라미터화된 인간 형태, 2015년 플랑크/ILM 협력. 출처: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

프로세스의 첫 번째 단계에서는 소스 이미지에서 SMPL 모델을 생성합니다. 이 모델은 2018년 독일과 미국 대학 연구진이 제안한 Human Mesh Recovery(HMR) 방법을 사용하여 이미지에 적응시킵니다.

신체의 3개 파라미터(체중, 키, 신체 비율)를 계산하고 초점 거리 등의 카메라 매개변수도 고려합니다. 2D 키포인트와 생성된 실루엣 정렬을 사용하여 변형 영역을 2차원 실루엣으로 제한하고 경계 정확도를 높여 이후 배경을 자연스럽게 채울 수 있게 합니다.

SMPL 피팅 단계: 왼쪽, 소스 이미지; 두 번째, 최적화 결과; 세 번째, 직접 추론 결과; 네 번째, 2D 키포인트 최적화 결과; 오른쪽, 완성된 피팅 결과.

SMPL 피팅 단계, 왼쪽부터: 원본 이미지; 막스 플랑크 지능 시스템 연구소가 주도한 2016년 연구의 최적화 결과; 사전 훈련된 인체 형상 및 자세의 종단 간 복원 모델의 직접 추론 결과; 2D 키포인트 최적화 결과; 실루엣 최적화 후 최종 피팅 결과.

3D 변형을 이미지 공간으로 투영하여 조밀한 변형장를 생성합니다. 이 프로세스는 이미지 한 장당 약 30초가 소요됩니다.

신경 리셰퍼 아키텍처

신경 리셰퍼는 두 개의 신경 네트워크를 사용합니다. 하나는 전경 인코더로 신체 형태를 변형하고, 다른 하나는 배경 인코더로, 몸을 가늘게 만들 때 새로 드러나는 배경 영역을 채웁니다.

U-넷 스타일 프레임워크는 두 인코더의 특징을 통합해 하나의 디코더에 전달하고, 디코더가 두 입력에서 새로운 이미지를 생성합니다. 아키텍처는 통합을 가능하게 하는 새로운 워프 가이드 메커니즘을 특징으로 합니다.

트레이닝 및 실험

신경 리셰퍼는 11GB VRAM을 갖춘 단일 NVIDIA (NVDA ) 1080ti GPU에서 PyTorch로 구현되었습니다. Adam 최적화기로 100에포크 동안 훈련했으며, 생성기와 판별기의 학습률은 각각 0.0001과 0.0004였습니다. COCO, MPII, LSP에서 추출한 자체 야외 데이터셋은 배치 크기 8, DeepFashion은 배치 크기 2로 훈련했습니다.

왼쪽, 원본 이미지; 오른쪽, 신경 리셰퍼의 재구성된 출력.

왼쪽, 원본 이미지; 오른쪽, 신경 리셰퍼의 재구성된 출력.

아래는 DeepFashion 데이터셋에서 훈련된 신경 리셰퍼의 일부 예시입니다. 원본 이미지는 항상 왼쪽에 있습니다.

세 가지 속성(체중, 키, 신체 비율)은 분리되어 있으며, 개별적으로 적용할 수 있습니다.

파생된 야외 데이터셋의 변형은 더 어려울 수 있습니다. 복잡한 배경을 채우고 변형된 몸의 경계를 명확하고 자연스럽게 표현해야 하기 때문입니다.

파라미터 필요성

이 논문은 같은 이미지의 변형이 이미지 합성에서 잘 정의되지 않은 문제를 나타낸다고 지적합니다. 많은 변형 GAN 및 인코더 프레임워크는 페어드 이미지(예: 스케치 → 사진 및 사진 → 스케치 변형)를 사용할 수 있습니다.

그러나 이 경우에는 동일한 사람의 다른 물리적 구성의 이미지 페어가 필요합니다(예: 다이어트 또는 성형외과 광고의 ‘전후’ 이미지). 이러한 데이터는 얻거나 생성하기 어렵습니다.

또한 변형 GAN 네트워크는 더 다양한 데이터를 훈련시킬 수 있으며, 원본 이미지의 잠재 코드와 원하는 클래스(예: 살찐 체형, 마른 체형, 큰 키) 사이의 잠재 방향을 찾아 변형을 적용할 수 있습니다. 그러나 이 접근 방식은 현재 미세한 신체 재구성을 위해 너무 제한적입니다.

신경 방사장(NeRF)은 대부분의 GAN 기반 시스템보다 전신 시뮬레이션에서 더 발전했지만, 특정 장면에 종속되고 많은 자원을 요구합니다. 주변 환경에 비해 몸 전체를 축소하는 것을 제외하면 NeuralReshaper와 기존 연구가 추구하는 세밀한 체형 편집 능력은 아직 매우 제한적입니다.

GAN의 잠재적 공간은 어려울 수 있습니다. VAE는 아직 전체 신체 재생산의 복잡성을 다루지 못합니다. NeRF의 신체 유형을 일관되게 재구성하는 능력은 아직 초기 단계에 있습니다. 따라서 ‘전통적인’ CGI 방법론(SMPL 등)의 통합은 인간 이미지 합성 연구 분야에서 계속해서 필요할 것입니다.

이 방법은 특징, 클래스 및 잠재적 코드를 구획하고 집계하는 데 사용되며, 이러한 기술의 매개변수와 활용 가능성은 아직 완전히 이해되지 않았습니다.

 

최초로 게시된 날짜: 2022년 3월 31일.

머신러닝 분야 작가이자 인간 이미지 합성 도메인 전문가. Metaphysic.ai에서 연구 콘텐츠 책임자를 역임했으며, DNEG의 Brahma.ai로 통합될 때까지 근무했습니다.
웹사이트: martinanderson.ai
연락처: martin@martinanderson.ai