AI 연구자, 사용자 사진으로 3D 비디오 게임 얼굴 모델 생성

중국 게임 회사인 NetEase의 연구팀은 사진에서 얼굴을 자동으로 추출하여 이미지 데이터를 사용하여 인게임 모델을 생성할 수 있는 시스템을 개발했습니다. 이 논문의 결과는 Face-to-Parameter Translation for Game Character Auto-Creation이라는 제목으로 Synced가 Medium에서 요약했습니다.

게임 개발자들은 점점 더 많은 시간이 걸리는 작업을 자동화하기 위해 AI를 사용하기 시작했습니다. 예를 들어, 게임 개발자들은 캐릭터와 객체의 동작을 렌더링하는 데 도움이 되는 AI 알고리즘을 사용해 왔습니다. 게임 개발자들이 최근에 사용한 또 다른 AI의 용도는 더 강력한 캐릭터 커스터마이즈 도구를 생성하는 것입니다.

캐릭터 커스터마이즈는 역할 수행 비디오 게임의 인기 있는 기능으로, 플레이어가 자신의 아바타를 다양한 방식으로 커스터마이즈할 수 있습니다. 많은 플레이어가 자신의 아바타를 자신과 비슷하게 만들기를 원합니다. 캐릭터 생성 도구가 더 정교해짐에 따라 이 기능은 더 실현 가능해졌습니다. 그러나 이러한 캐릭터 생성 도구가 더 정교해질수록 더 복잡해집니다. 자신과 비슷한 캐릭터를 생성하는 데에는 수시간의 슬라이더 조정과 암호적인 매개변수 수정이 필요할 수 있습니다. NetEase (NTES ) 연구팀은 사용자의 사진을 분석하여 인게임 캐릭터의 얼굴 모델을 생성하는 시스템을 개발하여 이를 변경하고자 합니다.

자동 캐릭터 생성 도구는 두 부분으로 구성되어 있습니다. 모방 학습 시스템과 매개변수 번역 시스템입니다. 매개변수 번역 시스템은 입력 이미지에서 특징을 추출하여 모방 학습 시스템에서 사용할 매개변수를 생성합니다. 이러한 매개변수는 모방 학습 모델에 의해 반복적으로 생성되고 입력 얼굴의 표현을 개선하는 데 사용됩니다.

모방 학습 시스템은 게임 엔진이 일정한 스타일로 캐릭터 모델을 생성하는 방식을 시뮬레이션하는 아키텍처를 가지고 있습니다. 모방 모델은 수염, 립스틱, 눈썹, 헤어스타일과 같은 복잡한 변수를 고려하여 얼굴의 근본적인 진실을 추출하도록 설계되었습니다. 얼굴 매개변수는 경사 하강 과정을 통해 업데이트되며 입력과 비교됩니다. 입력 특징과 생성된 모델 사이의 차이는不断히 확인되고, 모델은 입력 특징과 일치할 때까지 수정됩니다.

모방 네트워크가 훈련된 후, 매개변수 번역 시스템은 모방 네트워크의 출력을 입력 이미지 특징과 비교하여, 얼굴 매개변수의 최적의 특징 공간을 결정합니다.

가장 큰 도전은 3D 캐릭터 모델이 사진에서 추출된 세부 사항과 외관을 유지할 수 있는지 여부였습니다. 이는 3D 생성 이미지와 실제 사람의 2D 이미지 비교를 위한 교차 도메인 문제입니다.

연구자들은 두 가지 기술을 사용하여 이 문제를 해결했습니다. 첫 번째 기술은 모델 훈련을 두 가지 학습 작업으로 나누는 것이었습니다. 얼굴 내용 작업과 판별 작업입니다. 사람의 얼굴의 일반적인 모양과 구조는 두 개의 전역 외관 값 사이의 차이/손실을 최소화하여 결정됩니다. 판별/세부 사항은 작은 영역의 그림자와 같은 것들 사이의 손실을 최소화하여 채워집니다. 두 가지 학습 작업은 완전한 표현을 달성하기 위해 결합됩니다.

3D 모델을 생성하는 두 번째 기술은 시뮬레이션된 골격 구조를 사용하는 3D 얼굴 구성 시스템이었습니다. 이는 연구자들이 다른 3D 모델링 시스템보다 더 정교하고 정확한 3D 이미지를 생성할 수 있었습니다.

2D 이미지에서 실감 나는 3D 모델을 생성하는 시스템을 개발하는 것은 충분히 인상적인 성과입니다. 그러나 자동 생성 시스템은 2D 사진에서만 작동하지 않습니다. 시스템은 또한 얼굴의 스케치와 캐릭터를 3D 모델로 렌더링할 수 있습니다. 연구팀은 시스템이 2D 캐릭터에서 정확한 모델을 생성할 수 있는 이유는 시스템이 원시 픽셀 값을 해석하는 대신 얼굴 의미를 분석하기 때문이라고 생각합니다.

자동 캐릭터 생성기는 사진에서 캐릭터를 생성하는 데 사용할 수 있지만, 연구자들은 사용자가 이를 보완적인 기술로 사용하여 생성된 캐릭터를 자신의 предпоч향에 따라 편집할 수 있어야 한다고 말합니다.