인공 지능
Disney, CGI와 신경 렌더링을 결합하여 'Uncanny Valley' 해결
Disney의 AI 연구 부서는 얼굴 신경 렌더링의 강점과 CGI 기반 접근 방식의 일관성을 결합하여 영화 품질의 얼굴 시뮬레이션을 위한 하이브리드 방법을 개발했습니다.
보류 중인 논문의 제목은 스타일 있는 렌더링: 고품질 얼굴 렌더링을 위한 전통적 접근 방식과 신경 접근 방식 결합에서 미리 볼 수 있습니다. 새로운 10분 비디오 Disney Research YouTube 채널(이 기사의 끝에 삽입됨*).
신경 얼굴 렌더링과 결합된 메시. 더 자세한 내용과 품질을 보려면 기사 끝에 있는 비디오 임베드를 참조하십시오. 출처: https://www.youtube.com/watch?v=k-RKSGbWLng(https://www.youtube.com/watch?v=TwpLqTmvqVk로 대체됨)
비디오 메모로, 얼굴의 신경 렌더링 (딥페이크 포함)은 CGI보다 훨씬 더 사실적인 눈과 입 내부를 생성할 수 있는 반면, CGI 기반 얼굴 텍스처는 더 일관되고 영화 수준 VFX 출력에 적합합니다.
따라서 Disney는 NVIDIA의 스타일Gan2 신경 생성기는 일관된 CGI 얼굴 피부 및 관련 요소를 출력에 중첩하면서 얼굴의 주변 특징과 눈과 같은 '생명에 중요한' 요소를 처리합니다.
비디오(기사 끝 참조)에서 디즈니의 하이브리드 접근 방식 뒤에 있는 아키텍처 개념은 '젊은' 캐리 피셔와 로그 원(2016)의 고인이 된 피터 쿠싱을 재현하는 데 사용된 유형의 구식 CGI 메시가 신경 렌더링된 얼굴 환경에 통합됩니다.
이 비디오는 영국 후기 CGI 재현의 허위성과 '불쾌한 계곡' 효과에 대한 빈번한 비판을 암묵적으로 언급합니다. 스타 워즈 배우 피터 쿠싱 도적 하나 (2016), 인정:
사람들이 쉽게 캡처하고 렌더링할 수 있는 것과 머리카락, 눈 및 입 안이 완성된 최종 사실적인 디지털 복제물 사이에는 여전히 큰 차이가 있습니다. 이 격차를 줄이려면 일반적으로 숙련된 아티스트의 많은 수작업이 필요합니다.'
사실, 가장 현대적인 얼굴 캡처 시스템조차도 눈, 입 내부 또는 머리카락을 재현하려고 시도조차 하지 않습니다. 그러한 기술(눈) 또는 시간적 일관성(머리카락)의 진정성 문제가 있습니다.
이 비디오는 VFX 아티스트가 일반적인 최신 얼굴 캡처 세션 후에 무엇을 얻게 되는지 보여줍니다. 눈, 머리카락, 얼굴 털, 입 내부는 텍스처링과 조명 외에도 프로덕션 파이프라인에서 별도의 팀에서 모두 처리해야 합니다.
조명 제어
하이브리드 접근 방식은 조명 재조명의 이점도 있습니다. 이는 CGI 피부 중첩이 더 쉽게 재조명될 수 있기 때문에 얼굴의 신경 렌더링에 대한 주목할만한 과제입니다.
CGI/신경 접근 방식의 애니메이션 버전입니다.
외부 촬영과 같은 더 어려운 환경에서 연구원들은 '창조'되는 사람을 둘러싼 일종의 비무장 지대 주변에 그림을 그리는 방법을 개발했습니다.
아이덴티티의 외부 부분을 인페인팅하고 CGI 스킨을 결합된 CGI/신경망 출력에 통합하기 위한 '캔버스'를 허용하기 위해 검정색 여백이 생성됩니다.
비디오 메모:
'[The] 신경 렌더링은 배경 제약 조건과 완벽하게 일치하지 않습니다. – 머리카락, 눈, 치아와 같은 사실적인 인간 구성 요소를 최적화하는 것이 주요 목표이기 때문에 지침으로만 의미가 있습니다. 더 어려운 것은 환경 조명을 변경하면서 일관된 정체성을 유지하려고 노력하는 것입니다.'
신경망 렌더에서 CGI 메시 생성
연구팀은 또한 3D 얼굴 이미지의 (지정되지 않은) 대규모 데이터베이스에서 훈련된 변이 자동 인코더를 개발했으며 실측 데이터에서 '무작위이지만 그럴듯한' 3D 얼굴 메시를 생성할 수 있다고 주장합니다.
이 연구에는 신경 렌더링에서 머리카락을 일시적으로 일관성 있게 유지하는 어려움을 포함하여 극복해야 할 한계가 있으며 비디오(아래 참조)는 CGI/신경 얼굴 주위의 일관된 팬에서 머리카락을 빠르게 돌연변이시키는 몇 가지 예를 보여줍니다.
신경 비디오 렌더링의 시간적 일관성은 디즈니보다 훨씬 더 광범위한 문제이며, 이 시스템의 이후 반복은 새로운 신경 접근 방식이 결국 해결합니다.
데이터 세트 생성 용도
이 방법은 합성 데이터를 생성하고 최근 몇 년 동안 널리 사용되는 얼굴 이미지 세트 풍경을 풍부하게 하는 잠재적인 방법으로도 제안됩니다. 위험할 정도로 단조롭다.
Disney는 얼굴 이미지 데이터 세트를 채우는 새로운 기술을 구상하고 있습니다.
'[모든] 우리가 생성하는 사실적인 결과에는 알려진 조명으로 알 수 없는 카메라 시점에서 렌더링된 기본 해당 기하학 및 모양 맵이 있습니다. 이 '실측 정보' 정보는 단안, 3D 얼굴 재구성, 얼굴 인식 또는 장면 이해와 같은 다운스트림 응용 프로그램을 교육하는 데 매우 중요할 수 있습니다. 따라서 렌더링된 모든 결과는 데이터 샘플로 간주될 수 있으며 다양한 개인의 다양한 변형을 생성할 수 있습니다.
'게다가, 단일 시점과 조명으로 단일 표현으로 렌더링된 한 사람의 경우에도 최적화 중에 무작위화 시드를 변경하여 실사 렌더링의 무작위 변형을 생성할 수 있습니다.'
연구원들은 이러한 구성 가능한 출력의 다양성이 안면 인식 응용 프로그램을 훈련하는 데 유용할 수 있다고 결론을 내립니다.
'[우리의] 방법은 얼굴 피부 캡처, 모델링 및 렌더링을 위한 현재 기술을 활용하고 원하는 정체성, 표정 및 장면 구성과 일치하는 완전한 사실적인 얼굴 렌더링을 자동으로 생성할 수 있습니다. 이 접근 방식에는 영화 및 엔터테인먼트를 위한 응용 프로그램 및 얼굴 렌더링이 있어 수작업 아티스트의 노동력을 절약하고 다양한 딥 러닝 분야의 데이터 생성을 위한 것입니다.'
새로운 접근 방식에 대해 자세히 알아보려면 오늘 공개된 10분 분량의 동영상을 확인하세요.
* 원본 비디오 링크는 이 기사가 게시된 후 8시간이 지난 후 동일한 것으로 보이는 다른 링크로 대체되었습니다. 원본 비디오의 흔적이 없기 때문에 관련 링크를 모두 변경했습니다.
8:24 GMT+2 – 어떤 이유로든 Disney Research YouTube 채널에서 전환된 동영상으로 대체되었습니다.
