Компанія Disney поєднує CGI з нейронним рендерингом, щоб подолати “долину жаху”

Дослідницький підрозділ компанії Disney розробив гібридний метод для створення високоякісної симуляції обличчя, поєднуючи сильні сторони нейронного рендерингу з консистентністю підходу, заснованого на CGI.

Стаття, що очікує публікації, називається Рендеринг зі стилем: поєднання традиційних та нейронних підходів для високоякісного рендерингу обличчя, і представлена у вигляді нового 10-хвилинного відео на каналі Disney Research у YouTube (вбудованому в кінці цієї статті*).

Сітки, поєднані з нейронними рендерингами обличчя. Дивіться відео у кінці статті для кращої якості та деталізації. Джерело: https://www.youtube.com/watch?v=k-RKSGbWLng (замінено на https://www.youtube.com/watch?v=TwpLqTmvqVk)

Як зазначено у відео, нейронний рендеринг обличчя (включаючи deepfakes) може створити більш реалістичні очі та внутрішню частину рота, ніж це можливо за допомогою CGI, тоді як текстури обличчя, створені за допомогою CGI, більш консистентні та підходять для кінематографічного рівня VFX-випуску.

Отже, компанія Disney експериментує з використанням генератора нейронних мереж NVIDIA StyleGan2 для обробки навколишніх особливостей обличчя та “життєво важливих” елементів, таких як очі, при одночасному накладенні консистентних текстур обличчя, створених за допомогою CGI, на результат.

З відео (див. кінець статті), архітектурна концепція гібридного підходу компанії Disney, де сітка типу, використовувана для реконструкції “молодої” Керрі Фішер та покійного Пітера Кушинга для фільму “Рogue One” (2016), інтегрована в нейронно-рендеровані середовища обличчя.

У відео робиться невисловлений натяк на часту критику неавтентичності та ефекту “долини жаху” CGI-реконструкції покійного британського актора “Зоряних війн” Пітера Кушинга у фільмі “Рogue One” (2016), визнаючи:

‘[Все ще існує] величезна пропасть між тим, що люди можуть легко захопити та відтворити, та остаточними фотореалістичними цифровими дублерами, повними з волоссям, очима та внутрішньою частиною рота. Щоб закрити цю пропасть, зазвичай потрібно багато ручної праці кваліфікованих художників.’

Насправді навіть найсучасніші системи захоплення обличчя не намагаються відтворити очі, внутрішню частину рота чи волосся, які мають проблеми з автентичністю таких технік (очі) або ж темпоральної консистентності (волосся).

У відео показано, що художники VFX отримують після типової сучасної сесії захоплення обличчя. Очі, волосся, борода та внутрішня частина рота будуть оброблені окремими командами у виробничому процесі, а також текстури та освітлення.

Контроль освітлення

Гібридний підхід також є вигодою для перезапису освітлення – відомої проблеми для нейронного рендерингу обличчя, оскільки текстури шкіри, створені за допомогою CGI, можуть бути легше перезаписані.

Анімована версія підходу CGI/нейронного обличчя.

У більш складних середовищах, таких як зовнішні зйомки, дослідники розробили метод розфарбовування навколо певної зони навколо людини, яку “створюють”.

Чорна межа генерується для створення “холста” для розфарбовування зовнішніх частин особи та інтеграції текстур шкіри у спільний вихід CGI/нейронного обличчя.

У відео зазначено:

‘[Нейронний рендер] не відповідає обмеженням фону ідеально. – він призначений лише як орієнтир, оскільки оптимізація для реалістичних людських компонентів, таких як волосся, очі та зуби, є основною метою. Більш складно намагатися підтримувати постійну ідентичність, змінюючи освітлення середовища.’

Створення сіток CGI з нейронних рендерингів

Дослідницька команда також розробила варіаційний автоенкодер, навчений на великій базі даних 3D-образів обличчя, і стверджує, що він може створити “випадкові, але правдоподібні” 3D-сітки обличчя з фактичних даних.

Є обмеження, які ця дослідницька робота повинна подолати, включаючи складність утримання волосся у нейронному рендерингу, і у відео (див. нижче) показано кілька прикладів швидко мутуючого волосся у іншому разі постійному обертанні CGI/нейронного обличчя.

Темпоральна консистентність у нейронному відеорендерингу – це набагато ширша проблема, ніж лише у компанії Disney, і, схоже, пізніші ітерації цієї системи можуть вдатися до додавання волосся “у постпродакшені” або інших можливих підходів до генерації волосся, ніж сподіватися, що новий нейронний підхід врешті-решт вирішить цю проблему.

Використання для генерації наборів даних

Метод також пропонується як потенційний метод генерації синтетичних даних та збагачення ландшафту зображень обличчя, який у останні роки став небезпечно монотонним.

Компанія Disney бачить нову техніку, яка населяє набори даних зображень обличчя.

‘[Кожен] фотореалістичний результат, який ми генеруємо, має відповідну геометрію та карти вигляду, відтворені з невідомих точок зору з відомим освітленням. Ця “фактична” інформація може бути життєво важливою для навчання наступних застосунків, таких як монокулярна 3D-реконструкція обличчя, розпізнавання обличчя чи розуміння сцени. І тому кожен результат рендерингу можна вважати зразком даних, і ми можемо генерувати багато варіацій багатьох різних осіб.

‘Крім того, навіть для однієї особи, відтвореної в одному виразі з одним точкою зору та освітленням, ми можемо генерувати випадкові варіації фотореалістичного рендерингу, змінюючи випадковий seedu під час оптимізації.’

Дослідники зазначають, що ця різноманітність конфігурованих виходів може бути корисною для навчання застосунків розпізнавання обличчя, роблячи висновок:

‘[Наш] метод здатний використати сучасну технологію для захоплення, моделювання та рендерингу шкіри обличчя, і автоматично створювати повністю фотореалістичні рендеринги обличчя, які відповідають бажаній ідентичності, виразу та конфігурації сцени. Цей підхід має застосування у сфері рендерингу обличчя для кіно та розваг, економить ручну працю художників, а також для генерації даних у різних галузях глибокого навчання.’

Для більш глибокого ознайомлення з новим підходом перегляньте 10-хвилинне відео, випущене сьогодні:

 * Оригінальне посилання на відео було замінено на інше, очевидно, ідентичне, через 8 годин після публікації цієї статті. Я змінив усі відповідні посилання, оскільки немає жодного сліду оригінального відео.

8:24 GMT+2 – Відео було замінено, оскільки його замінив канал Disney Research у YouTube з якоїсь причини.