Disney сочетает CGI с нейронным рендерингом, чтобы преодолеть эффект «неестественной долины»

Отдел исследований ИИ Disney разработал гибридный метод для кинематографического моделирования лиц, объединяющий преимущества нейронного рендеринга лиц с согласованностью подхода на основе CGI.

Ожидаемая статья называется Рендеринг со стилем: сочетание традиционных и нейронных подходов для высококачественного рендеринга лиц и предварительно представлена в новом 10‑минутном видео на канале Disney Research в YouTube (встроено в конце этой статьи*).

Meshes combined with neural facial renders. See video embed at end of article for better detail and quality. Source: https://www.youtube.com/watch?v=TwpLqTmvqVk

Как отмечается в видео, нейронный рендеринг лиц (включая дипфейки) способен создавать гораздо более реалистичные глаза и внутренности рта, чем CGI, в то время как текстуры лица, созданные с помощью CGI, более согласованы и подходят для визуальных эффектов киноуровня.

Поэтому Disney экспериментирует, позволяя нейронному генератору NVIDIA StyleGan2 обрабатывать окружающие черты лица и «жизненно важные» элементы, такие как глаза, одновременно накладывая согласованную CGI‑кожу лица и связанные с ней элементы на полученный результат.

From the video (see end of article), the architectural concept behind Disney’s hybrid approach, where an old-school CGI mesh, of the type used to recreate ‘young’ Carrie Fisher and the late Peter Cushing for Rogue One (2016), is integrated into neurally-rendered face environments.

Видео косвенно ссылается на частую критику неаутентичности и эффекта «неестественной долины» при воссоздании в CGI покойного британского актёра Star Wars Питера Кушинга в фильме Rogue One (2016), признавая:

‘[Существует] всё ещё огромный разрыв между тем, что люди могут легко захватить и отрендерить, и финальными фотореалистичными цифровыми двойниками, включающими волосы, глаза и внутреннюю часть рта. Чтобы преодолеть этот разрыв, обычно требуется много ручной работы квалифицированных художников.’

На самом деле даже самые современные системы захвата лиц не пытаются воссоздавать глаза, внутренности рта или волосы, поскольку у этих элементов возникают проблемы с аутентичностью (глаза) или с временной согласованностью (волосы).

The video illustrates what VFX artists will get after a typical modern facial capture session. Eyes, hair, facial hair, and mouth interiors will all have to be handled by separate teams in the production pipeline, in addition to texturing and lighting.

Контроль освещения

Гибридный подход также полезен при переосвещении — заметной проблеме нейронного рендеринга лиц, поскольку наложения CGI‑кожи легче переосвещать.

An animated version of the CGI/Neural approach.

В более сложных условиях, например при съёмках на открытом воздухе, исследователи разработали метод заполнения (inpainting) вокруг своего рода демилитаризованной зоны, окружающей «создаваемого» человека.

A black margin is generated to allow a ‘canvas’ for inpainting the outer parts of the identity and integrating the CGI skin into the combined CGI/neural output.

‘[Нейронный] рендер не полностью соответствует ограничениям фона. – он предназначен лишь как ориентир, поскольку оптимизация реалистичных человеческих компонентов, таких как волосы, глаза и зубы, является основной целью. Более сложной задачей является поддержание согласованной идентичности при изменении освещения окружения.’

Создание CGI‑сеток из нейронных рендеров

Исследовательская команда также разработала вариационный автокодировщик, обученный на (неуказанной) большой базе 3‑D изображений лиц, и утверждает, что он может генерировать «случайные, но правдоподобные» 3‑D сетки лиц на основе истинных данных.

Для этой работы существуют ограничения, включая сложность поддержания временной согласованности волос в нейронных рендерах; видео (см. ниже) демонстрирует несколько примеров быстро меняющихся волос при в целом согласованном панорамировании вокруг CGI/нейронного лица.

Временная согласованность в нейронном видеорендеринге — гораздо более широкая проблема, чем только у Disney, и, вероятно, последующие версии этой системы будут прибегать к добавлению волос «в постобработке» или к различным другим методам генерации волос, а не полагаться исключительно на новаторский нейронный подход.

Применение для генерации наборов данных

Метод также предлагается в качестве потенциального способа генерации синтетических данных и обогащения набора изображений лиц, который в последние годы стал опасно однообразным.

Disney envisages the new technique populating facial image datasets.

‘[Каждый] фотореалистичный результат, который мы генерируем, имеет соответствующую базовую геометрию и карты внешнего вида, отрендеренные из неизвестных точек обзора камеры при известном освещении. Эта «истинная» информация может быть жизненно важной для обучения последующих приложений, таких как монокулярная 3‑D реконструкция лица, распознавание лиц или понимание сцены. Таким образом, каждый рендер результата можно рассматривать как образец данных, и мы можем создавать множество вариантов множества разных людей.’

‘Более того, даже для одного человека, отрендеренного в одной позе, с одной точкой обзора и освещением, мы можем генерировать случайные варианты фотореалистичного рендера, изменяя сид (seed) случайности во время оптимизации.’

Исследователи отмечают, что такое разнообразие настраиваемого вывода может быть полезным при обучении систем распознавания лиц, подводя итог:

‘[Наш] метод способен использовать текущие технологии захвата, моделирования и рендеринга кожных покровов лица и автоматически создавать полные фотореалистичные рендеры лиц, соответствующие требуемой идентичности, выражению и конфигурации сцены. Этот подход имеет применение в рендеринге лиц для кино и развлечений, экономя ручной труд художников, а также в генерации данных в различных областях глубокого обучения.’

Для более детального знакомства с новым подходом посмотрите 10‑минутное видео, опубликованное сегодня:

 * Оригинальная ссылка на видео была заменена на другую, по-видимому идентичную, через 8 часов после публикации этой статьи. Я изменил все соответствующие ссылки, так как оригинального видео больше нет.

8:24 GMT+2 — Видео заменено, так как по какой‑то причине канал Disney Research в YouTube заменил его.