Исследователи ИИ создают 3D-модели лиц для видеоигр из фотографий пользователей

Команда исследователей в NetEase, китайской игровой компании, создала систему, которая может автоматически извлекать лица из фотографий и генерировать модели персонажей в игре с использованием данных изображения. Результаты статьи, озаглавленной Face-to-Parameter Translation for Game Character Auto-Creation, были подробно описаны на Medium компанией Synced.

Все больше разработчиков игр выбирают использование ИИ для автоматизации трудоемких задач. Например, разработчики игр используют алгоритмы ИИ, чтобы помочь отображать движения персонажей и объектов. Другое недавнее использование ИИ разработчиками игр – создание более мощных инструментов для настройки персонажей.

Настройка персонажа – это очень любимая функция ролевых видеоигр, которая позволяет игрокам настраивать своих аватаров множеством разных способов. Многие игроки выбирают сделать своих аватаров похожими на себя, что становится более достижимым с увеличением сложности систем настройки персонажа. Однако, когда эти инструменты создания персонажа становятся более сложными, они также становятся намного более сложными. Создание персонажа, похожего на себя, может занять часы регулировки ползунков и изменения загадочных параметров. Команда исследователей NetEase стремится изменить все это, создав систему, которая анализирует фотографию игрока и генерирует модель лица игрока на персонаже в игре.

Автоматический инструмент создания персонажа состоит из двух частей: системы имитационного обучения и системы перевода параметров. Система перевода параметров извлекает особенности из входного изображения и создает параметры для использования системой обучения. Эти параметры затем используются моделью имитационного обучения для итеративной генерации и улучшения представления входного лица.

Система имитационного обучения имеет архитектуру, которая имитирует способ, которым игровой движок создает модели персонажей с постоянным стилем. Модель имитации предназначена для извлечения основной сути лица, принимая во внимание сложные переменные, такие как борода, помада, брови и прическа. Параметры лица обновляются через процесс градиентного спуска, сравниваясь с входными данными. Разница между входными особенностями и сгенерированной моделью постоянно проверяется, и корректировки модели делаются до тех пор, пока модель в игре не совпадет с входными особенностями.

После того, как сеть имитации была обучена, система перевода параметров проверяет выходные данные сети имитации против особенностей входного изображения, решая вопрос о пространстве особенностей, которое позволяет вычислять оптимальные параметры лица.

Самой большой проблемой было обеспечение того, чтобы 3D-модели персонажей могли сохранять детали и внешний вид на основе фотографий людей. Это проблема пересечения доменов, где 3D-генерируемые изображения и 2D-изображения реальных людей должны быть сравнены, и основные особенности обоих должны быть одинаковыми.

Исследователи решили эту проблему двумя разными методами. Первый метод заключался в том, чтобы разделить обучение модели на две разные задачи обучения: задачу содержания лица и дискриминационную задачу. Общая форма и структура лица человека определяются путем минимизации разницы/потерь между двумя глобальными значениями внешнего вида, в то время как дискриминационные/тонкие детали заполняются путем минимизации потерь между такими вещами, как тени в небольшом регионе. Две разные задачи обучения объединяются для достижения полного представления.

Второй метод, использованный для генерации 3D-моделей, был системой построения лица, которая использует имитированную скелетную структуру, принимая во внимание форму костей. Это позволило исследователям создать намного более сложные и точные 3D-изображения по сравнению с другими системами 3D-моделирования, которые полагаются на сетки или сетки лица.

Создание системы, которая может создавать реалистичные 3D-модели на основе 2D-изображений, впечатляет само по себе, но автоматическая система генерации не работает только с 2D-фотографиями. Система также может принимать эскизы и карикатуры лиц и отображать их как 3D-модели с впечатляющей точностью. Исследовательская команда подозревает, что система может генерировать точные модели на основе 2D-персонажей, потому что система анализирует семантику лица вместо интерпретации сырых пиксельных значений.

Хотя автоматический генератор персонажей можно использовать для создания персонажей на основе фотографий, исследователи говорят, что пользователи также должны иметь возможность использовать его как дополнительный метод и дальнейшее редактирование сгенерированного персонажа в соответствии с их предпочтениями.