Українські дослідники створюють 3D-моделі персонажів відеоігор з фотографій користувачів

Команда дослідників китайської ігрової компанії NetEase (NTES ) створила систему, яка може автоматично витягувати обличчя з фотографій та генерувати моделі персонажів у відеоіграх за допомогою цих даних. Результати дослідження, опублікованого у статті Face-to-Parameter Translation for Game Character Auto-Creation, були підсумовані на сайті Synced на Medium.

Дедалі більше розробників ігор обирають використання штучного інтелекту для автоматизації тривожних завдань. Наприклад, розробники ігор використовують алгоритми штучного інтелекту, щоб допомогти відтворювати рухи персонажів та об’єктів. Іншим недавнім застосуванням штучного інтелекту у розробці ігор є створення потужніших інструментів налаштування персонажів.

Налаштування персонажів – це дуже популярна функція рольових відеоігор, яка дозволяє гравцям налаштовувати своїх аватарів різними способами. Багато гравців обирають зробити своїх аватарів схожими на себе, що стає більш досяжним із зростанням складності систем налаштування персонажів. Однак, коли ці інструменти налаштування стають більш складними, вони також стають більш складними. Створення персонажа, який нагадує себе, може зайняти години регулювання слайдерів та зміни криптографічних параметрів. Команда дослідників NetEase намагається змінити все це, створивши систему, яка аналізує фотографію гравця та генерує модель обличчя гравця на персонажі у грі.

Автоматичний інструмент створення персонажів складається з двох частин: системи навчання за імітуванням та системи перекладу параметрів. Система перекладу параметрів витягує особливості з вхідного зображення та створює параметри для використання системою навчання. Ці параметри потім використовуються моделлю навчання за імітуванням для ітеративного створення та покращення представлення вхідного обличчя.

Система навчання за імітуванням має архітектуру, яка імітує спосіб створення моделей персонажів у ігровому двигуні з постійним стилем. Модель імітування розроблена для витягування основної істини про обличчя, враховуючи складні змінні, такі як бороди, помада, брови та стилі зачіосу. Параметри обличчя оновлюються через процес градієнтного спуску, порівнюючи з вхідними даними. Різниця між вхідними особливостями та згенерованою моделлю постійно перевіряється, та робляться корективи до моделі, поки модель у грі не збігається з вхідними особливостями.

Після навчання мережі імітування система перекладу параметрів перевіряє вихідні дані мережі імітування проти особливостей вхідного зображення, визначаючи простір особливостей, який дозволяє обчислити оптимальні параметри обличчя.

Найбільшим викликом було забезпечення того, щоб 3D-моделі персонажів могли зберегти деталі та зовнішній вигляд на основі фотографій людей. Це проблема跨-доменної порівняння, де 3D-генеровані зображення та 2D-зображення реальних людей повинні бути порівняні, та основні особливості обох повинні бути однаковими.

Дослідники вирішили цю проблему двома різними методами. Перший метод полягав у розділі навчання моделі на два окремі завдання навчання: завдання витягування особливостей обличчя та завдання дискримінативного навчання. Загальна форма та структура обличчя людини визначаються шляхом мінімізації різниці/втрат між двома глобальними значеннями зовнішнього вигляду, тоді як дискримінативні/детальні особливості заповнюються шляхом мінімізації втрат між такими речами, як тіні у маленькому регіоні. Два окремі завдання навчання об’єднуються для досягнення повного представлення.

Другий метод, який використовувався для генерації 3D-моделей, був системою конструкції обличчя, яка використовує симульовану скелетну структуру, враховуючи форму кісток. Це дозволило дослідникам створити більш складні та точні 3D-зображення у порівнянні з іншими системами 3D-моделювання, які залежать від ґрідів або сіток обличчя.

Створення системи, яка може створювати реалістичні 3D-моделі на основі 2D-зображень,already досить вражаюче, але автоматична система генерації не працює лише з 2D-фотографіями. Система також може взяти ескізи та карикатури облич та відтворити їх як 3D-моделі з вражаючою точністю. Дослідницька команда підозрює, що система能够 генерувати точні моделі на основі 2D-персонажів, оскільки система аналізує семантику обличчя, а не інтерпретує сурові значення пікселів.

Хоча автоматичний генератор персонажів можна використовувати для створення персонажів на основі фотографій, дослідники кажуть, що користувачі також повинні能够 використовувати його як додатковий метод та подальше редагування згенерованого персонажа згідно з їхніми уподобаннями.