Оркестрування синтезу обличчя за допомогою семантичної сегментації

Проблема з винайденням людських облич із використанням Генеративної суперницької мережі (GAN) полягає в тому, що реальні дані, які живлять фальшиві зображення, приходять з нежиттєво необхідними та незмінними супутніми елементами, такими як волосся на голові (або обличчі), фони та різні види обличчя, такі як окуляри, шапки та сережки; і що ці периферійні аспекти особистості неминуче стають пов’язаними з обличчям у (або навколо) якого вони вбудовані.

Під найпоширенішими архітектурами GAN ці елементи не адресовані в своєму власному присвяченому просторі, а радше дуже тісно пов’язані з обличчям у (або навколо) якого вони вбудовані.

Звичайно, не завжди можливо диктувати або впливати на зовнішній вигляд підділянок обличчя, створеного GAN, таких як звуження очей, подовження носа або зміна кольору волосся, так само, як це робить художник-портретист.

Однак, галузь досліджень з синтезу зображень працює над цим:

Нові дослідження щодо генерації обличчя на основі GAN розділили різні секції обличчя на окремі області, кожна з яких має свій власний ‘генератор’, який працює в концерті з іншими генераторами для зображення. У середньому ряду ми бачимо, як оркеструючий ‘функційний картограф’ будує додаткові області обличчя. Джерело: https://arxiv.org/pdf/2112.02236.pdf

У новій статті дослідники з американського відділення китайської транснаціональної технологічної компанії ByteDance використали семантичну сегментацію для розбиття складових частин обличчя на окремі секції, кожна з яких має свій власний генератор, так що стало можливим досягти вищого рівня відокремлення.або, принаймні, сприйманого відокремлення.

Стаття називається SemanticStyleGAN: Навчання композиційних генеративних попередніх знань для керованого синтезу та редагування зображень, і супроводжується багатим проектним сайтом, який містить численні приклади різних тонких перетворень, які можна досягти, коли елементи обличчя та голови ізольовані таким чином.

Текстура обличчя, стиль та колір волосся, форма та колір очей та багато інших аспектів раніше нерозрізних функцій GAN тепер можна фактично відокремити, хоча якість розділення та рівень інструментальності, ймовірно, буде варіюватися в залежності від випадків. Джерело: https://semanticstylegan.github.io/

Некерований латентний простір

Генеративна суперницька мережа, навчена генерувати обличчя – така як StyleGan2 генератор, який живить популярний сайт thispersondoesnotexist.com – утворює складні взаємозв’язки між ‘функціями’ (не в сенсі обличчя), які вона виводить з аналізу тисяч реальних облич, щоб навчитися створювати реалістичні людські обличчя.

Ці таємні процеси – ‘латентні коди’, колективно латентний простір. Вони важко аналізувати, і, як наслідок, важко інструменталізувати.

Минулого тижня з’явився новий проект синтезу зображень, який намагається ‘картувати’ цей майже оккультний простір під час процесу навчання, і потім використовувати ці карти для інтерактивного навігації ним, і різні інші рішення були запропоновані для отримання глибшого контролю над вмістом, згенерованим GAN.

Деякий прогрес був досягнутий, з різноманітними архітектурами GAN, які намагаються ‘дотягнутися’ до латентного простору якимось чином і контролювати генерацію обличчя з нього. Такі зусилля включають InterFaceGAN, StyleFlow, GANSpace та StyleRig, серед інших пропозицій у постійно-продуктивному потоці нових статей.

Все вони мають спільним обмежені ступені відокремлення; інженерні графічні контроли для різних аспектів (таких як ‘волосся’ або ‘вираз’) схильні тягнути фон і/або інші елементи в процес перетворення, і жоден з них (включаючи статтю, обговорювану тут) не вирішив проблему тимчасової нейронної волосини.

Поділ і завоювання латентного простору

У будь-якому випадку, дослідження ByteDance приймає інший підхід: замість того, щоб намагатися розгадати таємниці однієї GAN, яка працює над цілим зображенням обличчя, SemanticStyleGAN формулює підхід, заснований на макеті, де обличчя ‘складені’ окремими процесами генерації.

Для досягнення цього розрізнення (обличчевих) функцій SemanticStyleGAN використовує Фур’є-функції для генерації семантичної сегментаційної карти (грубо забарвлені відмінності обличчя топографії, показані внизу праворуч зображення нижче) для ізоляції областей обличчя, які будуть отримувати індивідуальну, присвячену увагу.

Архітектура нового підходу, який накладає проміжний шар семантичної сегментації на обличчя, ефективно перетворюючи каркас на оркестратора декількох генераторів для різних аспектів зображення.

Сегментаційні карти генеруються для фальшивих зображень, які систематично представлені дискримінатору GAN для оцінки під час поліпшення моделі, і до (не-фальшивих) джерельних зображень, використаних для навчання.

На початку процесу багатошаровий перцептрон (MLP) спочатку відображає випадково обрані латентні коди, які потім будуть використані для контролю ваг генераторів, які кожен візьме під контроль секцію зображення обличчя, яке буде створено.

Кожен генератор створює функціональну карту і симульовану глибинну карту з Фур’є-функцій, які подаються йому зверху. Це вивід є основою для сегментаційних масок.

Низхідна мережа рендерингу умовно залежить лише від попередніх функційних карт, і тепер знає, як створити вищорозширений сегментаційний масок, що полегшує остаточне виробництво зображення.

Нарешті, розгалужений дискримінатор наглядає за з’єднаним розподілом як RGB-зображень (які для нас є остаточним результатом), так і сегментаційних масок, які дозволили їм бути розділеними.

З SemanticStyleGAN немає нежиттєвих візуальних порушень, коли ‘встановлюється’ зміна обличчя, оскільки кожна особлива риса обличчя була окремо навчена в рамках оркестрованого каркаса.

Заміна фонів

Оскільки метою проекту є досягнення більшого контролю над генерованим середовищем, процес рендерингу/композиції включає генератор фону, навчений на реальних зображеннях.

Одна переконлива причина, чому фони не потрапляють у маніпуляції з обличчям у SemanticStyleGAN, полягає в тому, що вони знаходяться на більш віддаленому шарі, і є повними, хоча частково приховані наложеними обличчями.

Оскільки сегментаційні карти призведуть до обличь без фонів, ці ‘вставлені’ фони не тільки забезпечують контекст, але також конфігуровані для того, щоб бути відповідними за освітленням для наложених облич.

Навчання та дані

‘Реалістичні’ моделі були навчені на початкових 28 000 зображень у CelebAMask-HQ, змінених до 256×256 пікселів для розміщення навчального простору (тобто доступної VRAM, яка диктує максимальний розмір пакету на ітерацію).

Було навчено кілька моделей, і різноманітні інструменти, набори даних та архітектури були експериментально протестовані під час процесу розробки та різних тестів на видалення. Найбільша продуктивна модель проекту мала роздільну здатність 512×512, навчена протягом 2,5 днів на восьми графічних процесорах NVIDIA Tesla V100. Після навчання генерація одного зображення займає 0,137 секунди на процесорі lobe без паралелізму.

Більш мультяшні/анімаційні експерименти, продемонстровані у багатьох відео на сторінці проекту (див. посилання вище), походять з різних популярних наборів даних облич, включаючи Toonify, MetFaces та Bitmoji.

Застосовна розв’язка?

Автори стверджують, що немає жодної причини, чому SemanticStyleGAN не можна було б застосувати до інших областей, таких як пейзажі, автомобілі, церкви та всі інші ‘за замовчуванням’ тестові області, яким піддаються нові архітектури на початку своєї кар’єри.

Однак, стаття визнає, що коли кількість класів зростає для області (наприклад, ‘автомобіль’, ‘‘вуличний ліхтар’, ‘пішохід’, ‘будівля’, ‘автомобіль’ тощо), цей поетапний підхід може стати недієздатним різними способами, без подальшої роботи над оптимізацією. Наприклад, міський набір даних CityScapes має 30 класів у 8 категоріях.

Важко сказати, чи поточний інтерес до завоювання латентного простору більш прямішим шляхом є таким же безнадійним, як алхімія; чи латентні коди колись стануть розшифруваними та керованими – розвиток, який міг би зробити цей більш ‘зовнішньо складний’ тип підходу зайвим.