Пластична хірургія для обличчя, створеного GAN

Нові дослідження з Південної Кореї обіцяє покращити якість синтетичних даних про обличчя, створених Generative Adversarial Networks (GAN).

Система здатна ідентифікувати артефакти зображення, створені процесами GAN, і виправляти їх, аж до заміни волосся, яке було закрито кепкою, заміни частин обличчя, повністю відсутніх в оригіналі, і видалення оклюзій, таких як руки та сонцезахисні окуляри. , а також добре працює на сценічному та архітектурному виході.

Ліворуч для кожного стовпця вихідний результат GAN з дефектами, потім два інших підходи до артефактів і, нарешті, метод, використаний південнокорейськими дослідниками. Джерело: https://arxiv.org/pdf/2104.06118.pdf

Найновіші підходи до покращення якості зображень, створених за допомогою GAN, стверджують, що артефакти є професійною небезпекою процесу, розглядаючи методологію як «силу природи», а більш психоделічні або абераційні результати, які вона може спричинити, як неминучий побічний продукт.

Натомість південнокорейське дослідження пропонує фактично «виправити» пошкоджені зображення таким чином, щоб не заважати постійному генеруючому ланцюгу, шляхом виявлення аспектів, які викликають артефакти, і зменшення або усунення їхнього впливу на мережу GAN на напівконтрольованому рівні. рівень, який перевищує та розширює власні механізми самокоригування в архітектурі GAN.

Для проекту необхідно було створити широко застосовний набір даних із зображеннями, які сильно постраждали від артефактів GAN. Спочатку дослідники використовували початкову відстань Фреше (FID) З метрика який оцінює якість виходу GAN шляхом порівняння характеристик на зображеннях як кваліфікаційну одиницю. 10,000 200,000 зображень із найвищими балами FID серед серії з 2,000 XNUMX зображень використовувалися як окремі «одиниці артефактів». Згодом дослідники вручну позначили XNUMX згенерованих зображень, класифікувавши кожне як «нормальне» або з артефактами FID. Потім була створена модель для класифікації набору даних на артефактні, звичайні та випадкові зразки реального світу.

Після цього градієнтно-зважене відображення активації класу (Град-CAM) використовувався для створення масок для областей, уражених артефактами, ефективно автоматизуючи маркування дефектів.

На зображенні вище маски Grad-CAM застосовано для виведення з LSUN-церква надворі набір даних і Набір даних CelebA-HQ.

Аналізуючи 20 найпоширеніших результатів із серії з 20,000 XNUMX зображень, генеруються маски сегментації, у яких репрезентативні результати для різних поколінь (які, ймовірно, будуть більш точними чи переконливішими, ніж артефакти), можуть бути замінені зниженням активації одиниці, що виробляють артефакти в наступних поколіннях.

Людська оцінка виправлень призвела до того, що 53% «відремонтованих» зображень було позначено як «нормальні», тоді як 97% вихідних зображень все ще демонструють значні покращення порівняно з оригіналами.

Дослідники стверджують, що цей метод, з деякими незначними переробками, також можна адаптувати до NVIDIA СтильGAN2.

Переваги синтетичних даних

Насамперед щодо даних про обличчя, загальна нестача наборів даних реального світу для комп’ютерного зору є перешкодою для різноманітних досліджень у важливих дослідницьких секторах, таких як розпізнавання облич, розпізнавання емоцій, медичні дослідження та дослідження більш детальної сегментації топології обличчя серед інших полів.

Поточна негативна реакція на вільне використання веб-даних і ad hoc збір реальних зображень облич для включення в бази даних облич є додатковою перешкодою для досліджень, оскільки зростає кількість держав і націй розтріскування on веб-скреб, а також привласнення зображень у соціальних мережах для цих цілей.

За останні десять років обмежена кількість висококураторських набори даних обличчя запропонували притулок від такого роду невизначеності, навколо них зосереджені різноманітні щорічні публічні дослідницькі виклики. Однак це, ймовірно, призвело до дослідницьких проектів, які перекошували свої методології саме в бік цих наборів даних, із послідовними та порівнянними результатами за рік, отриманими високою ціною відсутності різноманітності вихідного матеріалу – ситуація, яка з кожним роком погіршується. нове дослідження обмежує себе цими рамками.

Крім того, з’явилися деякі з цих «традиційних» наборів даних під критикою через відсутність расового розмаїття, що свідчить про те, що ці непохитні бенчмаркінги не можуть вважатися відповідними ресурсами в найближчому майбутньому.

Це вказує на потребу у високоякісних даних про обличчя, які є реалістичними, але в яких зображення «реального світу» були трансформовані до невпізнання. Навіть якщо таке використання даних про реальне обличчя «за одне видалення» саме по собі може зрештою викликати проблеми з походження облич, створених GAN, це камінь спотикання, який навряд чи виникне, доки не будуть створені правові та технічні механізми для збору даних такого роду; і, щодо можливих змін у законодавчій базі навколо цього питання, це все ще менша небезпека, ніж використання зображень реальних людей.

Подальше читання:

Підвищення реалістичності синтетичних зображень
Автоматична корекція внутрішніх одиниць у генеративних нейронних мережах