Пластическая хирургия для лиц, сгенерированных GAN

Новые исследованиям из Южной Кореи обещает улучшить качество синтетических данных о лицах, созданных генеративно-состязательными сетями (GAN).

Система способна идентифицировать артефакты изображения, созданные процессами GAN, и исправлять их, вплоть до замены волос, закрытых кепкой, замены частей лица, полностью отсутствующих в оригинале, и удаления окклюзий, таких как руки и солнцезащитные очки. , а также хорошо работает на живописных и архитектурных объектах.

Для каждого столбца оставлен исходный вывод GAN с дефектами, затем два других подхода к артефактам и, наконец, метод, использованный южнокорейскими исследователями. Источник: https://arxiv.org/pdf/2104.06118.pdf

Самые последние подходы к улучшению качества изображений, сгенерированных GAN, основывались на том, что артефакты представляют собой профессиональную опасность процесса, рассматривая методологию как «силу природы», а более психоделические или аберрациональные результаты, которые она может дать, как результат. неизбежный побочный продукт.

Вместо этого южнокорейское исследование предлагает фактически «исправлять» поврежденные изображения таким образом, чтобы не мешать непрерывной цепочке генерации, путем выявления аспектов, вызывающих артефакты, и уменьшения или устранения их влияния в сети GAN в полуконтролируемом режиме. уровень, который превосходит и расширяет собственные механизмы самокоррекции в архитектуре GAN.

Для проекта необходимо было создать широко применимый набор данных с ручной маркировкой изображений, на которые сильно повлияли артефакты GAN. Первоначально исследователи использовали начальное расстояние Фреше (FID) Из метрический который оценивает качество выходных данных GAN, сравнивая функции изображений в качестве квалифицирующей единицы. 10,000 200,000 изображений с наивысшими оценками FID среди 2,000 XNUMX изображений использовались в качестве дискретных «единиц артефактов». Впоследствии исследователи вручную пометили XNUMX сгенерированных изображений, классифицировав каждое как «нормальное» или затронутое артефактами FID. Затем была создана модель для классификации набора данных на артефакты, нормальные и случайные образцы реального мира.

После этого Gradient-weighted Class Activation Mapping (Град-САМ) использовался для создания масок для областей, затронутых артефактами, что эффективно автоматизировало маркировку дефектов.

На изображении выше маски Grad-CAM были применены к выходу из LSUN-церковь под открытым небом набор данных и Набор данных CelebA-HQ.

Путем анализа 20 наиболее пострадавших результатов из серии из 20,000 XNUMX изображений создаются маски сегментации, в которые репрезентативные результаты разных поколений (которые, вероятно, будут более точными или убедительными, чем артефакты) могут быть заменены за счет снижения активации единицы, производящие артефакты, в последующих поколениях.

Человеческая оценка исправлений привела к тому, что 53% «исправленных» изображений были помечены как «нормальные», в то время как 97% исходных изображений по-прежнему демонстрируют значительные улучшения по сравнению с оригиналами.

Исследователи утверждают, что этот метод с небольшими переделками также может быть адаптирован к NVIDIA. СтильGAN2.

Преимущества синтетических данных

В первую очередь, что касается данных о лицах, общая нехватка реальных наборов данных для компьютерного зрения является препятствием для разнообразных исследований в важных областях исследований, таких как распознавание лиц, распознавание эмоций, медицинские исследования и исследования более детальной сегментации топологии лицо, среди различных других областей.

Нынешняя негативная реакция на бесплатное использование веб-данных и специальная коллекция изображений лиц реального мира для включения в базы данных лиц является дополнительным препятствием для исследований с растущим числом государств и наций. обрушивающийся on веб-соскоб, а также использование изображений социальных сетей для этих целей.

За последние десять лет ограниченное количество тщательно отобранных наборы данных лиц предложили убежище от такого рода неопределенности, с различными ежегодными публичными исследовательскими задачами, сосредоточенными вокруг них. Тем не менее, это, возможно, привело к тому, что исследовательские проекты перекосили свои методологии именно в сторону этих наборов данных, с последовательными и сопоставимыми ежегодными результатами, полученными за счет отсутствия разнообразия в исходном материале - ситуация, которая ухудшается с каждым годом. новые исследования ограничиваются этими рамками.

Кроме того, некоторые из этих «традиционных» наборов данных появились под критикой из-за отсутствия расового разнообразия, что говорит о том, что эти стойкие приверженцы бенчмаркинга могут не считаться подходящими ресурсами в ближайшем будущем.

Это означает необходимость в высококачественных данных о лицах, которые являются реалистичными, но в которых изображения «реального мира» были преобразованы далеко до неузнаваемости. Даже если такое использование реальных данных о лицах «с одного удаления» может само по себе в конечном итоге вызвать проблемы с происхождение лиц, сгенерированных GAN, это камень преткновения, который вряд ли возникнет, пока не будут установлены юридические и технические механизмы для сбора данных такого рода; и, что касается возможных изменений в правовой базе по этому вопросу, это по-прежнему менее опасно, чем использование изображений реальных людей.

Дополнительная литература:

Улучшение реалистичности синтетических изображений
Автоматическая коррекция внутренних единиц в генеративных нейронных сетях