Система штучного інтелекту, яка може зробити зображення людей більш “красивими”

Дослідники з Китаю створили нову систему штучного інтелекту, яка здатна зробити зображення людини більш “красивими” на основі нової підходу до навчання з підкріпленням.

Новий підхід використовує ‘передбачення краси обличчя’ для ітерації через варіації зображення на основі ряду факторів, серед яких освітлення та положення очей можуть бути критичними факторами. Тут оригінальні джерела (зліва кожного стовпчика) походять з системи EigenGAN, а нові результати – праворуч від них. Джерело: https://arxiv.org/pdf/2208.04517.pdf

Ця техніка спирається на інновації, відкриті для генератора EigenGAN, іншого китайського проекту, який у 2021 році зробив значні кроки у визначенні та отриманні деякого контролю над різноманітними семантичними атрибутами у латентному просторі генеративних суперницьких мереж (GAN).

Генератор EigenGAN 2021 року був здатний індивідуалізувати високорівневі концепції, такі як ‘колір волосся’, у латентному просторі генеративної суперницької мережі. Нова робота будується на цій інноваційній інструментальності, щоб доставити систему, яка може ‘покращити’ вихідні зображення, але без зміни впізнаваної ідентичності – проблема попередніх підходів. Джерело: https://arxiv.org/pdf/2104.12476.pdf

Система використовує ‘мережу оцінки естетики’, отриману з SCUT-FBP5500 (SCUT), бази даних для передбачення краси обличчя 2018 року з Південнокитайського університету технологій у Гуанчжоу.

З паперу 2018 року ‘SCUT-FBP5500: різноманітна база даних для багатопарадигмального передбачення краси обличчя’, який запропонував ‘мережу передбачення краси обличчя’ (FBP), здатну ранжувати обличчя за сприйманою привабливістю, але яка не могла фактично трансформувати або ‘підвищувати’ обличчя. Джерело: https://arxiv.org/pdf/1801.06345.pdf

На відміну від нової роботи, проект 2018 року не може фактично виконувати трансформації, але містить алгоритмічні судження щодо 5 500 облич, надані 60 змішаними маркерами статі (50/50). Ці були включені до нової системи як ефективний дискримінатор, щоб інформувати трансформації, які, ймовірно, покращать ‘привабливість’ зображення.

Цікаво, що нова стаття називається Контрольована генерація красивих європейських облич за допомогою естетики, керованої підкріпленням. Причина, по якій всі раси, крім європейської, виключені з системи (врахуйте також, що самі дослідники китайці), полягає в тому, що джерельні дані для SCUT суттєво нахилені до азіатських джерел (4000 рівномірно розподілених азіатських жінок/чоловіків, 1500 рівномірно розподілених європейських жінок/чоловіків), роблячи ‘середню людину’ в цій базі даних коричневоволосою та кароокою.

Отже, щоб забезпечити варіацію кольору хоча б в межах однієї раси, було необхідно виключити азіатський компонент з оригінальних даних або піти на суттєві витрати на відновлення даних, щоб розробити метод, який міг би не спрацювати. Крім того, варіація культурних сприйняттів краси неминуче означає, що такі системи потребуватимуть певної географічної конфігуровності щодо того, що становить ‘привабливість’.

П Pertinent Атрибути

Для визначення основних факторів, що внесли свій внесок у ‘привабливе’ фото людини, дослідники також тестували вплив різних змін зображень у термінах того, як добре такі доповнення підвищують алгоритмічне сприйняття ‘краси’. Вони виявили, що хоча б один з аспектів є більш центральним для хорошої фотографії, ніж хорошої генетики:

Окрім освітлення, аспекти, які мали найбільший вплив на оцінку краси, були чуби (які в разі чоловіків можуть часто бути еквівалентними наявності повної голови волосся), поза тіла та положення очей (де взаємодія з точкою зору камери є стимулом для привабливості).

(Щодо ‘колір губ’, нова система, яка може ефективно працювати як на чоловічих, так і на жіночих презентаціях гендеру, не індивідуалізує зовнішній вигляд гендеру, а скоріше спирається на нову систему дискримінатора як на ‘фільтр’ у цьому відношенні)

Метод

Функція винагороди в механізмі навчання з підкріпленням у новій системі працює за допомогою простої регресії над даними SCUT, яка виводить передбачення краси обличчя.

Система тренування ітерує над вхідними зображеннями (знизу ліворуч на схемі нижче). Спочатку попередньо натренований модель ResNet18 (натренована на ImageNet) витягує функції з п’яти ідентичних (‘y’) зображень. Далі, потенційна трансформаційна дія виводиться з прихованого стану повністю зв’язаного шару (GRUCell, на зображенні нижче), і трансформації застосовуються, в результаті чого отримуються п’ять змінених зображень, які подаються у мережу оцінки естетики, чий рейтинг, як у Дарвіна, визначить, які варіації будуть розвинені, а які відкинуті.

Ілюстрація робочого процесу для нової системи.

Мережа оцінки естетики використовує модуль Ефективної канальної уваги (ECA), тоді як адаптація попередньо натренованого екземпляра EfficientNet-B4 призначена для витягування 1 792 функцій з кожного зображення.

Після нормалізації через функцію активації ReLU отримується чотирирозмірний вектор, який потім розплющується до однорозмірного вектора після активації та адаптивного середнього пулізації. Нарешті, результати подаються у регресійну мережу, яка повертає оцінку естетики.

Якісне порівняння виходу системи. У нижньому рядку ми бачимо агреговану суму всіх індивідуалізованих аспектів, які були визначені методом EigenGAN і згодом покращені. Середні оцінки FID для зображень знаходяться ліворуч від рядків зображень (більше – краще).

Тести та дослідження користувачів

П’ять варіантів запропонованого методу були оцінені алгоритмічно (див. зображення вище), з оцінками відстані Фрідхофера-Інсепшона (FID, спірна в деяких кварталах) для загальної кількості 1000 зображень, які були пройдені через систему.

Дослідники відзначають, що покращення освітлення досягло кращого рейтингу привабливості для осіб на фотографіях, ніж декілька інших більш ‘очевидних’ можливих змін (тобто до фактичного вигляду людини на зображенні).

До певної міри тестування системи в цьому спосіб обмежене ексцентриками даних SCUT, яке не має багатьох ‘яскравих посмішок’, і автори стверджують, що це може надмірно завищувати ‘загадковий’ вигляд у даних порівняно з ймовірними перевагами потенційних кінцевих користувачів (мабуть, у цьому випадку західного ринку).

Однак, оскільки вся система спирається на середні оцінки лише 60 осіб (у папері EigenGAN), і оскільки якість, яку вивчають, далеко не емпірична, можна стверджувати, що процедура більш звучна, ніж сама база даних.

Хоча це обробляється дуже коротко в статті, зображення з EigenGAN і п’яти варіантів системи також були показані в обмеженому дослідженні користувачів (восьми учасників), яким було запропоновано вибрати ‘найкраще зображення’ (слово ‘привабливий’ було уникнуто).

Вище, інтерфейс, представлений маленькій групі дослідження; нижче, результати.

Результати показують, що вихід нової системи досягнув найвищого рівня вибору серед учасників (‘MAES’ на зображенні вище).

Погоня за красою

Користь такої системи важко встановити, незважаючи на те, що здається помітним локусом зусиль у напрямку Китаю до цих цілей. Жоден не викладений у новій публікації.

Попередня стаття EigenGAN пропонує*, що система розпізнавання краси могла б бути використана у системах рекомендацій макіяжу для обличчя, естетичних операцій, покращення обличчя або контент-орієнтованому пошуковому індексуванні зображень.

Мабуть, такий підхід також міг би бути використаний на сайтах знайомств, користувачами, щоб ‘підвищити’ свої власні фотографії профілю до гарантованого ‘щасливого пострілу’, як альтернативу використанню застарілих фотографій або фотографій інших людей.

Аналогічно, сайти знайомств також могли б ‘оцінювати’ клієнтів, щоб створити рейтинги та навіть обмежені рівні доступу, хоча це, мабуть, працюватиме лише через лайв-авторизацію, а не через надані фотографії (які також могли б бути ‘підвищені’ клієнтами, якщо підхід стане популярним).

У рекламі алгоритмічний метод оцінки краси (технологія, передбачена покійним науковим фантастом Майклом Крайтоном у його кінострічці 1982 року Looker) міг би бути використаний для вибору не покращеного творчого виходу, найбільш ймовірного для залучення цільової аудиторії, тоді як можливість фактично максимізувати естетичний вплив обличчя без фактичного переписування їх у стилі deepfake могла б підвищити вже ефективні зображення, призначені для залучення громадського інтересу.

Нова робота підтримується Національним природознавчим науковим фондом Китаю, відкритим фондом проекту Державної лабораторії управління складними системами та контролю, та проєктом філософських та соціальних наукових досліджень Міністерства освіти Китаю, серед інших спонсорів.

* Багато рекомендацій статті EigenGAN вказують на комерційно доступну книгу 2016 року під назвою ‘Комп’ютерні моделі аналізу краси обличчя’, а не академічні джерела.

Перша публікація 11 серпня 2022 року.