Переформування людських типів тіла за допомогою штучного інтелекту

Нова дослідницька співпраця з Китаю пропонує новий метод переформування людського тіла на зображеннях за допомогою координованої подвійної нейронної мережі, керованої параметричною моделлю, яка дозволяє кінцевому користувачеві модулювати вагу, висоту та пропорції тіла в інтерактивному графічному інтерфейсі.

Параметрична модуляція форми тіла, з повзунками, які змінюють три доступні функції. Джерело: https://arxiv.org/pdf/2203.10496.pdf

Ця робота пропонує кілька покращень над подібним проектом від Alibaba, оскільки вона може переконливо змінювати висоту та пропорції тіла, а також вагу, і має окрему нейронну мережу для “замальовування” (неіснуючого) фону, який може бути відкритим шляхом “зменшення” зображення тіла. Вона також покращує ранній параметричний метод для переформування тіла, видаляючи необхідність у великому втручанні людини під час формування перетворення.

Названа NeuralReshaper, нова архітектура підганяє параметричний 3D-шаблон людини до джерельного зображення, а потім використовує спотворення у шаблоні для адаптації оригінального зображення до нових параметрів.

Система здатна обробляти перетворення тіла на одягнених, а також напіводягнених (тобто пляжному) фігурах.

Перетворення цього типу зараз представляють великий інтерес для сектору досліджень ШІ для моди, який створив ряд платформ StyleGAN/CycleGAN та загальних нейронних мереж для віртуальних примірок, які можуть адаптувати доступні речі до форми та типу тіла зображення, наданого користувачем, або інакше допомогти з візуальною конформністю.

Стаття називається Single-image Human-body Reshaping with Deep Neural Networks і походить від дослідників Університету Чжецзян у Ханчжоу та Школи креативних медіа в Міському університеті Гонконгу.

Підгонка SMPL

NeuralReshaper використовує Skinned Multi-Person Linear Model (SMPL), розроблений Інститутом інтелектуальних систем імені Макса Планка та відомим домом візуальних ефектів Industrial Light and Magic у 2015 році.

Параметричні люди SMPL з колаборації Planck/ILM 2015 року. Джерело: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

На першому етапі процесу створюється модель SMPL з джерельного зображення, до якого бажано здійснити перетворення тіла. Адаптація моделі SMPL до зображення відбувається згідно з методологією методу Human Mesh Recovery (HMR), запропонованим університетами Німеччини та США у 2018 році.

Три параметри для деформації (вага, висота, пропорції тіла) обчислюються на цьому етапі, разом із урахуванням параметрів камери, таких як фокусна відстань. 2D-ключові точки та згенерована силует-відповідність забезпечують обмеження для деформації у вигляді 2D-силуета, додатковий оптимізаційний захід, який підвищує точність межі та дозволяє аутентичне заповнення фону далі по трубопроводу.

Етапи підгонки SMPL: зліва, джерельне зображення; другий зліва, результат оптимізації, отриманий за допомогою методу, описаного у дослідженні 2016 року під керівництвом Інституту інтелектуальних систем імені Макса Планка; третій зліва, результат прямого інференсу з попередньо натренованої моделі для відновлення форми та положення людини; четвертий зліва, результати, отримані після оптимізації 2D-ключових точок; і, нарешті, праворуч, завершена підгонка після оптимізації силуета (див. вище).

Тривимірну деформацію проєктують у простір зображення, створюючи щільне поле викривлення. Обробка одного зображення займає близько 30 секунд.

Архітектура NeuralReshaper

NeuralReshaper використовує дві нейронні мережі паралельно: кодувальник переднього плану, яка генерує перетворену форму тіла, та кодувальник фону, яка зосереджується на заповненні “деоклюдованих” фонових регіонів (у разі, наприклад, “зменшення” тіла – див. зображення нижче).

Архітектура типу U-Net поєднує ознаки обох кодувальників і передає їх єдиному декодеру, який формує нове зображення. Інтеграцію забезпечує новий механізм, керований полем викривлення.

Навчання та експерименти

NeuralReshaper реалізовано на PyTorch на одному GPU NVIDIA (NVDA ) 1080ti з 11 ГБ відеопам’яті. Мережа була навчена протягом 100 епох під оптимізатором Adam, зі швидкостями навчання 0,0001 для генератора та 0,0004 для дискримінатора. Навчання відбувалося на розмірі партії 8 для спеціально підготовленого набору вуличних зображень (відібраної з COCO, MPII та LSP), та 2 для навчання на наборі даних DeepFashion.

Зліва оригінальні зображення, справа – результати, отримані після застосування NeuralReshaper.

Нижче наведено приклади виключно з бази даних DeepFashion, натренованої для NeuralReshaper, з оригінальними зображеннями завжди зліва.

Три керовані характеристики розділені та можуть застосовуватися незалежно.

Перетворення вуличних зображень складніші: потрібно заповнювати складний фон і чітко та переконливо окреслювати змінене тіло.

Параметрична необхідність

Як зазначено в статті, перетворення одного й того ж типу представляють собою некоректно поставлену задачу в синтезі зображень. Багато трансформаційних ГАН та енкодерних рамок можуть використовувати парні зображення (наприклад, різні проекти, призначені для виконання перетворень «ескіз → фото» та «фото → ескіз»).

Однак, у цьому випадку це потребувало би парних зображень, що зображують одних і тих же людей у різних фізичних конфігураціях, таких як “до та після” зображення в рекламі дієти або пластичної хірургії – дані, які важко отримати або згенерувати.

Трансформаційні ГАН-мережі можуть бути натреновані на набагато більш різноманітних даних та здійснювати перетворення, шукаючи напрямок латентного простору між джерельним зображенням (оригінальним кодом латентного простору) та бажаним класом (у цьому випадку “товстим”, “тонким”, “високим” тощо). Однак цей підхід зараз надто обмежений для цілей тонкого переформування тіла.

Підходи Нейронні поля випромінювання (NeRF) значно більш просунуті у повному тілі симуляції, ніж більшість ГАН-мереж, але залишаються специфічними для сцени та ресурсоємкими, з зараз дуже обмеженою можливістю редагування типів тіла у спосіб, який NeuralReshaper та попередні проекти намагаються вирішити (за винятком зменшення масштабу всього тіла відносно його середовища).

Латентний простір ГАН важко керувати; VAE самі по собі ще не розв’язують складнощі повного відтворення тіла; і здатність NeRF постійно та реалістично перебудовувати людські тіла ще в зародковому стані. Тому включення “традиційних” методів CGI, таких як SMPL, схоже, буде продовжуватися в секторі досліджень синтезу людських зображень, як метод обмеження та впорядкування функцій, класів та латентних кодів, чиї параметри та експлуатабельність ще не повністю зрозумілі в цих нових технологіях.

Уперше опубліковано 31 березня 2022 року.