Переваги набору ваги за допомогою штучного інтелекту

Нова система штучного інтелекту може реалістично змінювати тіла людей на фотографіях, роблячи їх товстішими, тоншими або більш мускулистими, не змінюючи обличчя, одяг або фон. Система тренується на повністю синтетичних даних, які показують кожну ідентичність у декількох типах тіла.

Окрім все частішого використання штучного інтелекту як методу виправлення форми тіла в соціальних мережах або (потенційно) для зміни типів тіла для цілей візуальних ефектів, використання машинного навчання для зміни зовнішнього вигляду людей може служити більш важливій меті: допомозі людям з розладами харчування зрозуміти свою власну дисморфну інтерпретацію зовнішнього вигляду, а також пропонуючи потенційний мотиваційний інструмент для більш загальних спортивних і фітнес-цілей:

З паперу ‘Оцінка розміру тіла у жінок з анорексією нервозою та здоровими контролюючими за допомогою 3D-аватарів’, GUI для візуалізації змін форми тіла. Люди з дисморфією тіла можуть мати труднощі з асоціацією реалістичної інтерпретації свого тіла з подібним зображенням, тим самим надаючи клініцистам метрику для дисморфних реакцій, серед інших цілей. Джерело: https://www.nature.com/articles/s41598-017-15339-z.pdf

Крім того, напрямок дослідження фешн-трону у галузі комп’ютерного бачення також має інтерес до надання точних візуалізацій у різних типах тіла. Тим часом, фреймворки, такі як 2024 DiffBody від Університету Цукуби в Японії, створили деяку захоплюючу функціональність у цій галузі:

Деякі з трансформацій, можливих за допомогою попередньої техніки DiffBody. Джерело: https://arxiv.org/pdf/2401.02804

Оскільки моделі штучного інтелекту оптимізовані для традиційно привабливих або інших загальних типів тіла, незвичайні розміри, такі як “ожиріння”, або мінімально доступні у стандартних моделях, або ж приходять з певними упередженнями упереджень.

Парні необхідності

Однією з найбільших проблем при створенні систем штучного інтелекту, які можуть реалістично додавати або віднімати жир і м’язи на фотографіях людей, не змінюючи їхню ідентичність, середовище або одяг, є те, що це涉ляє парне навчання, коли система штучного інтелекту ефективно вчиться “до” і “після” зображень, які визначають будь-яку трансформацію, яку модель призначена виконувати.

Цей тип навчання знову став популярним протягом літа завдяки успіху серії моделей Kontext від Black Forest Labs, де цей тип парних даних був використаний для навчання моделей ряду трансформацій:

З сайту Flux Kontext, приклад трансформації, яка відображає тип джерельних даних, необхідних для навчання моделі, здатної зберігати цілісність зображення при накладанні великих змін. Джерело: https://bfl.ai/models/flux-kontext

Очевидно, що у випадку розробки моделі, яка може суттєво змінити зовнішній вигляд людини (без переосмислення всього зображення), потрібне щось зовсім неможливе у реальному світі: радикальні “до” і “після” зображення, зроблені лише за кілька секунд.

Єдина можливість – синтетичні дані. Деякі проекти цього типу використовували індивідуальні, створені вручну контрастні пари, створені в Photoshop; однак це нереалістично у великих масштабах, і автоматизований або напівавтоматизований, штучно інтелектуальний процес генерації пар зараз вважається більш прийнятним.

Проблема з GAN-базованими та більшою частиною SMPL/X-базованими підходами (де виртуальна фігурка CGI використовується як種 обміну між реальними зображеннями та бажаними трансформаціями), а також підходами, які використовують деформування зображення, полягає в тому, що фон і ідентичність часто страждають у процесі.

Параметричні, векторні моделі CGI, такі як SMPL і SMPL-X (серед інших), забезпечують визначені конвенціональні фізичні 3D-координати, які можна інтерпретувати та включити до фреймворків комп’ютерного бачення. Джерело: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

Оскільки важливо, щоб штучний інтелект навчився змінювати лише бажані аспекти, а не навчався деформувати фон і повторювати інші нежадані помилки, жодна система зміни тіла ще не досягла досконалого рішення.

Однак одна недавня робота з Індії пропонує помітний прогрес у стані речей завдяки використанню старішого Flux дифузійного моделювання, доповненого рядом вторинних підходів, які дозволяють отримати кращу та більш послідовну парну базу даних:

Приклади бази даних з нового проекту. Джерело: https://arxiv.org/pdf/2508.13065

Проект складається з нової та обширної парної бази даних; Odo, генеративної дифузійної моделі, навченої на цих даних; та спеціальної нової бази порівняння, призначеної для кількісної оцінки продуктивності редагування форми тіла людини:

У тестах автори стверджують про помітний прогрес у порівнянні з подібними моделями.

Стаття нова робота називається Odo: Глибокий дифузійний потік для збереження ідентичності зміни тіла і надходить від трьох дослідників з Fast Code AI Pvt. Ltd у Бангалорі.

Дані та метод

База даних, створена дослідниками, складається з 7 615 високороздільних зображень (960×1280 пікселів) для кожного цільового типу тіла (жирний, тонкий і мускулистий).

Спочатку було сгенеровано 1 523 людських обличчя через модель дифузійного моделювання FLUX.1-dev з 12 мільярдами параметрів, хоча з невизначеною кількістю ліцензійних безкоштовних зображень обличчя з Pexels і Unsplash, щоб збільшити різноманітність.

Для генерації зображень всього тіла, що включають ці обличчя, дослідники використовували пропозицію ByteDance 2024 року PuLID, чекпойнт, доопрацьований на основі базового Flux, і що містить контрастивну втрату ідентичності, призначену для збереження ідентичності обличчя під час трансформаційних процесів:

Приклади з проекту PuLID. Джерело: https://arxiv.org/pdf/2404.16022

Модель отримувала зображення обличчя і стандартизовану підказку, яка запитувала стать, одяг, позу, сцену, а також тип тіла тонкий, жирний або мускулистий.

Три зображення типу тіла для кожної ідентичності іноді мали незначні зсуви у вирівнюванні фону та сприйманому розмірі предмета, що виникли через стохастичну поведінку моделей дифузійного моделювання, де кожна генерація починається з нового шуму посіву. Навіть незначні зміни підказки, такі як зміна опису типу тіла, можуть вплинути на траєкторію моделі в латентному просторі і викликати візуальну дрейф.

Для виправлення цієї варіації була застосована чотириетапна автоматична постобробка, з тонким зображенням у кожній трійці, вибраним як посилання, оскільки його менша силует відкривав більше фону.

Виявлення особи здійснювалося за допомогою RT-DETRv2, а потім сегментування за допомогою SAM 2.1 для витягування масок предмета для всіх трьох типів тіла. Зображення тонке посилання було передано до FLUX.1 Kontext Pro (новішої системи редагування зображень) для заповнення фону, що дало чисту версію сцени з видаленим предметом.

Варіанти жирний і мускулистий були змінені розміром за допомогою уніфікованого масштабування, щоб збігтися з висотою тонкої маски посилання, і скомпоновано на чистому фоні на одному нижньому вирівнюванні, забезпечуючи послідовне кадрування по всім зображенням.

Автори заявляють:

‘Результатом є трансформаційні трійці (тонкий, жирний і м’язовий), які мають ідентичний фон і уніфікований масштаб предмета. Це видаляє нерелевантні варіації, які могли б негативно вплинути на подальше навчання або оцінювання.’

Кожна трійка з тонкого, жирного і м’язового зображень дозволяла шість можливих пар трансформацій, що призвело до 45 690 теоретичних комбінацій по 7 615 ідентичностей.

Після фільтрації прикладів з неузгодженим одягом, незвичайними позами, спотвореними кінцівками, дрейфом ідентичності або мінімальною зміною форми було збережено 18 573 високоякісних пар. Хоча деякі незначні відмінності поз залишилися, модель виявилася стійкою до цих варіацій.

Навчання та тести

Отримані зображення були використані для навчання моделі Odo – дифузійного підходу до зміни форми людини, з використанням карт Skinned Multi-Person Linear Model (SMPL, тобто проміжної CGI).

Інформований методами Neural Localizer’s, дані були приведені до моделі SMPL для кожного окремого випадку, з отриманими оптимальними параметрами, здатними генерувати глибини карти з яких би були отримані змінені зображення:

Схема тренувального потоку. Ліворуч показано тренувальну установку, де глибинні карти SMPL з цільового зображення керують ReshapeNet через ControlNet для виконання зміни тіла. Особливості з вихідного зображення витягуються ReferenceNet і об’єднуються в ReshapeNet за допомогою просторової самовідношення. Праворуч показано висновок, де параметри SMPL оцінюються з вхідного зображення, змінюються семантичними атрибутами та рендеряться у цільову глибинну карту, яка умовно керує ReshapeNet під час денойзингу, для отримання кінцевого зміненого зображення.

Модель (див. схему вище) складається з модуля ReshapeNet, підтримуваного трьома допоміжними модулями: ReferenceNet; модуль IP-Adapter; і модуль depth-based ControlNet.

ReferenceNet витягує детальні особливості, такі як фон, одяг та ідентичність, з вхідного зображення, і передає їх до ReshapeNet. IP-Adapter забезпечує високорівневе керівництво особливостями, тоді як Depth ControlNet застосовує умовне керування на основі SMPL для керівництва зміною тіла. У відповідності з попередніми працями, використовувався SDXL-базований заморожений UNet для витягування проміжних особливостей.

Що стосується модуля IP-Adapter, він кодує вхідне зображення за допомогою CLIP, з отриманими вбудовуваннями інтегрованими назад до ReshapeNet за допомогою перехресного уваги.

Що стосується модуля Depth ControlNet, він керує середніми та декодуючими шарами ReshapeNet за допомогою резидуальних зв’язків. Потім він приймає глибинну карту, відображену з цільових параметрів SMPL, і вирівнює її з цільовим зображенням.

ReshapeNet, заснований на SDXL UNet, є основною мережею Odo. Під час навчання цільові зображення кодуються у латентний простір за допомогою варіаційного автоенкодера, шумлять у часі та потім денойзяться ReshapeNet за допомогою особливостей з ControlNet і ReferenceNet.

Категорійні текстові підказки, такі як “Зробіть людину товстішою”, “Зробіть людину тоншою” або “Зробіть людину мускулистішою”, були додані для керівництва трансформаціями. Хоча глибинні карти захоплювали грубі форми тіла, підказки забезпечували семантичну деталь, необхідну для змін, таких як визначення м’язів, що дозволяло моделі генерувати більш точні та реалістичні зміни.

Реалізація навчання

Odo був навчений на синтетичних даних проекту, поєднаних з підмножиною DeepFashion-MultiModal набору даних, що дало загалом 20 000 пар зображень.

Дані DeepFashion-MultiModal забезпечували різноманітність у одязі та особливостях обличчя, з зображеннями, спарованими з собою під час навчання. З усіма попередньо обчисленними глибинними картами SMPL для ефективності навчання проходило 60 епох на одному NVIDIA A100 GPU з 80 ГБ відеопам’яті.

З вхідними зображеннями, зміненими до розміру 768×1024, використовувався оптимізатор Adam з швидкістю навчання 1×10⁻⁵. ReshapeNet був ініціалізований з вагами SDXL UNet і доопрацьований спільно з IP-Adapter з його чекпойнта.

ReferenceNet був ініціалізований з вагами SDXL і залишався замороженим, тоді як Depth ControlNet використовував попередньо навчені ваги і також залишався замороженим.

Кінцева модель вимагала близько 23 ГБ відеопам’яті, і потребувала 18 секунд для висновку одного зображення.

Нова метрика

Відсутність наборів даних такого типу, необхідних для цього типу проекту, означала, що жодна з існуючих метрик не справлялася з викликом. Тому автори розробили нову базу порівняння, що складається з 3600 пар зображень, що містять реальні зображення обличчя та описи фону, а також різноманітні варіації форми тіла.

Інші метрики, які були використані, включали Індекс структуальної подібності (SSIM); Піковий коефіцієнт сигнал-шум (PSNR); Навчена перцептивна подібність патчів зображення (LPIPS); і Масштабно виправлена пер-вертексна евклідова похибка у нейтральній (Т-) позі (PVE-T-SC).

Спочатку автори протестували свій метод якісно на зображеннях з дикої природи (зображеннях, яких модель не бачила під час навчання):

Якісні тести. Приклади показують перетворення з оригінального зображення у тонкі, товсті та мускулистий типи тіла в різних позах, включаючи сидіння та стоячи. Будь ласка, зверніться до джерела паперу для кращої роздільності та деталей.

З цих результатів у папері зазначено:

‘Наш метод ефективно обробляє різноманітні пози, фони та одяг, зберігаючи ідентичність особи.

‘Крім цілей SMPL, ми забезпечуємо текстові підказки – “Зробіть людину товстішою”, “Зробіть людину тоншою” або “Зробіть людину мускулистішою” – для явного керівництва бажаними трансформаціями…

…'[Нижче зображення] далі демонструє здатність нашої моделі виконувати різноманітні зміни форми. Модель точно слідує глибинним картам SMPL для генерації кількох варіантів тонких і товстих версій з посилочного зображення.’

Дальші якісні тести, що охоплюють діапазон цільових типів тіла. Будь ласка, зверніться до джерела паперу для кращої роздільності та деталей.

Автори далі коментують:

‘Наші результати демонструють більш реалістичні трансформації згідно з цільовим вагою, оскільки наша модель одночасно коригує загальну форму тіла, пропорції кінцівок та одяг, що призводить до анатомічно узгоджених та візуально переконливих змін.’

Для кількісних тестів автори протиставили свою систему відкритій моделі Flux Kontext [dev], FLUX.1, і пропозиції 2022 року Структура-орієнтована генерація потоку для зміни форми людини.

Для FLUX.1 Kontext [dev] підказки були розроблені для інструктування “Зробіть людину товстішою”, “Зробіть людину тоншою” або “Зробіть людину мускулистішою”, з цільовими вагами, хоча відсутність тонких контролів обмежувала продуктивність:

Порівняння Odo з Структура-орієнтованою генерацією потоку для зміни форми людини та FLUX.1 Kontext [dev] на тестовому наборі, разом з результатами абляції (які ми не розглядаємо тут) для моделей, навчених без умовної підказки в ReshapeNet, без ReferenceNet (за допомогою лише IP-Adapter), і з навчанням, обмеженим набором даних BR-5K.

Висновок

Поява Flux Kontext цього року, а також недавнє випуск неважкодоступних вагів для Qwen Image Edit, повернули парні дані до центру уваги улюбленців та професійних спільнот. У кліматі зростаючої критики та нетерпіння щодо неточності генеративного штучного інтелекту, моделі цього типу призначені для значно вищої точності до вхідних джерельних зображень (хоча менші моделі іноді обмежені своїми дуже конкретними цілями навчання).

У цьому випадку корисність системи зміни тіла, здається, лежить у психологічних, медичних та модних галузях. Однак залишається можливим, що системи цього типу досягнуть вищого рівня популярності та, можливо, більш неформального та навіть потенційно проблемного набору застосунків.

Перша публікація понеділка, 25 серпня 2025