Погляд Anderson

Віртуальне примірювання нового одягу за допомогою ШІ

Martin Anderson
Додайте Unite.AI до бажаних джерел у Google
Examples of virtual try-on from the Vanast project – source: https://arxiv.org/pdf/2604.04934
Ключові моментиОдноетапна AI-модель Vanast інтегрує одяг, ідентичність та рух для створення…
Показати більше
  • Одноетапна AI-модель Vanast інтегрує одяг, ідентичність та рух для створення стабільніших відео для віртуального примірювання.
  • Система генерує власні синтетичні навчальні дані за допомогою моделей на кшталт Flux та Qwen, подолавши проблему нестачі реальних даних.
  • Незважаючи на технічні досягнення, комерційна життєздатність залишається обмеженою через високі обчислювальні потреби та проблеми із затримками.

Модель ШІ тепер може за однією фотографією людини та зображеннями одягу створити відео, де та сама людина рухається в новому вбранні. Водночас вона уникає помилок, типових для старіших двоетапних систем.

 

У дослідженнях комп’ютерного зору віртуальне примірювання одягу (VTON) належить до найкраще фінансованих і найпродуктивніших напрямів наукової літератури. Головна причина — значна підтримка заможної індустрії моди, про яку можна судити з численних щорічних спільних публікацій компаній та університетів:

Зі статті Image-Based Virtual Try-On: A Survey: приклади способів подання людини та етапів фільтрації й уточнення, які навіть прості зображення мають пройти для віртуального примірювання одягу (VTON).

Зі статті Image-Based Virtual Try-On: A Survey: приклади способів подання людини та етапів фільтрації й уточнення, які навіть прості зображення мають пройти для віртуального примірювання одягу (VTON). Джерело

Ця мета має багато варіантів, зокрема виділення одягу із зображень людей або пристосування до повнішої фігури за потреби. Деякі системи на основі зображень уже використовують комерційно на платформах veesual.ai, wanna.fashion і fashn.ai.

Для відео цю функцію випробували в експериментальному застосунку Google Labs Doppl, запущеному минулого літа:

Якщо відео не запускається автоматично, натисніть для відтворення. Уривки із закритого проєкту Google Doppl для віртуального примірювання у відео.  Джерело

Однак Doppl закривається у квітні 2026 року після стриманої реакції, і користувачів тепер спрямовують до сервісу примірювання† компанії, який працює лише із зображеннями:

Сервіс Google для примірювання лише за зображеннями, до якого спрямовують користувачів закритої платформи Doppl.

Сервіс Google для примірювання лише за зображеннями, до якого спрямовують користувачів закритої платформи Doppl. Джерело

Кілька платформ пропонують віртуальне примірювання у відео, але жодна, схоже, не пов’язана зі справжнім продавцем. Усе це експериментальні продукти на межі можливостей технології, нішеві, часто сумнівні та такі, що рекламують токени.

У дослідженнях є цікаві спроби. Проте вони зазвичай спираються на складні архітектури, з якими важко одночасно забезпечити малу затримку й високу якість:

Якщо відео не запускається автоматично, натисніть для відтворення. Проєкт Fashion-VDM 2024 року: приклад перенесення одягу на зображеннях людей без голови. Джерело

Пристосувати одяг до реальної людини, не спотворюючи ні речі, ні людину, і водночас зберегти корисний рух для демонстрації товару — величезний виклик для сучасних технологій. Наприклад, коли людина повертається спиною, задню частину виробу потрібно показати точно.

Vanast

Нова робота з Кореї намагається розв’язати цю проблему за допомогою нового, повністю інтегрованого підходу до обробки одягу, людини й руху:

Якщо відео не запускається автоматично, натисніть для відтворення. Приклади із сайту додаткових матеріалів проєкту Vanast. Джерело 

Нова система Vanast використовує спеціально створений набір даних, який поєднує та узгоджує три необхідні чинники: одяг, людину й рух:

Натисніть для відтворення. Більше прикладів із сайту проєкту Vanast.

Система застосовує Flux, Qwen і ChatGPT для створення набору трійок даних, на якому можна навчати архітектуру, що виконує все завдання від початку до кінця:

З нової роботи: приклади елементів набору даних для генерування й навчання.

З нової роботи: приклади елементів набору даних для генерування й навчання. Джерело –

Нова робота має назву Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision і підготовлена чотирма дослідниками Сеульського національного університету. Також є сайт проєкту з багатьма відео.

Метод

Мета авторів — поєднати три згадані аспекти в один етап. Це не лише утворює єдиний процес, а й дає аспектам більше можливостей взаємодіяти під час навчання, щоб результати генерування були узгодженішими:

Vanast поєднує одну фотографію людини, окремі зображення одягу та зразок руху. Він створює послідовність, у якій та сама людина рухається в новому вбранні. Керування за позами забезпечує узгодженість руху, зберігаючи індивідуальні риси людини й деталі одягу між кадрами.

Vanast поєднує одну фотографію людини, окремі зображення одягу та зразок руху. Він створює послідовність, у якій та сама людина рухається в новому вбранні. Керування за позами забезпечує узгодженість руху, зберігаючи індивідуальні риси людини й деталі одягу між кадрами.

На вхід подають зображення потрібного одягу, фотографію людини в іншому вбранні, відеозразок бажаного руху й текстову інструкцію з описом дії та оточення. Система створює повну відеопослідовність, де та сама людина має вигляд одягненої в нове вбрання та відтворює заданий рух, зберігаючи візуальну узгодженість у часі.

Більшість подібних попередніх робіт відокремлювала вдягання від анімації. Vanast обробляє одяг, індивідуальні риси людини та рух разом, даючи їм змогу взаємодіяти під час генерування. Це зменшує невідповідності й нестабільність попередніх методів.

Набір даних

Для навчання використовують відповідні одне одному приклади фотографії людини, її одягу й відео тієї самої людини, яка рухається в ньому. Рух виділяють за допомогою попередньої архітектури, що забезпечує стабільне керування за позами між кадрами.

Публічного набору, який відповідав би вимогам, не було, тому відео з різноманітним одягом зібрали в неуточнених інтернет-магазинах. Однак потрібні були відео тієї самої людини в кількох різних вбраннях, що рідко трапляється в матеріалах, зібраних у природних умовах. Тому знадобилося створити синтетичні дані.

Процес має три етапи. Відповідні кадри-кандидати вибирають із відео за допомогою Qwen2.5-VL, моделі зору й мови (VLM). Кадри обрізають і перевіряють на придатність: наприклад, людина не повинна бути перекрита й має перебувати в правильному положенні. Далі створюють маски інпейнтингу для виділення потрібних областей. Як і в попередній роботі PERSE, це виконує вже добре відома дифузійна модель SDXL.

Схема Vanast: фотографію людини, зображення потрібного одягу й відеозразок руху кодують та обробляють у єдиній дифузійній відеомоделі. Анімація зберігає індивідуальні риси людини, відтворює послідовність поз і застосовує потрібний одяг. Синтетичні трійки підтримують навчання, а два модулі розділяють анімацію й перенесення одягу для збереження узгодженості.

Схема Vanast: фотографію людини, зображення потрібного одягу й відеозразок руху кодують та обробляють у єдиній дифузійній відеомоделі. Анімація зберігає індивідуальні риси людини, відтворює послідовність поз і застосовує потрібний одяг. Синтетичні трійки підтримують навчання, а два модулі розділяють анімацію й перенесення одягу для збереження узгодженості.

На третьому етапі Qwen знову класифікує зображення за статтю. Потім популярний інструмент дифузійного генерування зображень Flux змінює одяг на зображенні, оскільки може поєднувати кілька вхідних елементів. Текстові інструкції для інпейнтингу підготували за допомогою ChatGPT; версію не вказано.

Щоб урізноманітнити пози й тло, запровадили процес створення навчальних трійок із відео, знятих у реальних умовах, за допомогою набору HumanVid. Тим самим способом генерували зображення людей зі збереженням їхніх індивідуальних рис.

Відео не містили окремих зображень одягу, тому їх синтезували безпосередньо із записів. Із кожного відео вибирали кадри й за допомогою Qwen оцінювали видимість спереду. Найкращий кадр обирали за видимістю всього тіла, чіткістю, мінімальним перекриттям, освітленням і загальною композицією.

Ділянку одягу на верхній частині тіла виділяли за допомогою SegFormer і видаляли тло, залишаючи лише річ.

Щоб уникнути позиційного зміщення, ділянку одягу випадково пересували в межах обмежувального прямокутника. Qwen знову відсіював ненадійні результати сегментації. Так отримували синтетичні зображення одягу, пов’язані з рухом та індивідуальними рисами людини. Це дало змогу створювати трійки у великому масштабі з неструктурованих відео й підвищувало стійкість у різних реальних умовах.

Архітектура

Архітектура з двома модулями покликана усунути повільну збіжність і слабкий баланс керування в попередніх методах, що поєднували всі умови. Вона використовує дифузійний трансформер генерування відео з тексту моделі Wan та також спирається на проєкт VACE, описаний нижче.

Модель поділили на модуль анімації людини (HAM), який обробляє рух та індивідуальні риси за даними людини й поз, і модуль перенесення одягу (GTM), який обробляє речі за їхніми зображеннями. Обидва спільно використовують базову мережу та інтегрують ознаки розподілено й каскадно для поліпшення обумовлення.

Під час навчання заморожували базову мережу й оптимізували лише параметри HAM і GTM, урівноважуючи їхній внесок під час інтеграції ознак. Вхідні дані синтетичних трійок перетворювали на латентні представлення за допомогою варіаційного автоенкодера (VAE) моделі WAN.

Контекст з урахуванням руху будували, поєднуючи відомості про людину й пози в часі. Ознаки одягу обробляли окремо й узгоджували проєкцією у векторні представлення токенів.

Модель також підтримує інтерполяцію одягу. Представлення двох речей поєднують для плавних переходів, забезпечуючи узгоджене змішування одягу без додаткової оптимізації.

Дані й тести

Модель навчали на 9135 відео тривалістю від трьох до десяти секунд, отриманих зі згаданих інтернет-магазинів, власного згенерованого набору авторів і HumanVid.

Створили два набори для оцінювання: Internet, який містить відео та зображення товарів з інтернет-магазинів, і офіційну тестову частину набору ViViD від Alibaba. Оскільки у ViViD немає облич, їх додавали за допомогою розширення зображень засобами Flux. Попереднє відео показує цю практику, дуже поширену в дослідженнях віртуального примірювання.

Використані метрики: втрати L1; пікове відношення сигналу до шуму (PSNR); індекс структурної подібності (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); Fréchet Inception Distance (FID) і Fréchet Video Distance†† (FVD).

Для перенесення одягу тестували OOTDiffusion; CatVTON; OmniTry і Any2AnyTryon. Серед моделей генерування зображень за заданим об’єктом перевіряли VisualCloze; MOSAIC і модель ByteDance UNO.

На другому етапі, анімації фотографій людини, використовували StableAnimator і DisPose.

VACE також перевіряли в обмеженому режимі, оскільки він безпосередньо не підтримує цю мету, із певними спробами компенсувати відсутню функціональність:

Кількісне порівняння поєднань моделей генерування зображень за заданим об’єктом і моделей анімації на наборах Internet та ViViD. Запропонований метод показав найкращі результати за всіма наведеними метриками. Жирним виділено найвищий результат у кожному стовпці.

Кількісне порівняння поєднань моделей генерування зображень за заданим об’єктом і моделей анімації на наборах Internet та ViViD. Запропонований метод показав найкращі результати за всіма наведеними метриками. Жирним виділено найвищий результат у кожному стовпці.

Про перші результати вище автори пишуть:

«Наша модель показує найкращі результати за всіма метриками порівняно з поєднаннями моделей генерування зображень за заданим об’єктом і моделей анімації».

«Якісні результати [нижче] додатково підтверджують, що наш підхід забезпечує найточніше відтворення поз і перенесення одягу, зберігаючи індивідуальні риси людини точніше, ніж усі методи порівняння, засновані на генеруванні зображень за заданим об’єктом».

Якісне порівняння на наборах Internet і ViViD з методами генерування зображень за заданим об’єктом та анімації. За твердженням авторів, запропонований метод точніше узгоджує пози й переносить одяг, стабільніше зберігаючи індивідуальні риси людини, ніж VisualCloze, MOSAIC, UNO та VACE.

Якісне порівняння на наборах Internet і ViViD з методами генерування зображень за заданим об’єктом та анімації. За твердженням авторів, запропонований метод точніше узгоджує пози й переносить одяг, стабільніше зберігаючи індивідуальні риси людини, ніж VisualCloze, MOSAIC, UNO та VACE.

У другій категорії тестів порівнювали поєднання віртуального примірювання на зображеннях і моделей анімації. Нова робота знову отримала найвищий результат:

Кількісне порівняння поєднань віртуального примірювання на зображеннях і моделей анімації на наборах Internet і ViViD. Метод показав найкращий загальний результат за сукупністю метрик, а SSIM залишився порівнянним із найсильнішим методом порівняння. Жирним виділено найвищий результат.

Кількісне порівняння поєднань віртуального примірювання на зображеннях і моделей анімації на наборах Internet і ViViD. Метод показав найкращий загальний результат за сукупністю метрик, а SSIM залишився порівнянним із найсильнішим методом порівняння. Жирним виділено найвищий результат.

Автори додають:

«Якісні порівняння [нижче] показують, що наші результати найближчі до реальних еталонних зображень серед усіх методів порівняння для віртуального примірювання на зображеннях».

Якісні тести методів порівняння, що поєднують моделі VTON і моделі анімації.

Якісні тести методів порівняння, що поєднують моделі VTON і моделі анімації.

Висновок

Vanast пропонує єдине рішення від початку до кінця. Однак брак подробиць про ресурси для навчання й інференсу дає підстави припускати, що це може бути не найлегше чи найгнучкіше рішення. Саме завдання надзвичайно складне навіть у неоптимізованій системі. Наскільки ж складніше комерційне впровадження, яке потребує малої затримки, прийнятної вартості та окупності у великому масштабі?

Віртуальне примірювання — одна з особливо амбітних цілей ШІ. Образ сучасної технології, який поширюють заголовки й ретельно відібрані результати, приховує реальну складність завдання. Можливо, згодом його розв’яжуть пізніші й легші технології, ніж трансформери.

 

† Доступно у США; географічно заблоковано в багатьох інших регіонах, якщо не в усіх.

†† Автори згадують VFID, але дають посилання лише на статтю ViViD, яка, наскільки я зміг установити за обмежений час, не обґрунтовує цього посилання. Я припустив, що насправді вони мали на увазі Fréchet Video Distance (FVD) і теж мали мало часу. За потреби виправлень зв’яжіться зі мною.

Уперше опубліковано в середу, 8 квітня 2026 року

Martin Anderson

Автор у галузі машинного навчання, фахівець у сфері синтезу зображень людей. Колишній керівник дослідницького контенту в Metaphysic.ai, до його злиття з Brahma.ai, що належить DNEG.
Веб‑сайт: martinanderson.ai
Контакт: martin@martinanderson.ai