Взгляд Anderson
Виртуальная примерка новой одежды с помощью ИИ

Ключевые моментыОдноэтапная модель ИИ Vanast интегрирует одежду, идентичность и движение для создания…
Показать больше
- Одноэтапная модель ИИ Vanast интегрирует одежду, идентичность и движение для создания более стабильных видео виртуальной примерки.
- Система самостоятельно генерирует синтетические тренировочные данные с использованием моделей типа Flux и Qwen для преодоления дефицита реальных данных.
- Несмотря на технические достижения, коммерческая жизнеспособность остаётся ограниченной из-за высоких вычислительных требований и проблем с задержками.
Теперь модель ИИ может по одной фотографии человека и изображениям одежды создать видео, где тот же человек движется в новых нарядах. При этом она избегает ошибок, характерных для прежних двухэтапных систем.
В исследованиях компьютерного зрения виртуальная примерка (VTON) относится к наиболее финансируемым и продуктивным направлениям научной литературы. Главная причина — значительная поддержка со стороны состоятельной индустрии моды, о чем можно судить по многочисленным ежегодным совместным работам компаний и университетов:

Из статьи Image-Based Virtual Try-On: A Survey: примеры способов представления человека и этапов фильтрации и уточнения, которые даже простые изображения должны пройти для виртуальной примерки (VTON). Источник
У этой задачи много вариантов, например извлечение одежды из изображений людей или адаптация к более полной фигуре при необходимости. Некоторые системы на основе изображений уже применяются коммерчески на платформах veesual.ai, wanna.fashion и fashn.ai.
Для видео эту функцию испытывали в экспериментальном приложении Google Labs Doppl, запущенном прошлым летом:
Если видео не запускается автоматически, нажмите для воспроизведения. Фрагменты закрытого проекта Google Doppl для виртуальной примерки в видео. Источник
Однако Doppl закрывается в апреле 2026 года после прохладного приема, и пользователей теперь направляют в сервис примерки† компании, работающий только с изображениями:

Сервис Google для примерки только по изображениям, в который направляют пользователей закрытой платформы Doppl. Источник
Несколько платформ предлагают виртуальную примерку в видео, но ни одна, по-видимому, не связана с реальным продавцом. Все это экспериментальные продукты на пределе возможностей технологии — нишевые, часто сомнительные и продвигающие токены.
В исследованиях есть интересные попытки. Однако обычно они используют сложные архитектуры, с которыми трудно одновременно обеспечить малую задержку и высокое качество:
Если видео не запускается автоматически, нажмите для воспроизведения. Проект Fashion-VDM 2024 года: пример переноса одежды на изображениях людей без головы. Источник
Подогнать одежду к реальному человеку, не искажая ни его, ни вещи, и при этом сохранить полезное движение для демонстрации товара — чрезвычайно сложная задача для современных технологий. Например, когда человек поворачивается спиной, заднюю сторону изделия нужно показать точно.
Vanast
Новая работа из Кореи пытается решить эту задачу с помощью нового, полностью интегрированного подхода к обработке одежды, человека и движения:
Если видео не запускается автоматически, нажмите для воспроизведения. Примеры с сайта дополнительных материалов проекта Vanast. Источник
Новая система Vanast использует специально созданный набор данных, объединяющий и согласующий три необходимых фактора: одежду, человека и движение:
Нажмите для воспроизведения. Другие примеры с сайта проекта Vanast.
Система применяет инструменты Flux, Qwen и ChatGPT для создания набора троек данных, на котором можно обучать архитектуру, решающую всю задачу от начала до конца:

Из новой работы: примеры элементов набора данных для генерации и обучения. Источник –
Новая работа называется Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision и подготовлена четырьмя исследователями Сеульского национального университета. Также доступен сайт проекта с многочисленными видео.
Метод
Цель авторов — объединить три упомянутых аспекта в рамках одного этапа. Это не только дает единый процесс, но и расширяет возможности взаимодействия аспектов при обучении, чтобы генерируемые результаты были более согласованными:

Vanast объединяет одну фотографию человека, отдельные изображения одежды и образец движения. Он создает последовательность, где тот же человек движется в новом наряде. Управление по позам обеспечивает согласованность движения, сохраняя внешность человека и детали одежды между кадрами.
На вход подаются изображения нужной одежды, фотография человека в другом наряде, видеообразец требуемого движения и текстовая инструкция с описанием действия и обстановки. Система создает полную видеопоследовательность, где тот же человек выглядит одетым в новый наряд и следует заданному движению, сохраняя визуальное постоянство во времени.
Большинство аналогичных прежних работ отделяло одевание от анимации. Vanast обрабатывает одежду, внешность человека и движение совместно, позволяя им взаимодействовать при генерации. Это сокращает несоответствия и нестабильность предыдущих методов.
Набор данных
Обучение использует соответствующие друг другу примеры фотографии человека, его одежды и видео того же человека, движущегося в ней. Движение извлекают с помощью предыдущей архитектуры, обеспечивающей стабильное управление по позам между кадрами.
Публичного набора, отвечавшего требованиям, не было, поэтому видео с разнообразной одеждой собрали в неуказанных интернет-магазинах. Но задача требовала видео одного и того же человека в нескольких разных нарядах, что редко встречается в естественно собранных материалах. Поэтому понадобились синтетические данные.
Процесс включает три этапа. Подходящие кадры-кандидаты выбирают из видео с помощью Qwen2.5-VL, модели зрения и языка (VLM). Кадры обрезают и проверяют на пригодность: например, человек не должен быть перекрыт и должен находиться в правильном положении. Затем создают маски инпейнтинга для выделения нужных областей. Как и в предыдущей работе PERSE, это выполняет уже хорошо известная диффузионная модель SDXL.

Схема Vanast: фотографию человека, изображения нужной одежды и видеообразец движения кодируют и обрабатывают в единой диффузионной видеомодели. Анимация сохраняет внешность человека, следует последовательности поз и применяет нужную одежду. Синтетические тройки поддерживают обучение, а два модуля разделяют анимацию и перенос одежды для сохранения согласованности.
На третьем этапе Qwen снова классифицирует изображения по полу. Затем популярный инструмент диффузионной генерации изображений Flux меняет одежду на изображении, поскольку может объединять несколько входных элементов. Текстовые инструкции для инпейнтинга подготовили с помощью ChatGPT; версия не указана.
Чтобы разнообразить позы и фон, ввели процесс создания обучающих троек из видео в реальных условиях с использованием набора HumanVid. Тем же способом генерировали изображения людей с сохранением внешности.
В видео не было отдельных изображений одежды, поэтому их синтезировали прямо из записей. Из каждого видео отбирали кадры и с помощью Qwen оценивали видимость спереди. Лучший кадр выбирали по видимости всего тела, четкости, минимальному перекрытию, освещению и общей композиции.
Область одежды на верхней части тела выделяли с помощью SegFormer и удаляли фон, оставляя только вещь.
Чтобы избежать позиционного смещения, область одежды случайно перемещали внутри ограничивающего прямоугольника. Qwen снова отсеивал ненадежные результаты сегментации. Так получались синтетические изображения одежды, связанные с движением и внешностью человека. Это позволяло создавать тройки в большом масштабе из неструктурированных видео и повышало устойчивость в различных реальных условиях.
Архитектура
Двухмодульная архитектура предназначена для устранения медленной сходимости и слабого баланса управления в прежних методах, объединявших все условия. Она использует диффузионный трансформер генерации видео по тексту модели Wan и опирается также на проект VACE, описанный ниже.
Модель разделили на модуль анимации человека (HAM), обрабатывающий движение и внешность по данным человека и его поз, и модуль переноса одежды (GTM), обрабатывающий вещи по их изображениям. Оба совместно используют базовую сеть и интегрируют признаки распределенно и каскадно для улучшения обусловливания.
При обучении замораживали базовую сеть и оптимизировали только параметры HAM и GTM, уравновешивая их вклад при интеграции признаков. Входные данные синтетических троек преобразовывали в латентные представления с помощью вариационного автоэнкодера (VAE) модели WAN.
Контекст с учетом движения строили, объединяя информацию о человеке и позах во времени. Признаки одежды обрабатывали отдельно и согласовывали через проекцию в векторные представления токенов.
Модель также поддерживает интерполяцию одежды. Представления двух вещей объединяют для плавных переходов, обеспечивая согласованное смешивание предметов одежды без дополнительной оптимизации.
Данные и тесты
Модель обучали на 9135 видео длительностью от трех до десяти секунд, полученных из упомянутых интернет-магазинов, собственного сгенерированного набора авторов и HumanVid.
Создали два набора для оценки: Internet, содержащий видео и изображения товаров из интернет-магазинов, и официальную тестовую часть набора Alibaba ViViD. Поскольку в ViViD нет лиц, их добавляли с помощью расширения изображений средствами Flux. Предыдущее видео показывает эту практику, весьма распространенную в исследованиях виртуальной примерки.
Использованные метрики: потери L1; пиковое отношение сигнала к шуму (PSNR); индекс структурного сходства (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); Fréchet Inception Distance (FID) и Fréchet Video Distance†† (FVD).
Для переноса одежды тестировали OOTDiffusion; CatVTON; OmniTry и Any2AnyTryon. Среди моделей генерации изображений по заданному объекту проверяли VisualCloze; MOSAIC и модель ByteDance UNO.
На втором этапе, анимации фотографий человека, использовали StableAnimator и DisPose.
VACE также проверяли в ограниченном режиме, поскольку он напрямую не поддерживает эту задачу, с некоторыми попытками компенсировать недостающую функциональность:

Количественное сравнение сочетаний моделей генерации изображений по заданному объекту и моделей анимации на наборах Internet и ViViD. Предложенный метод показал лучшие результаты по всем указанным метрикам. Жирным выделен лучший результат в каждом столбце.
О первых результатах выше авторы пишут:
«Наша модель показывает лучшие результаты по всем метрикам по сравнению с сочетаниями моделей генерации изображений по заданному объекту и моделей анимации».
«Качественные результаты [ниже] дополнительно подтверждают, что наш подход обеспечивает самую высокую точность следования позам и переноса одежды, сохраняя внешность человека вернее всех методов сравнения, основанных на генерации изображений по заданному объекту».

Качественное сравнение на наборах Internet и ViViD с методами генерации изображений по заданному объекту и анимации. По утверждению авторов, предложенный метод точнее согласует позы и переносит одежду, сохраняя внешность человека стабильнее, чем VisualCloze, MOSAIC, UNO и VACE.
Во второй категории тестов сравнивали сочетания виртуальной примерки на изображениях и моделей анимации. Новая работа снова получила лучший результат:

Количественное сравнение сочетаний виртуальной примерки на изображениях и моделей анимации на наборах Internet и ViViD. Метод показал лучшие общие результаты по совокупности метрик, при этом SSIM остался сопоставимым с самым сильным методом сравнения. Жирным выделен лучший результат.
Авторы добавляют:
«Качественные сравнения [ниже] показывают, что наши результаты наиболее близки к реальным эталонным изображениям среди всех методов сравнения для виртуальной примерки на изображениях».

Качественные тесты методов сравнения, сочетающих модели VTON и модели анимации.
Заключение
Vanast предлагает единое решение от начала до конца. Однако отсутствие подробностей о ресурсах для обучения и инференса позволяет предположить, что это может быть не самое легкое или гибкое решение. Сама задача чрезвычайно трудна даже в неоптимизированной системе. Насколько же сложнее коммерческое внедрение, требующее малой задержки, приемлемой стоимости и окупаемости в большом масштабе?
Виртуальная примерка — одна из особенно амбициозных целей ИИ. Образ современной технологии, распространяемый заголовками и тщательно отобранными результатами, скрывает реальную сложность задачи. Возможно, со временем ее решат более поздние и легкие технологии, чем трансформеры.
† Доступно в США; географически заблокировано во многих других регионах, если не во всех.
†† Авторы упоминают VFID, но дают ссылку только на статью ViViD, которая, насколько я смог установить за ограниченное время, не обосновывает эту отсылку. Я предположил, что они на самом деле имели в виду Fréchet Video Distance (FVD) и тоже были ограничены во времени. При необходимости исправлений свяжитесь со мной.
Впервые опубликовано в среду, 8 апреля 2026 года












