Anderson의 관점
AI로 새 옷을 가상으로 입어보기

핵심 포인트바나스트(Vanast)의 단일 단계 AI 모델은 의류, 신원, 동작을 통합하여 더욱 안정적인 가상 피팅 영상을 구현합니다.
더 보기
- 바나스트(Vanast)의 단일 단계 AI 모델은 의류, 신원, 동작을 통합하여 더욱 안정적인 가상 피팅 영상을 구현합니다.
- 이 시스템은 Flux 및 Qwen과 같은 모델을 활용해 자체 합성 학습 데이터를 생성함으로써 실제 데이터 부족 문제를 극복합니다.
- 기술적 진전에도 불구하고, 높은 컴퓨팅 요구량과 지연 시간 문제로 인해 상업적 활용 가능성은 여전히 제한적입니다.
이제 AI 모델은 사람 사진 한 장과 의류 이미지로 같은 사람이 새 옷을 입고 움직이는 동영상을 만들 수 있습니다. 기존의 2단계 시스템에서 흔히 나타나던 오류도 피합니다.
컴퓨터 비전 연구의 가상 착용(VTON) 분야는 연구 문헌을 기준으로 가장 많은 자금을 지원받고 연구 성과가 활발한 분야 중 하나입니다. 해마다 발표되는 수많은 산학 협력 연구에서 짐작할 수 있듯이, 자금력이 풍부한 패션 산업이 이 목표에 상당한 투자를 하기 때문입니다.

Image-Based Virtual Try-On: A Survey 논문의 예시. 사람을 표현하는 여러 방식과 가상 착용(VTON)을 위해 기본적인 이미지도 거쳐야 하는 필터링 및 정제 단계를 보여줍니다. 출처
이 목표에는 다양한 형태가 있습니다. 예를 들어 사람 이미지에서 의류를 추출하거나 필요에 따라 더 풍만한 체형에 맞추는 것입니다. 일부 이미지 기반 시스템은 veesual.ai, wanna.fashion, fashn.ai 같은 플랫폼에서 이미 상용화됐습니다.
동영상에서는 Google Labs의 실험용 Doppl 앱이 이 기능을 시험했습니다. 이 앱은 지난여름에 출시됐습니다:
자동으로 재생되지 않으면 클릭해 재생하세요. 중단된 Google Doppl 동영상 가상 착용 프로젝트의 일부 장면입니다. 출처
그러나 Doppl은 미온적인 반응을 얻은 뒤 2026년 4월에 종료됩니다. 이제 사용자는 회사의 가상 착용 서비스†로 안내되는데, 이 서비스는 이미지만 사용합니다.

중단된 Doppl 플랫폼의 사용자가 안내받는 Google의 이미지 전용 가상 착용 서비스. 출처
동영상 가상 착용을 제공하는 플랫폼도 몇 곳 있지만, 실제 판매업체와 연결된 곳은 없는 듯합니다. 모두 실험적인 최첨단 기술을 내세우는 주변적 제품이며, 토큰을 판매하는 의심스러운 제품도 흔합니다.
연구 분야에는 흥미로운 시도가 있습니다. 하지만 대개 복잡한 아키텍처를 사용하므로 낮은 지연 시간과 높은 품질을 동시에 구현하기 어렵습니다.
자동으로 재생되지 않으면 클릭해 재생하세요. 2024년 Fashion-VDM 프로젝트에서 머리가 없는 사람 이미지에 의류를 옮기는 예시입니다. 출처
의류나 사람을 왜곡하지 않고 실제 사람에게 옷을 맞추면서, 옷을 보여주는 데 유용한 움직임까지 유지하는 일은 현재 기술로 매우 어렵습니다. 예컨대 사람이 돌아섰을 때 제품의 뒷면을 정확하게 보여줘야 합니다.
Vanast
한국에서 발표된 새 논문은 의류, 사람, 움직임을 처리하는 새로운 통합 솔루션으로 이 과제에 도전합니다.
자동으로 재생되지 않으면 클릭해 재생하세요. Vanast 프로젝트의 보충 자료 웹사이트에 있는 예시입니다. 출처
새 시스템 Vanast는 의류, 사람, 움직임이라는 세 가지 필수 요소를 함께 구성하고 조율한 맞춤형 데이터셋을 사용합니다.
클릭해 재생하세요. Vanast 프로젝트 웹사이트의 추가 예시입니다.
이 시스템은 Flux, Qwen, ChatGPT 같은 도구로 세 요소를 묶은 트리플릿 데이터셋을 생성합니다. 이 데이터는 전체 작업을 처음부터 끝까지 처리하는 아키텍처를 학습시키는 데 사용됩니다.

새 논문에서 제시한 생성 및 학습용 데이터셋의 데이터 포인트 예시. 출처 –
새 논문의 제목은 Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision이며, 서울대학교 연구자 네 명이 작성했습니다. 다양한 동영상을 담은 프로젝트 웹사이트도 공개돼 있습니다.
방법
저자들의 목표는 앞서 말한 세 요소를 하나의 단계로 통합하는 것입니다. 단순히 절차를 하나로 묶는 데 그치지 않고, 학습 중 요소들이 결합하고 상호작용할 기회를 늘려 더 일관된 결과를 생성하려는 취지입니다.

Vanast는 사람 사진 한 장, 별도의 의류 이미지, 움직임 참조 자료를 결합해 같은 사람이 새 옷을 입고 움직이는 시퀀스를 만듭니다. 자세 정보를 이용한 안내로 움직임의 일관성을 유지하면서 프레임 전반에 걸쳐 인물의 정체성과 의류 세부 사항을 보존합니다.
입력은 목표 의류 이미지, 다른 옷을 입은 사람 사진, 원하는 움직임을 정하는 참조 동영상, 행동과 배경을 설명하는 텍스트 프롬프트입니다. 시스템은 같은 사람이 새 옷을 입은 듯 보이며 지정된 움직임을 따르는 전체 동영상 시퀀스를 생성합니다. 각 프레임의 시각적 모습도 시간에 따라 일관되게 유지됩니다.
비슷한 선행 연구 대부분은 옷을 입히는 과정과 애니메이션을 분리했습니다. Vanast는 의류, 인물의 정체성, 움직임을 한 과정에서 처리해 생성 중 서로 영향을 주게 합니다. 이를 통해 기존 방식의 불일치와 불안정성을 줄입니다.
데이터셋
학습에는 사람 이미지, 그에 해당하는 의류, 같은 사람이 그 옷을 입고 움직이는 동영상으로 구성된 대응 예시를 사용합니다. 움직임은 기존 아키텍처로 추출해 프레임 전반에 걸쳐 안정적인 자세 안내를 제공합니다.
프로젝트 요건에 맞는 공개 데이터셋이 없었으므로, 구체적으로 밝히지 않은 온라인 쇼핑 사이트에서 다양한 의류 동영상을 수집했습니다. 하지만 이 작업에는 같은 사람이 여러 가지 서로 다른 옷을 입은 동영상이 필요했습니다. 자연스럽게 수집한 자료에는 이런 사례가 드물어 합성 데이터를 만들어야 했습니다.
세 단계로 이뤄진 절차에서 먼저 시각·언어 모델(VLM)인 Qwen2.5-VL로 동영상의 적합한 후보 프레임을 골랐습니다. 프레임을 적절히 잘라내고, 인물이 가려지지 않았는지, 올바른 위치에 있는지 등을 평가했습니다. 이어 해당 영역을 분리하기 위한 인페인팅 마스크를 만들었습니다. 선행 연구 PERSE와 마찬가지로, 이 작업에는 널리 쓰이는 확산 모델 SDXL을 사용합니다.

Vanast 처리 과정의 개요. 사람 이미지, 목표 의류 이미지, 움직임 안내 동영상을 인코딩해 하나의 동영상 확산 모델로 처리합니다. 생성된 애니메이션은 인물의 정체성을 보존하고 자세 시퀀스를 따르면서 목표 의류를 적용합니다. 합성 트리플릿 생성이 학습을 지원하며, 애니메이션과 의류 전송을 나눈 두 모듈 구조가 일관성을 유지합니다.
세 번째 단계에서는 Qwen이 이미지를 성별에 따라 다시 분류합니다. 이어 인기 있는 이미지 확산 도구 Flux로 이미지 속 의류를 변경합니다. Flux는 여러 입력 요소를 결합할 수 있기 때문입니다. 인페인팅용 텍스트 프롬프트는 ChatGPT로 준비했으며 버전은 명시하지 않았습니다.
자세와 배경을 더 다양하게 만들기 위해 HumanVid 데이터셋의 실제 환경 동영상으로 학습 트리플릿을 만드는 처리 과정을 도입했습니다. 같은 절차로 인물의 정체성을 유지하는 사람 이미지를 생성했습니다.
동영상에 독립된 의류 이미지가 없었으므로 의류 이미지를 영상에서 직접 합성했습니다. 각 동영상에서 프레임을 추출하고 Qwen으로 정면 가시성을 평가했습니다. 전신이 보이는 정도, 선명도, 가림의 최소화, 조명, 전체 구도를 기준으로 가장 적합한 프레임을 골랐습니다.
그런 다음 SegFormer로 상의 영역을 추출하고 배경을 제거해 의류만 분리했습니다.
위치 편향을 피하려고 의류 영역을 경계 상자 안에서 무작위로 이동했습니다. Qwen으로 신뢰하기 어려운 분할 결과를 다시 걸러냈습니다. 이렇게 움직임과 인물의 정체성에 대응하는 합성 의류 이미지를 생성했습니다. 비정형 동영상에서 대규모 트리플릿을 구성할 수 있게 됐고 다양한 실제 환경에서의 강건성도 개선됐습니다.
아키텍처
모든 조건을 결합하려던 선행 방식의 느린 수렴과 제어 균형의 취약성을 해결하기 위해 두 모듈 구조를 도입했습니다. 이 방식은 Wan의 텍스트-동영상 확산 트랜스포머를 활용하며, 아래에서 설명할 VACE 프로젝트도 참고했습니다.
모델은 인물 애니메이션 모듈 (HAM)과 의류 전송 모듈 (GTM)로 나뉩니다. HAM은 사람 및 자세 입력에서 움직임과 정체성을 처리하고, GTM은 의류 이미지에서 옷을 처리합니다. 두 모듈은 백본의 일부를 공유하며 특징을 분산·연쇄 방식으로 통합해 조건 반영을 개선합니다.
학습에서는 백본을 고정하고 HAM과 GTM의 매개변수만 최적화했습니다. 특징 통합 과정에서 두 모듈의 기여도를 균형 있게 조정했습니다. 합성 트리플릿 데이터셋의 입력은 WAN의 변분 오토인코더(VAE)를 통해 잠재 표현으로 변환했습니다.
인물 및 자세 정보를 시간에 따라 결합해 움직임을 고려한 맥락을 구성했습니다. 의류 특징은 별도로 처리하고 토큰 임베딩에 투영해 정렬했습니다.
모델은 의류 보간도 지원하도록 확장됐습니다. 두 의류의 표현을 결합해 부드러운 전환을 만들며, 추가 최적화 없이 의류 간 일관되고 자연스러운 혼합이 가능합니다.
데이터와 테스트
모델은 길이가 3~10초인 동영상 9,135개로 학습했습니다. 영상은 앞서 말한 온라인 쇼핑 사이트, 저자들이 자체 생성한 데이터셋, HumanVid에서 가져왔습니다.
평가용 데이터셋 두 개를 구성했습니다. 하나는 쇼핑 사이트의 동영상과 제품 이미지를 담은 Internet 데이터셋이며, 다른 하나는 Alibaba의 공식 테스트 분할에 해당하는 ViViD 데이터셋입니다. ViViD에는 얼굴이 없기 때문에 Flux 아웃페인팅으로 얼굴을 추가했습니다. 앞의 동영상에서도 볼 수 있는 이 방식은 가상 착용 연구에서 매우 흔합니다.
평가 지표는 L1 손실; 최대 신호 대 잡음비 (PSNR); 구조적 유사도 지수 (SSIM); 학습 기반 지각적 이미지 패치 유사도 (LPIPS); 프레셰 인셉션 거리 (FID)와 프레셰 동영상 거리†† (FVD)입니다.
의류 전송을 위해 테스트한 시스템은 OOTDiffusion; CatVTON; OmniTry와 Any2AnyTryon입니다. 특정 피사체를 바탕으로 이미지를 생성하는 모델로는 VisualCloze; MOSAIC 및 ByteDance의 UNO를 시험했습니다.
두 번째 단계인 사람 이미지 애니메이션에는 StableAnimator와 DisPose를 사용했습니다.
VACE는 이 목표를 직접 지원하지 않으므로 제한적인 조건에서 시험했으며, 빠진 기능을 보완하려는 작업도 일부 수행했습니다.

Internet 및 ViViD 데이터셋에서 피사체 기반 이미지 생성 모델과 애니메이션 모델의 조합을 정량적으로 비교한 결과. 제안된 방식은 보고된 모든 지표에서 가장 높은 성능을 보였습니다. 굵은 값은 각 열의 최고 점수입니다.
위의 첫 번째 결과에 대해 저자들은 다음과 같이 설명합니다.
“우리 모델은 피사체 기반 이미지 생성 모델과 애니메이션 모델의 조합과 비교했을 때 모든 지표에서 가장 높은 성능을 달성한다.”
“정성적 결과[아래]도 우리 방식이 자세 추종과 의류 전송에서 가장 정확한 결과를 내면서, 모든 피사체 기반 이미지 생성 비교 방식보다 인물의 정체성을 더 충실히 보존한다는 점을 뒷받침한다.”

Internet 및 ViViD 데이터셋에서 피사체 기반 이미지 생성 및 애니메이션 비교 방식과 정성적으로 비교한 결과. 저자들은 제안 방식이 VisualCloze, MOSAIC, UNO, VACE보다 자세 정렬과 의류 전송이 더 정확하고 인물의 정체성도 더 일관되게 보존한다고 주장합니다.
두 번째 테스트 범주에서는 이미지 기반 가상 착용과 애니메이션 모델의 조합을 비교했습니다. 새 연구는 여기서도 가장 높은 점수를 얻었습니다.

Internet 및 ViViD에서 이미지 기반 가상 착용과 애니메이션 모델의 조합을 정량적으로 비교한 결과. 제안 방식은 전반적인 지표에서 가장 좋은 성능을 보였으며, SSIM은 가장 강력한 비교 방식과 비슷한 수준을 유지했습니다. 굵은 값은 최고 점수입니다.
저자들은 다음과 같이 덧붙입니다.
“정성적 비교[아래]는 이미지 기반 가상 착용 비교 방식 전체 가운데 우리 결과가 실제 정답 영상과 가장 유사함을 보여준다.”

VTON 모델과 애니메이션 모델을 결합한 비교 방식을 사용한 정성적 테스트.
결론
Vanast는 전체 작업을 처음부터 끝까지 처리하는 통합 솔루션입니다. 그러나 논문에 학습 및 추론 자원 요구량의 세부 정보가 부족하다는 점은 이 방식이 가장 가볍거나 기민한 해법은 아닐 수도 있음을 시사합니다. 이 과제는 최적화하지 않은 시스템에서도 매우 어렵습니다. 낮은 지연 시간과 합리적인 비용, 대규모 투자 수익까지 필요한 상용 환경에서는 얼마나 더 어렵겠습니까?
가상 착용은 AI의 매우 야심 찬 목표 가운데 하나입니다. 각종 헤드라인과 선별된 결과로 전해지는 현재 기술의 모습은 실제 과제의 어려움을 가립니다. 어쩌면 트랜스포머보다 가벼운 후속 기술이 결국 이를 해결할지도 모릅니다.
† 미국에서 이용할 수 있으며, 그 밖의 많은 지역, 어쩌면 모든 지역에서 지리적으로 차단돼 있습니다.
†† 저자들은 VFID를 언급하지만 ViViD 논문만 링크합니다. 제가 제한된 시간 안에 확인한 바로는 이 논문이 해당 인용의 근거를 제공하지 않습니다. 저는 저자들이 실제로는 프레셰 동영상 거리(FVD)를 뜻했고 마찬가지로 시간이 부족했다고 가정했습니다. 수정할 사항이 있으면 제게 연락해 주세요.
최초 게시: 2026년 4월 8일 수요일












