Góc nhìn Anderson

Thử quần áo mới bằng AI

Martin Anderson
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Examples of virtual try-on from the Vanast project – source: https://arxiv.org/pdf/2604.04934
Điểm chínhMô hình AI một giai đoạn của Vanast tích hợp trang phục, danh tính và chuyển động để…
Xem thêm
  • Mô hình AI một giai đoạn của Vanast tích hợp trang phục, danh tính và chuyển động để tạo ra video thử đồ ảo ổn định hơn.
  • Hệ thống tự tạo dữ liệu huấn luyện tổng hợp bằng các mô hình như Flux và Qwen để vượt qua tình trạng khan hiếm dữ liệu thực tế.
  • Dù có những tiến bộ kỹ thuật, tính khả thi thương mại vẫn bị hạn chế bởi yêu cầu tính toán cao và thách thức về độ trễ.

Một mô hình AI giờ có thể tạo video cho thấy cùng một người chuyển động trong trang phục mới chỉ từ một ảnh người và các ảnh quần áo. Mô hình tránh được những lỗi thường gặp ở các hệ thống hai bước trước đây.

 

Trong nghiên cứu thị giác máy tính, thử đồ ảo (VTON) là một trong những lĩnh vực được tài trợ tốt nhất và có nhiều công trình nhất trong tài liệu nghiên cứu. Nguyên nhân chính là nguồn đầu tư đáng kể từ ngành thời trang giàu tiềm lực, thể hiện qua nhiều hợp tác giữa doanh nghiệp và giới học thuật được công bố hằng năm:

Từ bài Image-Based Virtual Try-On: A Survey: ví dụ về các cách biểu diễn người và một số bước lọc, tinh chỉnh mà ngay cả ảnh cơ bản cũng phải trải qua để phục vụ thử đồ ảo (VTON).

Từ bài Image-Based Virtual Try-On: A Survey: ví dụ về các cách biểu diễn người và một số bước lọc, tinh chỉnh mà ngay cả ảnh cơ bản cũng phải trải qua để phục vụ thử đồ ảo (VTON). Nguồn

Mục tiêu này có nhiều biến thể, chẳng hạn tách quần áo từ ảnh có người hoặc thích ứng với vóc dáng đầy đặn hơn khi cần. Một số hệ thống dựa trên ảnh đã được thương mại hóa trên các nền tảng như veesual.ai, wanna.fashion và fashn.ai.

Với video, Google Labs đã thử chức năng này trong ứng dụng thử nghiệm Doppl, ra mắt vào mùa hè năm ngoái:

Nếu video không tự phát, hãy nhấp để phát. Một số đoạn từ dự án thử đồ ảo bằng video Google Doppl đã dừng hoạt động.  Nguồn

Tuy nhiên, Doppl đóng cửa vào tháng 4 năm 2026 sau khi không được đón nhận nồng nhiệt và người dùng hiện được chuyển sang dịch vụ thử đồ† của công ty, vốn chỉ dùng ảnh:

Dịch vụ thử đồ chỉ dùng ảnh của Google, nơi người dùng được chuyển đến từ nền tảng Doppl đã dừng hoạt động.

Dịch vụ thử đồ chỉ dùng ảnh của Google, nơi người dùng được chuyển đến từ nền tảng Doppl đã dừng hoạt động. Nguồn

Có vài nền tảng cung cấp thử đồ ảo bằng video, nhưng dường như không nền tảng nào liên kết với một nhà bán lẻ thực sự. Tất cả đều là sản phẩm thử nghiệm ở ranh giới công nghệ, ít phổ biến, thường đáng ngờ và quảng bá token.

Giới nghiên cứu có những nỗ lực thú vị. Tuy vậy, chúng thường dùng kiến trúc phức tạp, khó triển khai để đồng thời đạt độ trễ thấp và chất lượng cao:

Nếu video không tự phát, hãy nhấp để phát. Từ dự án Fashion-VDM năm 2024: ví dụ chuyển quần áo trên ảnh người không có phần đầu. Nguồn

Làm cho quần áo vừa với một người thực mà không gây biến dạng quần áo hay người, đồng thời giữ chuyển động hữu ích để giới thiệu sản phẩm, là thách thức rất lớn với công nghệ hiện nay. Chẳng hạn, khi người đó quay lưng, mặt sau của sản phẩm phải được thể hiện chính xác.

Vanast

Một nghiên cứu mới từ Hàn Quốc tìm cách giải quyết thách thức này bằng giải pháp mới, tích hợp hoàn toàn việc xử lý quần áo, người và chuyển động:

Nếu video không tự phát, hãy nhấp để phát. Ví dụ từ trang tài liệu bổ sung của dự án Vanast. Nguồn 

Hệ thống mới Vanast dùng tập dữ liệu được xây dựng riêng để kết hợp và phối hợp ba yếu tố cần thiết: quần áo, người và chuyển động:

Nhấp để phát. Ví dụ khác từ trang dự án Vanast.

Hệ thống dùng các công cụ như Flux, Qwen và ChatGPT để tạo tập dữ liệu gồm các bộ ba nhằm huấn luyện kiến trúc xử lý toàn bộ nhiệm vụ từ đầu đến cuối:

Từ nghiên cứu mới: ví dụ về các điểm dữ liệu dùng để tạo sinh và huấn luyện.

Từ nghiên cứu mới: ví dụ về các điểm dữ liệu dùng để tạo sinh và huấn luyện. Nguồn –

Bài nghiên cứu mới có tên Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision do bốn nhà nghiên cứu tại Đại học Quốc gia Seoul thực hiện. Ngoài ra còn có trang dự án với nhiều video.

Phương pháp

Mục tiêu của các tác giả là kết hợp ba khía cạnh trên trong một giai đoạn. Điều này không chỉ tạo ra một quy trình thống nhất mà còn cho phép các khía cạnh tương tác nhiều hơn khi huấn luyện, từ đó tạo ra kết quả nhất quán hơn:

Vanast kết hợp một ảnh người, các ảnh quần áo riêng biệt và dữ liệu tham chiếu chuyển động để tạo chuỗi hình trong đó cùng một người chuyển động với trang phục mới. Hướng dẫn bằng tư thế giúp chuyển động nhất quán, đồng thời giữ đặc điểm nhận dạng và chi tiết quần áo qua các khung hình.

Vanast kết hợp một ảnh người, các ảnh quần áo riêng biệt và dữ liệu tham chiếu chuyển động để tạo chuỗi hình trong đó cùng một người chuyển động với trang phục mới. Hướng dẫn bằng tư thế giúp chuyển động nhất quán, đồng thời giữ đặc điểm nhận dạng và chi tiết quần áo qua các khung hình.

Đầu vào gồm ảnh quần áo mục tiêu, ảnh người mặc quần áo khác, video tham chiếu xác định chuyển động mong muốn và lời nhắc mô tả hành động cùng bối cảnh. Hệ thống tạo một chuỗi video hoàn chỉnh trong đó cùng một người trông như đang mặc trang phục mới và thực hiện chuyển động được chỉ định, với hình ảnh nhất quán theo thời gian.

Phần lớn các nghiên cứu tương tự trước đây tách bước mặc đồ khỏi bước tạo chuyển động. Vanast xử lý quần áo, đặc điểm nhận dạng và chuyển động trong cùng quy trình, cho phép chúng tương tác khi tạo sinh, qua đó giảm sự không khớp và thiếu ổn định của các phương pháp trước.

Tập dữ liệu

Huấn luyện sử dụng các ví dụ tương ứng gồm ảnh người, quần áo của họ và video cùng người đó chuyển động trong bộ đồ ấy. Chuyển động được trích xuất bằng một kiến trúc trước đó, giúp cung cấp hướng dẫn tư thế ổn định qua các khung hình.

Do không có tập dữ liệu công khai đáp ứng yêu cầu, nhóm thu thập video với nhiều loại quần áo từ những trang mua sắm trực tuyến không được nêu cụ thể. Tuy nhiên, nhiệm vụ cần video của cùng một người mặc nhiều bộ đồ khác nhau, vốn hiếm trong dữ liệu thu thập tự nhiên. Vì thế nhóm phải tạo dữ liệu tổng hợp.

Quy trình gồm ba giai đoạn. Các khung hình ứng viên phù hợp được chọn từ video bằng Qwen2.5-VL, một mô hình thị giác-ngôn ngữ (VLM). Khung hình được cắt và đánh giá độ phù hợp, chẳng hạn người không bị che khuất và ở đúng vị trí. Tiếp đó, nhóm tạo mặt nạ inpainting để tách các vùng liên quan. Tương tự nghiên cứu trước là PERSE, công việc này được thực hiện bằng mô hình khuếch tán đã quen thuộc SDXL.

Tổng quan quy trình Vanast: ảnh người, ảnh quần áo mục tiêu và video hướng dẫn chuyển động được mã hóa rồi xử lý trong một mô hình khuếch tán video thống nhất. Chuỗi chuyển động giữ đặc điểm nhận dạng, bám theo chuỗi tư thế và áp dụng trang phục mục tiêu. Bộ ba tổng hợp hỗ trợ huấn luyện, còn hai mô-đun tách tạo chuyển động khỏi chuyển quần áo để duy trì tính nhất quán.

Tổng quan quy trình Vanast: ảnh người, ảnh quần áo mục tiêu và video hướng dẫn chuyển động được mã hóa rồi xử lý trong một mô hình khuếch tán video thống nhất. Chuỗi chuyển động giữ đặc điểm nhận dạng, bám theo chuỗi tư thế và áp dụng trang phục mục tiêu. Bộ ba tổng hợp hỗ trợ huấn luyện, còn hai mô-đun tách tạo chuyển động khỏi chuyển quần áo để duy trì tính nhất quán.

Ở giai đoạn thứ ba, Qwen lại phân loại ảnh theo giới tính. Công cụ khuếch tán ảnh phổ biến Flux sau đó thay đổi quần áo trong ảnh vì có thể kết hợp nhiều thành phần đầu vào. Lời nhắc inpainting được chuẩn bị bằng ChatGPT; phiên bản không được nêu.

Để đa dạng tư thế và phông nền hơn, nhóm bổ sung quy trình xây dựng bộ ba huấn luyện từ video trong điều kiện thực bằng tập dữ liệu HumanVid. Cùng quy trình đó tạo ảnh người mà vẫn giữ đặc điểm nhận dạng.

Video không có ảnh quần áo độc lập, nên các ảnh này được tổng hợp trực tiếp từ hình ghi lại. Nhóm lấy khung hình từ từng video và dùng Qwen chấm điểm độ nhìn rõ từ phía trước. Ứng viên tốt nhất được chọn theo mức nhìn rõ toàn thân, độ nét, ít che khuất, ánh sáng và bố cục tổng thể.

Vùng trang phục ở phần thân trên được tách bằng SegFormer và phông nền bị loại bỏ để chỉ giữ quần áo.

Để tránh thiên lệch vị trí, vùng quần áo được dịch chuyển ngẫu nhiên trong hộp bao. Qwen lại lọc bỏ kết quả phân vùng không đáng tin cậy. Quy trình tạo ảnh quần áo tổng hợp gắn với chuyển động và đặc điểm nhận dạng, cho phép xây dựng bộ ba quy mô lớn từ video phi cấu trúc và tăng khả năng hoạt động ổn định trong các điều kiện thực khác nhau.

Kiến trúc

Kiến trúc hai mô-đun giải quyết tình trạng hội tụ chậm và cân bằng điều khiển yếu của các phương pháp trước vốn gộp mọi điều kiện. Nó dùng transformer khuếch tán từ văn bản sang video của Wan và cũng dựa trên dự án VACE được mô tả bên dưới.

Mô hình gồm mô-đun tạo chuyển động cho người (HAM), xử lý chuyển động và đặc điểm nhận dạng từ đầu vào người cùng tư thế, và mô-đun chuyển quần áo (GTM), xử lý trang phục từ ảnh quần áo. Cả hai dùng chung các phần của mạng nền tảng và tích hợp đặc trưng theo cách phân tán, nối tầng để cải thiện điều kiện hóa.

Khi huấn luyện, nhóm đóng băng mạng nền tảng và chỉ tối ưu tham số HAM, GTM, đồng thời cân bằng đóng góp khi tích hợp đặc trưng. Đầu vào từ các bộ ba tổng hợp được chuyển thành biểu diễn tiềm ẩn bằng bộ tự mã hóa biến phân (VAE) của WAN.

Ngữ cảnh có xét chuyển động được xây dựng bằng cách kết hợp thông tin người và tư thế theo thời gian. Đặc trưng quần áo được xử lý riêng rồi căn chỉnh bằng phép chiếu vào biểu diễn nhúng token.

Mô hình còn hỗ trợ nội suy quần áo. Biểu diễn của hai món đồ được kết hợp để tạo chuyển tiếp mượt, giúp pha trộn trang phục nhất quán và liền mạch mà không cần tối ưu thêm.

Dữ liệu và thử nghiệm

Mô hình được huấn luyện trên 9.135 video dài từ ba đến mười giây, lấy từ các trang mua sắm đã nêu, tập dữ liệu do các tác giả tự tạo và HumanVid.

Hai tập đánh giá được thiết lập: Internet, gồm video và ảnh sản phẩm từ các trang mua sắm, và phần kiểm thử chính thức của tập ViViD thuộc Alibaba. Do ViViD thiếu khuôn mặt, nhóm bổ sung bằng mở rộng ảnh với Flux. Video phía trên minh họa cách làm này, vốn rất thường gặp trong nghiên cứu thử đồ ảo.

Các chỉ số gồm hàm mất mát L1; tỷ số tín hiệu trên nhiễu đỉnh (PSNR); chỉ số tương đồng cấu trúc (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); Fréchet Inception Distance (FID) và Fréchet Video Distance†† (FVD).

Các hệ thống được thử cho việc chuyển quần áo gồm OOTDiffusion; CatVTON; OmniTry và Any2AnyTryon. Các mô hình tạo ảnh từ một đối tượng cho trước được thử gồm VisualCloze; MOSAIC và mô hình của ByteDance là UNO.

Trong giai đoạn thứ hai, tạo chuyển động từ ảnh người, nhóm sử dụng StableAnimator và DisPose.

VACE cũng được thử trong phạm vi hạn chế hơn vì không trực tiếp hỗ trợ mục tiêu này, với một số nỗ lực bổ sung chức năng còn thiếu:

So sánh định lượng các tổ hợp mô hình tạo ảnh từ đối tượng cho trước và mô hình tạo chuyển động trên các tập Internet và ViViD. Phương pháp đề xuất đạt kết quả tốt nhất ở mọi chỉ số được báo cáo. Giá trị in đậm là điểm cao nhất trong mỗi cột.

So sánh định lượng các tổ hợp mô hình tạo ảnh từ đối tượng cho trước và mô hình tạo chuyển động trên các tập Internet và ViViD. Phương pháp đề xuất đạt kết quả tốt nhất ở mọi chỉ số được báo cáo. Giá trị in đậm là điểm cao nhất trong mỗi cột.

Về những kết quả đầu tiên ở trên, các tác giả viết:

“Mô hình của chúng tôi đạt kết quả tốt nhất ở mọi chỉ số khi so với các tổ hợp mô hình tạo ảnh từ đối tượng cho trước và mô hình tạo chuyển động.”

“Kết quả định tính [bên dưới] tiếp tục xác nhận rằng phương pháp của chúng tôi bám tư thế và chuyển quần áo chính xác nhất, đồng thời giữ đặc điểm nhận dạng trung thực hơn mọi phương pháp đối chiếu tạo ảnh từ đối tượng cho trước.”

So sánh định tính trên các tập Internet và ViViD với các phương pháp tạo ảnh từ đối tượng cho trước và tạo chuyển động. Theo các tác giả, phương pháp đề xuất căn chỉnh tư thế và chuyển quần áo chính xác hơn, đồng thời giữ đặc điểm nhận dạng nhất quán hơn VisualCloze, MOSAIC, UNO và VACE.

So sánh định tính trên các tập Internet và ViViD với các phương pháp tạo ảnh từ đối tượng cho trước và tạo chuyển động. Theo các tác giả, phương pháp đề xuất căn chỉnh tư thế và chuyển quần áo chính xác hơn, đồng thời giữ đặc điểm nhận dạng nhất quán hơn VisualCloze, MOSAIC, UNO và VACE.

Ở nhóm thử nghiệm thứ hai, nhóm so sánh các tổ hợp thử đồ ảo trên ảnh và mô hình tạo chuyển động. Nghiên cứu mới lại đạt điểm cao nhất:

So sánh định lượng các tổ hợp thử đồ ảo trên ảnh và mô hình tạo chuyển động trên các tập Internet và ViViD. Phương pháp có kết quả tổng thể tốt nhất trên các chỉ số, còn SSIM vẫn tương đương phương pháp đối chiếu mạnh nhất. In đậm chỉ điểm cao nhất.

So sánh định lượng các tổ hợp thử đồ ảo trên ảnh và mô hình tạo chuyển động trên các tập Internet và ViViD. Phương pháp có kết quả tổng thể tốt nhất trên các chỉ số, còn SSIM vẫn tương đương phương pháp đối chiếu mạnh nhất. In đậm chỉ điểm cao nhất.

Các tác giả bổ sung:

“So sánh định tính [bên dưới] cho thấy kết quả của chúng tôi giống ảnh tham chiếu thực nhất trong số mọi phương pháp đối chiếu thử đồ ảo trên ảnh.”

Thử nghiệm định tính với các phương pháp đối chiếu kết hợp mô hình VTON và mô hình tạo chuyển động.

Thử nghiệm định tính với các phương pháp đối chiếu kết hợp mô hình VTON và mô hình tạo chuyển động.

Kết luận

Vanast cung cấp một giải pháp thống nhất từ đầu đến cuối. Tuy nhiên, việc bài báo thiếu chi tiết về tài nguyên huấn luyện và suy luận cho thấy đây có thể không phải giải pháp nhẹ hay linh hoạt nhất. Bản thân nhiệm vụ đã rất khó ngay cả trong một hệ thống chưa tối ưu. Việc triển khai thương mại đòi hỏi độ trễ thấp, chi phí hợp lý và lợi tức đầu tư ở quy mô lớn còn khó đến mức nào?

Thử đồ ảo là một trong những mục tiêu AI rất tham vọng. Hình ảnh về công nghệ hiện tại qua các tiêu đề và kết quả được chọn lọc che khuất độ khó thực sự của nhiệm vụ. Có lẽ những công nghệ xuất hiện sau, nhẹ hơn transformer, cuối cùng sẽ giải quyết được nó.

 

† Có tại Hoa Kỳ; bị chặn theo khu vực ở nhiều nơi khác, nếu không phải tất cả.

†† Các tác giả nhắc đến VFID nhưng chỉ dẫn tới bài ViViD, vốn theo những gì tôi có thể kiểm tra trong thời gian hạn chế không giải thích được tài liệu tham khảo này. Tôi đã giả định họ thực ra muốn nói Fréchet Video Distance (FVD) và cũng thiếu thời gian. Vui lòng liên hệ với tôi nếu cần đính chính.

Xuất bản lần đầu vào thứ Tư, ngày 8 tháng 4 năm 2026

Người viết về học máy, chuyên gia lĩnh vực tổng hợp hình ảnh con người. Cựu trưởng bộ phận nội dung nghiên cứu tại Metaphysic.ai, cho đến khi nó sáp nhập vào Brahma.ai của DNEG.
Trang web: martinanderson.ai
Liên hệ: martin@martinanderson.ai