Thử nghiệm ảo quần áo mới thông qua Trí tuệ nhân tạo

Mô hình trí tuệ nhân tạo có thể biến một bức ảnh và hình ảnh quần áo thành video di chuyển của một người mặc trang phục mới, tránh những lỗi thường gặp trong các hệ thống cũ hơn, hai bước.

Loại ‘thử nghiệm ảo’ (VTON) trong nghiên cứu tầm nhìn máy tính là một trong những lĩnh vực được tài trợ và phong phú nhất trong văn học – chủ yếu vì, như có thể thấy từ các hợp tác công nghiệp/học thuật thường xuyên được xuất bản mỗi năm, mục tiêu này nhận được tài trợ đáng kể từ ngành thời trang giàu có:

Từ bài báo ‘Image-Based Virtual Try-On: A Survey’, các ví dụ về loại hình đại diện người, và một số giai đoạn lọc và tinh chỉnh mà thậm chí hình ảnh cơ bản cũng phải trải qua để thử nghiệm ảo (VTON). Nguồn

Có nhiều biến thể của mục tiêu, chẳng hạn như trích xuất quần áo từ hình ảnh của người, và đáp ứng hình dạng đầy đủ khi cần thiết. Một số hệ thống dựa trên hình ảnh đã được triển khai thương mại, trên các nền tảng như veesual.ai, wanna.fashion và fashn.ai.

Đối với video, ứng dụng thử nghiệm Doppl của Google Labs đã thử nghiệm chức năng này, ra mắt mùa hè năm ngoái:

Xin vui lòng nhấp để phát nếu video không tự động phát. Các đoạn từ dự án thử nghiệm ảo của Google Doppl. Nguồn

Tuy nhiên, Doppl đã ngừng hoạt động vào tháng 4 năm 2026 sau khi nhận được sự đón nhận lạnh nhạt, với người xem hiện được chuyển đến dịch vụ thử nghiệm ảo chỉ dựa trên hình ảnh của công ty^†:

Chương trình thử nghiệm ảo chỉ dựa trên hình ảnh của Google, nơi người dùng được chuyển từ nền tảng Doppl đã bị loại bỏ của công ty. Nguồn

Mặc dù có một số nền tảng cung cấp thử nghiệm ảo với video, nhưng không có nền tảng nào dường như được liên kết với một cửa hàng thực tế; và tất cả đều là sản phẩm ‘công nghệ mới’, sản phẩm biên, thường ‘đáng ngờ’ và quảng cáo token.

Mặc dù có một số nỗ lực thú vị từ lĩnh vực nghiên cứu, nhưng chúng truyền thống là các kiến trúc phức tạp, khó triển khai cho độ trễ thấp và chất lượng cao:

Xin vui lòng nhấp để phát nếu video không tự động phát. Từ dự án Fashion-VDM năm 2024, một ví dụ về ‘truyền tải quần áo không đầu’. Nguồn

Sự thật là việc làm cho quần áo phù hợp với một người thực, mà không làm biến dạng quần áo hoặc người, đồng thời duy trì một số loại chuyển động hữu ích (mà chính xác hiển thị phía sau của sản phẩm khi người đó quay lưng), là một thách thức đáng kể đối với tình trạng hiện tại của công nghệ.

Vanast

Đây là một thách thức mà một bài báo mới từ Hàn Quốc đang cố gắng giải quyết, bằng cách sử dụng một giải pháp tích hợp hoàn toàn mới để phân tích quần áo + người + chuyển động:

Xin vui lòng nhấp để phát nếu video không tự động phát. Các ví dụ từ trang web tài liệu bổ sung cho dự án Vanast. Nguồn

Hệ thống mới, có tên Vanast, tận dụng một tập dữ liệu tùy chỉnh có tính năng tích hợp và điều phối cả ba yếu tố cần thiết để thực hiện nhiệm vụ: quần áo; người; và chuyển động:

Xin vui lòng nhấp để phát. Các ví dụ khác từ trang web dự án Vanast.

Hệ thống tận dụng các khuôn khổ đa dạng như Flux, Qwen và ChatGPT, để tạo ra một tập dữ liệu ‘ba yếu tố’ có khả năng thông báo một kiến trúc từ đầu đến cuối:

Từ bài báo mới, các ví dụ về các điểm dữ liệu được sử dụng để tạo và huấn luyện. Nguồn –

Bài báo mới mới có tên Vanast: Thử nghiệm ảo với hoạt hình hình ảnh người thông qua giám sát ba yếu tố tổng hợp, và đến từ bốn nhà nghiên cứu tại Đại học Quốc gia Seoul. Cũng có một trang web dự án có video.

Phương pháp

Mục tiêu được tuyên bố của các tác giả trong công việc này là kết hợp ba khía cạnh trên vào một khuôn khổ một giai đoạn – không chỉ vì quá trình sẽ rời rạc, mà còn vì nó cho phép các khía cạnh khác nhau có nhiều cơ hội hơn để xen kẽ và tương tác trong quá trình huấn luyện, với mục tiêu tạo ra một sự tạo ra thống nhất hơn:

Vanast kết hợp một bức ảnh người, hình ảnh quần áo riêng biệt và một video hướng dẫn chuyển động để tạo ra một chuỗi video di chuyển trong đó cùng một người mặc trang phục mới, với hướng dẫn tư thế đảm bảo chuyển động nhất quán, trong khi danh tính và chi tiết quần áo được bảo tồn trên các khung hình.

Để đạt được điều này, hệ thống lấy hình ảnh của các mặt hàng quần áo mục tiêu; một bức ảnh của người mặc quần áo khác; một video hướng dẫn chuyển động định nghĩa cách người đó nên di chuyển; và một lời nhắc văn bản mô tả hành động và thiết lập; và tạo ra một chuỗi video đầy đủ trong đó người đó dường như mặc trang phục mới, trong khi tuân theo chuyển động áp đặt, với mỗi khung hình được giữ nhất quán về mặt trực quan theo thời gian.

Không giống như các công việc trước đó, Vanast xử lý quần áo, danh tính và chuyển động cùng nhau trong một quá trình, cho phép các yếu tố này tương tác trong quá trình tạo ra và giảm các loại không phù hợp và không ổn định được chứng minh trong các phương pháp trước đó.

Tập dữ liệu

Huấn luyện cho dự án dựa trên các ví dụ ghép của hình ảnh người, các mặt hàng quần áo tương ứng và video của người đó di chuyển trong khi mặc quần áo đó, với chuyển động được trích xuất bằng kiến trúc trước đó, để cung cấp hướng dẫn tư thế ổn định trên các khung hình.

Trong sự vắng mặt của một tập dữ liệu công khai đáp ứng các yêu cầu của dự án, dữ liệu đã được thu thập từ các trang web mua sắm trực tuyến; cung cấp một bộ sưu tập các video với quần áo đa dạng. Tuy nhiên, nhiệm vụ yêu cầu các video của cùng một người mặc nhiều trang phục, điều này là hiếm trong dữ liệu tự nhiên, và điều này đòi hỏi phải tạo dữ liệu tổng hợp.

Quá trình ba giai đoạn liên quan đến việc chọn các khung hình phù hợp từ các video đã thu thập, được xử lý thông qua mô hình Qwen2.5-VL Vision-Language Model (VLM), với việc cắt và đánh giá sự phù hợp (tức là không có che khuất, đối tượng ở vị trí chính xác, v.v.); và tạo mặt nạ inpainting phù hợp để cô lập các khu vực bị ảnh hưởng – được xử lý bởi mô hình khuếch tán SDXL.

Tổng quan về đường ống Vanast, nơi hình ảnh người, hình ảnh quần áo mục tiêu và video hướng dẫn chuyển động được mã hóa và xử lý trong một mô hình khuếch tán video thống nhất. Hệ thống tạo ra một chuỗi hoạt hình mà bảo tồn danh tính, theo dõi chuỗi tư thế và áp dụng trang phục mục tiêu, trong khi tạo cặp ba yếu tố tổng hợp hỗ trợ huấn luyện, và thiết kế mô-đun kép tách hoạt hình khỏi chuyển giao quần áo để duy trì tính nhất quán.

Trong giai đoạn thứ ba, Qwen một lần nữa thực hiện nhiệm vụ phân loại hình ảnh theo giới tính, và khuôn khổ khuếch tán hình ảnh Flux phổ biến sau đó được sử dụng để tạo ra các thay đổi đối với quần áo trong hình ảnh (vì Flux có khả năng kết hợp nhiều yếu tố đầu vào). Các lời nhắc văn bản inpainting được tạo bởi ChatGPT (phiên bản không xác định).

Để tăng thêm sự đa dạng về tư thế và nền, một đường ống đã được giới thiệu để xây dựng các bộ ba huấn luyện từ các video trong tự nhiên, sử dụng tập dữ liệu HumanVid. Quá trình tương tự được sử dụng để tạo ra hình ảnh người bảo tồn danh tính.

Vì không có hình ảnh quần áo độc lập trong các video này, hình ảnh quần áo đã được tổng hợp trực tiếp từ footage. Các khung hình đã được lấy mẫu từ mỗi video, và Qwen được sử dụng để đánh giá chúng về khả năng hiển thị phía trước, trước khi chọn ứng viên phù hợp nhất, dựa trên khả năng hiển thị toàn thân, độ rõ ràng của hình ảnh, độ che khuất tối thiểu, chất lượng ánh sáng và tổng thể bố cục.

Một khu vực quần áo trên người đã được trích xuất bằng SegFormer, và nền đã được loại bỏ để cô lập quần áo.

Để tránh sự thiên vị về vị trí, khu vực quần áo đã được dịch ngẫu nhiên trong hộp giới hạn của nó, và Qwen đã được sử dụng lại để lọc ra các phân đoạn không đáng tin cậy. Quá trình này tạo ra hình ảnh quần áo tổng hợp được ghép với chuyển động và danh tính, cho phép xây dựng cặp ba lớn từ dữ liệu video không có cấu trúc, đồng thời cải thiện độ bền trong các điều kiện thế giới thực khác nhau.

Kiến trúc

Một kiến trúc mô-đun kép đã được giới thiệu để giải quyết sự hội tụ chậm và sự cân bằng yếu trong các phương pháp trước đó đã cố gắng kết hợp tất cả các điều kiện. Cách tiếp cận này tận dụng bộ chuyển đổi khuếch tán video-văn bản từ Wan, và cũng dựa trên dự án VACE (xem dưới đây).

Mô hình được chia thành một Mô-đun hoạt hình người (HAM), xử lý chuyển động và danh tính từ đầu vào người và tư thế; và một Mô-đun chuyển giao quần áo (GTM), xử lý quần áo từ hình ảnh quần áo. Cả hai đều chia sẻ quyền truy cập vào骨幹, trong khi tích hợp các tính năng theo cách phân bố, cấp bậc để cải thiện điều kiện.

Quá trình huấn luyện được thực hiện bằng cách đóng băng xương sống và tối ưu hóa chỉ các tham số HAM và GTM, với sự đóng góp của chúng được cân bằng trong quá trình tích hợp tính năng. Đầu vào từ tập dữ liệu ba yếu tố tổng hợp được chuyển đổi thành đại diện ẩn bằng cách sử dụng VAE biến thể của WAN.

Nội dung chuyển động nhận thức được xây dựng bằng cách kết hợp thông tin người và tư thế theo thời gian, trong khi các tính năng quần áo được xử lý riêng biệt và được căn chỉnh thông qua việc chiếu vào các bản nhúng mã thông báo.

Mô hình cũng được mở rộng để hỗ trợ đ间 quần áo. Ở đây, các biểu diễn từ hai quần áo được kết hợp để tạo ra các chuyển tiếp mịn, cho phép trộn và kết hợp quần áo nhất quán và mạch lạc mà không cần tối ưu hóa thêm.

Dữ liệu và Kiểm tra

Mô hình được huấn luyện trên 9.135 video, với độ dài từ ba đến mười giây, lấy từ các trang web mua sắm; tập dữ liệu được tạo bởi các tác giả; và tập dữ liệu HumanVid.

Từ những điều này, hai tập dữ liệu đánh giá đã được thiết lập: ‘tập dữ liệu Internet’, có video và hình ảnh sản phẩm từ các trung tâm thương mại; và phần chia kiểm tra chính thức của tập dữ liệu ViViD của Alibaba.

Vì dữ liệu ViViD thiếu khuôn mặt (xem video trên, để xem một ví dụ về điều này, điều rất phổ biến trong văn học thử nghiệm ảo), chúng đã được thêm vào bằng Flux outpainting.

Các chỉ số được sử dụng là L1 loss; Peak Signal-to-Noise Ratio (PSNR); Chỉ số tương đồng cấu trúc (SSIM); Tương đồng hình ảnh bản vá được học (LPIPS); Khoảng cách Inception Fréchet (FID); và Khoảng cách video Fréchet^†† (FVD)

Các hệ thống được kiểm tra cho chuyển giao quần áo là OOTDiffusion; CatVTON; OmniTry; và Any2AnyTryon. Các mô hình tạo hình ảnh từ đối tượng được thử nghiệm là VisualCloze; MOSAIC; và UNO của ByteDance.

Đối với hoạt hình hình ảnh người giai đoạn hai, các khuôn khổ StableAnimator và DisPose đã được sử dụng.

Trong một ngữ cảnh hạn chế hơn (vì nó không hỗ trợ trực tiếp mục tiêu), VACE cũng được kiểm tra, với một số nỗ lực để cân bằng chức năng thiếu hụt:

So sánh định lượng với các kết hợp của các mô hình từ đối tượng đến hình ảnh và hoạt hình trên các tập dữ liệu Internet và ViViD, nơi phương pháp được đề xuất đạt được hiệu suất tốt nhất trên tất cả các chỉ số được báo cáo. Các giá trị in đậm chỉ định điểm số hàng đầu trong mỗi cột.

Trong số các kết quả ban đầu được hiển thị ở trên, các tác giả tuyên bố:

‘[Mô hình của chúng tôi] đạt được hiệu suất tốt nhất trên tất cả các chỉ số khi so sánh với các kết hợp của các mô hình từ đối tượng đến hình ảnh và mô hình hoạt hình.

‘Kết quả định tính [được hiển thị dưới đây] còn xác nhận thêm rằng cách tiếp cận của chúng tôi tạo ra việc theo dõi tư thế và chuyển giao quần áo chính xác nhất, trong khi bảo tồn danh tính một cách trung thành hơn so với tất cả các phương pháp dựa trên hình ảnh từ đối tượng.’

So sánh định tính trên các tập dữ liệu Internet và ViViD so với các mô hình từ đối tượng đến hình ảnh và hoạt hình, nơi phương pháp được đề xuất, theo các tác giả, cung cấp sự căn chỉnh tư thế và chuyển giao quần áo chính xác hơn, trong khi bảo tồn danh tính một cách nhất quán hơn so với VisualCloze, MOSAIC, UNO và VACE.

Đối với loại kiểm tra thứ hai, nơi các kết hợp của các mô hình thử nghiệm ảo dựa trên hình ảnh và mô hình hoạt hình được kiểm tra, công việc mới một lần nữa đạt được điểm số cao nhất:

So sánh định lượng với các kết hợp của các mô hình thử nghiệm ảo dựa trên hình ảnh và mô hình hoạt hình trên các tập dữ liệu Internet và ViViD. Phương pháp được đề xuất đạt được hiệu suất tổng thể tốt nhất trên các chỉ số, với SSIM vẫn tương đương với baseline mạnh nhất. Các giá trị in đậm biểu thị điểm số cao nhất.

Các tác giả thêm:

‘So sánh định tính [được hiển thị dưới đây] chứng minh rằng kết quả của chúng tôi gần giống với sự thật nhất trong số tất cả các baseline dựa trên thử nghiệm ảo hình ảnh.’

Kiểm tra định tính sử dụng baseline được tạo bằng cách kết hợp mô hình thử nghiệm ảo và mô hình hoạt hình.

Kết luận

Mặc dù dự án Vanast đạt được một giải pháp từ đầu đến cuối rời rạc, nhưng sự thiếu sót chi tiết trong bài báo về yêu cầu tài nguyên huấn luyện và suy luận cho thấy rằng đây có thể không phải là giải pháp linh hoạt hoặc nhanh nhẹn nhất. Thật vậy, thách thức bản thân là cực kỳ khó khăn để đạt được, thậm chí không phải trong một hệ thống không được tối ưu hóa – và nhiều hơn nữa trong một triển khai thương mại sẽ cần độ trễ thấp và chi phí hợp lý/tỷ suất lợi nhuận ở quy mô lớn..

Thử nghiệm ảo là một trong những mục tiêu ‘trăng xanh’ của Trí tuệ nhân tạo, nơi tình trạng hiện tại của công nghệ, như được khuếch tán thông qua các tiêu đề và kết quả được chọn lọc, che giấu sự khó khăn thực sự của nhiệm vụ, điều này có thể sẽ được giải quyết bởi các công nghệ sau này và nhẹ hơn so với Transformer.

^† Có sẵn ở Hoa Kỳ, bị chặn ở nhiều khu vực khác, nếu không phải tất cả.

^†† Các tác giả đề cập đến ‘VFID’, nhưng chỉ liên kết đến bài báo ViViD, điều này không biện minh cho tài liệu tham khảo, theo như tôi có thể theo dõi, với thời gian hạn chế để theo dõi. Tôi đã giả định rằng họ thực sự có nghĩa là Khoảng cách video Fréchet (FVD), và cũng thiếu thời gian. Vui lòng liên hệ với tôi để sửa đổi, nếu cần.

Được xuất bản lần đầu vào thứ Tư, ngày 8 tháng 4 năm 2026