Khôi phục và chỉnh sửa hình ảnh con người với Trí tuệ nhân tạo

Một sự hợp tác mới giữa Đại học California Merced và Adobe mang lại một bước tiến trong lĩnh vực hoàn thiện hình ảnh con người – một nhiệm vụ được nghiên cứu rộng rãi về việc “làm rõ” các phần bị che khuất hoặc ẩn của hình ảnh con người, với mục đích như thử nghiệm ảo, hoạt hình và chỉnh sửa ảnh.

Besides sửa chữa hình ảnh bị hư hỏng hoặc thay đổi theo ý muốn của người dùng, hệ thống hoàn thiện hình ảnh con người như CompleteMe có thể áp dụng quần áo mới (thông qua hình ảnh tham chiếu, như trong cột giữa của hai ví dụ này) vào hình ảnh hiện có. Những ví dụ này来自 tài liệu bổ sung PDF của bài báo mới. Nguồn: https://liagm.github.io/CompleteMe/pdf/supp.pdf

Phương pháp mới, có tên CompleteMe: Hoàn thiện hình ảnh con người dựa trên hình ảnh tham chiếu, sử dụng hình ảnh tham chiếu để “gợi ý” cho hệ thống về nội dung nên thay thế phần ẩn hoặc bị che khuất của hình ảnh con người (do đó có thể áp dụng cho các khung cảnh thử nghiệm ảo dựa trên thời trang):

Hệ thống CompleteMe có thể phù hợp với nội dung tham chiếu vào phần bị che khuất hoặc ẩn của hình ảnh con người.

Hệ thống mới này sử dụng kiến trúc U-Net kép và một khối Chú ý tập trung vào vùng (RFA) để điều khiển tài nguyên đến khu vực phù hợp của hình ảnh.

Các nhà nghiên cứu cũng đưa ra một hệ thống đánh giá mới và đầy thách thức để đánh giá các nhiệm vụ hoàn thiện dựa trên hình ảnh tham chiếu (vì CompleteMe là một phần của một dòng nghiên cứu đang diễn ra trong tầm nhìn máy tính, mặc dù nó chưa có khuôn khổ đánh giá cho đến nay).

Trong các thử nghiệm và trong một nghiên cứu người dùng có quy mô tốt, phương pháp mới này đã đạt được kết quả tốt hơn trong hầu hết các chỉ số và tốt hơn tổng thể. Trong một số trường hợp, các phương pháp đối thủ hoàn toàn bị bối rối bởi cách tiếp cận dựa trên hình ảnh tham chiếu:

Từ tài liệu bổ sung: phương pháp AnyDoor có khó khăn đặc biệt khi quyết định cách diễn giải hình ảnh tham chiếu.

Bài báo cho biết:

‘Thử nghiệm rộng rãi trên khuôn khổ đánh giá của chúng tôi cho thấy CompleteMe vượt trội so với các phương pháp hiện đại, cả dựa trên hình ảnh tham chiếu và không dựa trên hình ảnh tham chiếu, về các chỉ số định lượng, kết quả định tính và nghiên cứu người dùng.

‘Đặc biệt trong các tình huống khó khăn liên quan đến tư thế phức tạp, mẫu quần áo tinh xảo và phụ kiện đặc biệt, mô hình của chúng tôi liên tục đạt được độ trung thực hình ảnh và tính nhất quán ngữ nghĩa cao hơn.’

Thật không may, sự hiện diện của dự án trên GitHub không chứa mã, cũng không hứa hẹn về mã, và sáng kiến, cũng có một trang dự án khiêm tốn trên GitHub, dường như được định hình như một kiến trúc độc quyền.

Ví dụ thêm về hiệu suất chủ quan của hệ thống mới so với các phương pháp trước đó. Chi tiết hơn sẽ được trình bày sau trong bài viết.

Phương pháp

Khung CompleteMe được hỗ trợ bởi một U-Net tham chiếu, xử lý việc tích hợp tài liệu phụ vào quá trình, và một U-Net gắn kết, xử lý một loạt các quá trình để đạt được kết quả cuối cùng, như được minh họa trong lược đồ khái niệm dưới đây:

Lược đồ khái niệm cho CompleteMe. Nguồn: https://arxiv.org/pdf/2504.20042

Hệ thống đầu tiên mã hóa hình ảnh đầu vào bị che khuất thành một biểu diễn ẩn. Đồng thời, U-Net tham chiếu xử lý nhiều hình ảnh tham chiếu – mỗi hình ảnh hiển thị các vùng cơ thể khác nhau – để trích xuất các tính năng chi tiết.

Các tính năng này đi qua một khối Chú ý tập trung vào vùng được nhúng trong U-Net gắn kết, nơi chúng được che khuất một cách chọn lọc bằng cách sử dụng các mặt nạ vùng tương ứng, đảm bảo mô hình chỉ chú ý đến các khu vực phù hợp trong hình ảnh tham chiếu.

Các tính năng bị che khuất sau đó được tích hợp với các tính năng ngữ nghĩa toàn cầu được trích xuất bằng mã hóa CLIP, cho phép mô hình tái tạo nội dung bị thiếu với cả chi tiết tinh xảo và tính nhất quán ngữ nghĩa.

Để tăng cường tính chân thực và độ tin cậy, quá trình che khuất đầu vào kết hợp các che khuất dựa trên lưới ngẫu nhiên với các mặt nạ hình dạng cơ thể, mỗi mặt nạ được áp dụng với xác suất bằng nhau, tăng độ phức tạp của các vùng bị thiếu mà mô hình phải hoàn thiện.

Để tham khảo

Các phương pháp trước đây về hoàn thiện hình ảnh dựa trên hình ảnh tham chiếu thường dựa vào mã hóa cấp độ ngữ nghĩa. Các dự án thuộc loại này bao gồm CLIP và DINOv2, cả hai đều trích xuất các tính năng toàn cầu từ hình ảnh tham chiếu, nhưng thường mất đi các chi tiết không gian tinh xảo cần thiết cho việc bảo tồn danh tính chính xác.

Từ bài báo phát hành về phương pháp DINOV2 cũ hơn, được bao gồm trong các thử nghiệm so sánh trong nghiên cứu mới: Các lớp phủ màu cho thấy ba thành phần chính đầu tiên từ Phân tích thành phần chính (PCA), được áp dụng cho các bản vá hình ảnh trong mỗi cột, làm nổi bật cách DINOv2 nhóm các phần đối tượng tương tự lại với nhau trên các hình ảnh khác nhau. Mặc dù có sự khác biệt về tư thế, phong cách hoặc kết xuất, các vùng tương ứng (như cánh, chi, hoặc bánh xe) được khớp một cách nhất quán, minh họa khả năng của mô hình trong việc học cấu trúc dựa trên phần mà không cần giám sát. Nguồn: https://arxiv.org/pdf/2304.07193

CompleteMe giải quyết khía cạnh này thông qua một U-Net tham chiếu chuyên dụng được khởi tạo từ Stable Diffusion 1.5, nhưng hoạt động mà không có bước nhiễu khuếch tán*.

Mỗi hình ảnh tham chiếu, bao gồm các vùng cơ thể khác nhau, được mã hóa thành các tính năng ẩn chi tiết thông qua U-Net này. Các tính năng ngữ nghĩa toàn cầu cũng được trích xuất riêng bằng CLIP, và cả hai tập tính năng được lưu vào bộ nhớ đệm để sử dụng hiệu quả trong quá trình tích hợp dựa trên chú ý.

Orchestration

U-Net gắn kết quản lý các giai đoạn cuối cùng của quá trình hoàn thiện. Được điều chỉnh từ phiên bản hoàn thiện của Stable Diffusion 1.5, nó nhận đầu vào là hình ảnh nguồn bị che khuất dưới dạng ẩn, cùng với các tính năng không gian chi tiết được rút ra từ hình ảnh tham chiếu và các tính năng ngữ nghĩa toàn cầu được trích xuất bởi mã hóa CLIP.

Các đầu vào này được kết hợp thông qua khối RFA, đóng vai trò quan trọng trong việc điều khiển sự chú ý của mô hình vào các khu vực phù hợp nhất của tài liệu tham chiếu.

Trước khi tham gia vào cơ chế chú ý, các tính năng tham chiếu được che khuất một cách rõ ràng để loại bỏ các vùng không liên quan, sau đó được nối với biểu diễn ẩn của hình ảnh nguồn, đảm bảo rằng sự chú ý được hướng đến một cách chính xác nhất có thể.

Để tăng cường sự tích hợp này, CompleteMe kết hợp một cơ chế chú ý chéo phân tách được điều chỉnh từ khuôn khổ IP-Adapter:

IP-Adapter, một phần của nó được tích hợp vào CompleteMe, là một trong những dự án thành công và thường được sử dụng nhất trong ba năm đầy biến động của việc phát triển kiến trúc mô hình khuếch tán ẩn. Nguồn: https://ip-adapter.github.io/

Điều này cho phép mô hình xử lý các tính năng hình ảnh không gian chi tiết và ngữ nghĩa rộng lớn thông qua các luồng chú ý riêng biệt, sau đó được kết hợp, dẫn đến một tái tạo nhất quán mà, theo các tác giả, bảo tồn cả danh tính và chi tiết tinh xảo.

Benchmarking

Trong sự vắng mặt của một tập dữ liệu phù hợp cho việc hoàn thiện hình ảnh con người dựa trên hình ảnh tham chiếu, các nhà nghiên cứu đã đề xuất một tập dữ liệu của riêng họ. (Tập dữ liệu không có tên) được xây dựng bằng cách thu thập các cặp hình ảnh chọn lọc từ tập dữ liệu WPose được thiết kế cho dự án UniHuman của Adobe Research năm 2023.

Ví dụ về tư thế từ dự án UniHuman của Adobe Research năm 2023. Nguồn: https://github.com/adobe-research/UniHuman?tab=readme-ov-file#data-prep

Các nhà nghiên cứu đã vẽ tay các mặt nạ nguồn để chỉ ra các khu vực cần được hoàn thiện, cuối cùng nhận được 417 nhóm hình ảnh ba phần bao gồm hình ảnh nguồn, mặt nạ và hình ảnh tham chiếu.

Hai ví dụ về các nhóm được rút ra từ tập dữ liệu WPose tham chiếu và được thu thập rộng rãi bởi các nhà nghiên cứu của bài báo mới.

Các tác giả đã sử dụng mô hình ngôn ngữ lớn LLaVA để tạo ra các lời nhắc văn bản mô tả hình ảnh nguồn.

Các chỉ số được sử dụng bao gồm hơn bình thường; ngoài Tỷ lệ tín hiệu trên nhiễu đỉnh (PSNR), Chỉ số tương đồng cấu trúc (SSIM) và Tương đồng hình ảnh nhận thức học được (LPIPS, trong trường hợp này để đánh giá các vùng bị che khuất), các nhà nghiên cứu đã sử dụng DINO cho điểm tương đồng; DreamSim để đánh giá kết quả tạo; và CLIP.

Dữ liệu và Thử nghiệm

Để kiểm tra công việc, các tác giả đã sử dụng cả mô hình Stable Diffusion V1.5 mặc định và mô hình hoàn thiện V1.5. Bộ mã hóa hình ảnh của hệ thống sử dụng mô hình CLIP Vision, cùng với các lớp chiếu – mạng nơ-ron nhỏ điều chỉnh hoặc căn chỉnh đầu ra của CLIP để phù hợp với các chiều tính năng nội bộ được sử dụng bởi mô hình.

Quá trình đào tạo diễn ra trong 30.000 lần lặp lại trên tám card đồ họa NVIDIA A100^†, được giám sát bởi sai số bình phương trung bình (MSE), với kích thước lô 64 và tốc độ học 2×10^-5. Các yếu tố khác nhau được loại bỏ ngẫu nhiên trong quá trình đào tạo, để ngăn chặn hệ thống quá拟 trên dữ liệu.

Tập dữ liệu được sửa đổi từ tập dữ liệu Parts to Whole, dựa trên tập dữ liệu DeepFashion-MultiModal.

Ví dụ từ tập dữ liệu Parts to Whole, được sử dụng trong việc phát triển dữ liệu được thu thập cho CompleteMe. Nguồn: https://huanngzh.github.io/Parts2Whole/

Các tác giả cho biết:

‘Để đáp ứng nhu cầu của chúng tôi, chúng tôi [tái xây dựng] các cặp đào tạo bằng cách sử dụng hình ảnh bị che khuất với nhiều hình ảnh tham chiếu thu được các khía cạnh khác nhau của hình ảnh con người cùng với các nhãn văn bản ngắn.

‘Mỗi mẫu trong dữ liệu đào tạo của chúng tôi bao gồm sáu loại hình ảnh: quần áo trên cơ thể, quần áo dưới cơ thể, quần áo toàn thân, tóc hoặc mũ, khuôn mặt và giày. Đối với chiến lược che khuất, chúng tôi áp dụng che khuất lưới ngẫu nhiên 50% giữa 1 đến 30 lần, trong khi 50% còn lại, chúng tôi sử dụng mặt nạ hình dạng cơ thể để tăng độ phức tạp của che khuất.

‘Sau khi xây dựng đường ống, chúng tôi đã nhận được 40.000 cặp hình ảnh để đào tạo.’

Các phương pháp trước đó không dựa trên hình ảnh tham chiếu được thử nghiệm bao gồm Hoàn thiện hình ảnh con người bị che khuất lớn (LOHC) và mô hình hoàn thiện hình ảnh BrushNet; các mô hình dựa trên hình ảnh tham chiếu được thử nghiệm bao gồm Paint-by-Example; AnyDoor; LeftRefill; và MimicBrush.

Các tác giả bắt đầu với một so sánh định lượng trên các chỉ số đã đề cập:

Kết quả của so sánh định lượng ban đầu.

Về đánh giá định lượng, các tác giả lưu ý rằng CompleteMe đạt được điểm số cao nhất trong hầu hết các chỉ số nhận thức, bao gồm CLIP-I, DINO, DreamSim và LPIPS, được thiết kế để bắt các khía cạnh về sự phù hợp ngữ nghĩa và tính trung thực hình ảnh giữa đầu ra và hình ảnh tham chiếu.

Tuy nhiên, mô hình không vượt trội so với tất cả các đường cơ sở trong tất cả các trường hợp. Đặc biệt, BrushNet đạt điểm cao nhất trong CLIP-T, LeftRefill dẫn đầu trong SSIM và PSNR, và MimicBrush slightly vượt trội trong CLIP-I.

Mặc dù CompleteMe cho thấy kết quả mạnh mẽ và nhất quán tổng thể, sự khác biệt về hiệu suất là khiêm tốn trong một số trường hợp, và một số chỉ số vẫn do các phương pháp trước đó dẫn đầu. Có lẽ không công bằng, các tác giả coi những kết quả này là bằng chứng về sức mạnh cân bằng của CompleteMe trên cả hai chiều không gian và nhận thức.

Minh họa cho các thử nghiệm định tính được thực hiện trong nghiên cứu quá nhiều để trình bày lại ở đây, và chúng tôi đề cập người đọc không chỉ đến bài báo gốc mà còn đến tài liệu bổ sung PDF rộng rãi, chứa nhiều ví dụ định tính bổ sung.

Chúng tôi nhấn mạnh các ví dụ định tính chính được trình bày trong bài báo chính, cùng với một số trường hợp bổ sung được rút ra từ nhóm hình ảnh bổ sung được giới thiệu trước đó trong bài viết này:

Kết quả định tính ban đầu được trình bày trong bài báo chính. Vui lòng tham khảo bài báo gốc để có độ phân giải tốt hơn.

Về kết quả định tính được hiển thị ở trên, các tác giả nhận xét:

‘Với các đầu vào bị che khuất, các phương pháp không dựa trên hình ảnh tham chiếu tạo ra nội dung có thể chấp nhận được cho các vùng bị che khuất bằng cách sử dụng các giả định hình ảnh hoặc lời nhắc văn bản.

‘Tuy nhiên, như được chỉ ra trong hộp đỏ, chúng không thể tái tạo các chi tiết cụ thể như hình xăm hoặc mẫu quần áo độc đáo, vì chúng thiếu hình ảnh tham chiếu để hướng dẫn việc tái tạo thông tin giống hệt.’

Một so sánh thứ hai, một phần được hiển thị dưới đây, tập trung vào bốn phương pháp dựa trên hình ảnh tham chiếu là Paint-by-Example, AnyDoor, LeftRefill và MimicBrush. Ở đây, chỉ có một hình ảnh tham chiếu và một lời nhắc văn bản được cung cấp.

So sánh định tính với các phương pháp dựa trên hình ảnh tham chiếu. CompleteMe tạo ra các hoàn thiện thực tế hơn và bảo tồn tốt hơn các chi tiết cụ thể từ hình ảnh tham chiếu. Các hộp đỏ làm nổi bật các khu vực của sự quan tâm đặc biệt.

Các tác giả cho biết:

‘Với một hình ảnh con người bị che khuất và một hình ảnh tham chiếu, các phương pháp khác có thể tạo ra nội dung có thể chấp nhận được nhưng thường không bảo tồn thông tin ngữ cảnh từ hình ảnh tham chiếu một cách chính xác.

‘Trong một số trường hợp, chúng tạo ra nội dung không liên quan hoặc ánh xạ không chính xác các phần tương ứng từ hình ảnh tham chiếu. Ngược lại, CompleteMe hoàn thiện vùng bị che khuất bằng cách bảo tồn thông tin giống hệt và ánh xạ chính xác các phần tương ứng của cơ thể từ hình ảnh tham chiếu.’

Để đánh giá mức độ phù hợp của các mô hình với nhận thức của con người, các tác giả đã thực hiện một nghiên cứu người dùng liên quan đến 15 người ghi chú và 2.895 cặp mẫu. Mỗi cặp so sánh đầu ra của CompleteMe với một trong bốn đường cơ sở dựa trên hình ảnh tham chiếu: Paint-by-Example, AnyDoor, LeftRefill hoặc MimicBrush.

Các người ghi chú đánh giá mỗi kết quả dựa trên chất lượng hình ảnh của vùng hoàn thiện và mức độ nó bảo tồn các tính năng nhận dạng từ hình ảnh tham chiếu – và ở đây, đánh giá chất lượng tổng thể và nhận dạng, CompleteMe đạt được kết quả rõ ràng hơn:

Kết quả của nghiên cứu người dùng.

Kết luận

Nếu có điều gì, thì kết quả định tính trong nghiên cứu này bị suy yếu bởi số lượng khổng lồ, vì việc kiểm tra kỹ lưỡng cho thấy hệ thống mới này là một mục nhập hiệu quả trong lĩnh vực chỉnh sửa hình ảnh neuron tương đối hẹp nhưng được theo đuổi mạnh mẽ.

Tuy nhiên, nó đòi hỏi sự quan tâm và chú ý một chút để đánh giá cao cách hệ thống thích ứng với tài liệu tham chiếu vào khu vực bị che khuất so với các phương pháp trước đó (trong hầu hết các trường hợp).

Chúng tôi mạnh mẽ khuyên người đọc nên kiểm tra kỹ lưỡng tài liệu bổ sung được trình bày trong tài liệu gốc.

* Nó thú vị khi lưu ý về cách phiên bản V1.5 đã lỗi thời vẫn là lựa chọn của các nhà nghiên cứu – một phần do thử nghiệm tương tự như trước, nhưng cũng vì nó là phiên bản ít bị kiểm duyệt nhất và có thể dễ dàng huấn luyện nhất trong số tất cả các phiên bản khuếch tán ổn định, và không chia sẻ sự hạn chế kiểm duyệt của các phiên bản FOSS Flux.

^† Thông số VRAM không được chỉ định – nó sẽ là 40GB hoặc 80GB mỗi card.

Được xuất bản lần đầu vào Thứ Ba, ngày 29 tháng 4 năm 2025