Xóa Đối Tượng và Người Từ Video với Trí Tuệ Nhân Tạo

Không, đứa trẻ không còn trong bức tranh, nếu trí tuệ nhân tạo có gì đó để làm với nó.

Xóa người và đối tượng khỏi hình ảnh và video là một nhánh nghiên cứu phổ biến trong lĩnh vực VFX-centric AI, với ngày càng nhiều tập dữ liệu và khuôn khổ chuyên dụng đang giải quyết thách thức này. Mới nhất trong số này, từ Viện Dữ liệu Lớn của Đại học Fudan Trung Quốc, là EffectErase, một hệ thống xóa đối tượng video “nhận thức hiệu ứng” mà các tác giả cho rằng cải thiện đáng kể so với trạng thái hiện tại trong các thử nghiệm:

Được tập hợp từ tài liệu trên trang web dự án, các ví dụ về phương pháp EffectErase (xin lưu ý rằng trong khi chúng tôi cung cấp liên kết, trang web nguồn chứa nhiều video tự động phát với độ phân giải cao và không được tối ưu hóa, điều này có thể ảnh hưởng đến sự ổn định của trình duyệt web của bạn. Video YouTube kèm theo là một tài liệu tham khảo dễ dàng và đầy đủ hơn, và được nhúng ở cuối bài viết này). Nguồn

Công việc mới này liên quan đến việc tạo ra một tập dữ liệu bán mới bao gồm gần 350 cảnh thực tế và tổng hợp (sử dụng các kho lưu trữ công cộng*), được quay bằng thiết bị chuyên dụng hoặc lấy và tái sử dụng trong một quy trình xây dựng xung quanh khuôn khổ Blender 3D mã nguồn mở.

Tập dữ liệu VOR (Video Object Removal) kết hợp này tạo thành cơ sở cho ứng dụng EffectErase itself, được xây dựng trên hệ thống Wan2.1 sinh video. Hệ thống này cũng định nghĩa hai tiêu chuẩn mới liên quan: VOR Eval và VOR Wild – lần lượt cho các mẫu có và không có ground truth.

(Mặc dù bài viết có một trang web dự án kèm theo, nhưng nó khá nặng với nhiều video độ phân giải cao, và khó tải; vì vậy, vui lòng tham khảo các đoạn tôi đã biên soạn trong video nhúng trên, nếu bạn thấy trang web dự án khó sử dụng)

So sánh số lượng trên các tập dữ liệu trước đây, liên quan đến đề xuất mới. Nguồn

Các nhà nghiên cứu cho rằng phương pháp của họ mang lại hiệu suất tốt nhất, cả về số lượng và chất lượng, như được xác định bởi một nghiên cứu của con người.

Họ lưu ý rằng các công việc trước đây không phải lúc nào cũng thành công trong việc xóa các hiệu ứng phụ của một đối tượng, chẳng hạn như bóng và phản xạ, và rằng tập dữ liệu của họ đã được tạo ra cẩn thận để sửa chữa điểm yếu này:

Ví dụ về các phương pháp trước đây không nhìn vượt ra ngoài đối tượng cần xóa, đến các chỉ định thứ cấp như phản xạ và bóng.

Bài viết mới mới có tiêu đề EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing, và đến từ bốn nhà nghiên cứu tại Trường Khoa học Máy tính và Trí tuệ Nhân tạo của Đại học Fudan.

Phương Pháp

Tập dữ liệu VOR kết hợp này được thiết kế để bao gồm một phạm vi rộng đủ để bao gồm tất cả các ý nghĩa của việc xóa một người hoặc đối tượng khỏi video:

Các khung hình ghép từ tập dữ liệu VOR minh họa cách xóa đối tượng phải mở rộng ra ngoài đối tượng nhìn thấy được đến các hiệu ứng của nó, với các ví dụ cho thấy che khuất, bóng, thay đổi ánh sáng, phản xạ và biến dạng vật lý, mỗi khung hình được trình bày như đầu vào (đối tượng hiện diện) cùng với nền sạch sau khi xóa. Để xem thêm các ví dụ, vui lòng tham khảo video YouTube kèm theo ở cuối bài viết này.

Các loại “can thiệp” đại diện được định nghĩa bởi các tác giả là che khuất, bao gồm các loại che khuất khác nhau như kính và khói; bóng; ánh sáng (ví dụ, khi một đối tượng cần xóa tạo ra hoặc thay đổi đường dẫn của ánh sáng); phản xạ; và biến dạng (ví dụ, dấu ấn của người dùng trên một chiếc gối, không nên tồn tại sau khi người dùng bị xóa).

Quy trình xây dựng tập dữ liệu VOR, kết hợp các cảnh tổng hợp được tạo bằng Blender với các cảnh quay thực tế, nơi dữ liệu tổng hợp được xây dựng từ các môi trường 3D được kiểm soát, đối tượng và đường dẫn camera, và cảnh quay thực tế được ghi lại trên các cảnh khác nhau, được tăng cường với chuyển động Ken Burns. SAM2 phân đoạn và tinh chỉnh thủ công sau đó tạo ra các bộ ba video nền trước và nền sau được căn chỉnh với các mặt nạ tương ứng.

Đối với dữ liệu thực tế ban đầu, các nhà nghiên cứu sử dụng máy quay cố định để ghi lại các cảnh “có” và “không có” trên một loạt các môi trường, thời gian trong ngày và điều kiện thời tiết.

Đối với dữ liệu tổng hợp, nhiều góc nhìn được kết xuất, và các kịch bản đa đối tượng được tạo ra, có các loại chuyển động máy quay phức tạp và thách thức, như có thể xảy ra trong các cảnh quay thực tế; và các nhà nghiên cứu quan sát rằng phương pháp này phức tạp và nỗ lực hơn so với phương pháp được sử dụng cho tập dữ liệu Remove Objects with Side Effects in Videos (ROSE) khác.

Để tăng đa dạng chuyển động, hiệu ứng Ken Burns được áp dụng cho các cặp máy quay, thêm các chuyển động được kiểm soát, thu phóng và chuyển động cầm tay nhẹ dưới 14 quy tắc được định nghĩa trước, với năm mẫu chuyển động được lấy mẫu cho mỗi cặp trong khi giữ khung hình trong khung hình ban đầu.

Quy mô và đa dạng được mở rộng hơn nữa bằng cách kết hợp các đối tượng tổng hợp với nhiều thiết lập máy quay, Mặt nạ được tạo ra bằng cách đặt các điểm nhắc thủ công trên các khung hình chính, truyền phân đoạn với Segment Anything 2 (SAM2), làm sạch và tinh chỉnh kết quả, và lắp ráp các bộ ba nền trước, nền sau và mặt nạ đã được xác thực để đào tạo.

Tập hợp cuối cùng chạy đến 145 giờ video trên 60.000 video ghép, thực tế và tổng hợp, bao gồm 366 lớp đối tượng trong 443 cảnh.

Mạng EffectErase tự nó tiêu thụ vật liệu thông qua một Máy tự mã hóa biến thể (VAE)^†, với việc làm sạch nhiễu được xử lý bởi Wan2.1. Trên xương sống này, EffectErase hoạt động Học chung Xóa-Đặt, đào tạo cả hai nhiệm vụ cùng nhau trên cùng một khu vực; Hướng dẫn Khu vực Nhận thức Nhiệm vụ (TARG), sử dụng các mã thông báo đối tượng và nhiệm vụ với chú ý chéo để mô hình hóa các liên kết không gian-thời gian giữa các đối tượng và hiệu ứng của chúng và cho phép chuyển đổi nhiệm vụ; và Loss Tính nhất quán Hiệu ứng, căn chỉnh các khu vực hiệu ứng được căn chỉnh trên các nhiệm vụ xóa và chèn:

Sơ đồ khuôn khổ EffectErase. Trong quá trình đào tạo, các video ghép được mã hóa vào một không gian ẩn được chia sẻ, kết hợp với nhiễu, và được xử lý bởi một bộ chuyển đổi khuếch tán được hướng dẫn bởi chú ý nhận thức nhiệm vụ, trong khi một mất mát tính nhất quán hiệu ứng căn chỉnh các khu vực xóa và chèn để cả hai nhiệm vụ tập trung vào cùng một khu vực.

Trong chính mình, các quá trình xóa và chèn được đào tạo cùng nhau, sử dụng một xương sống khuếch tán được chia sẻ, vì vậy mô hình học cách tập trung vào cùng một khu vực và các tín hiệu cấu trúc.

Video với đối tượng, video nền chỉ, và mặt nạ, được mã hóa trước vào một không gian ẩn; nhiễu sau đó được thêm vào để đào tạo khuếch tán, và mô hình học cách phục hồi các biểu diễn sạch dưới sự hướng dẫn của nhiệm vụ. Một bộ chuyển đổi nhẹ sau đó kết hợp các tính năng nhiễu với các điều kiện xóa hoặc chèn, cho phép cả hai nhiệm vụ chia sẻ giám sát, trong khi vẫn có thể kiểm soát.

Hướng dẫn Khu vực Nhận thức Nhiệm vụ tạo ra một tín hiệu nhiệm vụ cụ thể bằng cách kết hợp các mã thông báo ngôn ngữ với các tính năng hình ảnh được trích xuất từ đối tượng trước, sử dụng CLIP, thay thế một mã thông báo đối tượng chung bằng một mã thông báo được dẫn xuất từ nội dung hình ảnh thực tế. Biểu diễn này được tiêm vào xương sống thông qua chú ý chéo, cho phép mô hình theo dõi cách một đối tượng và hiệu ứng hình ảnh của nó phát triển theo không gian và thời gian, trong khi cho phép chuyển đổi nhiệm vụ linh hoạt.

Loss Tính nhất quán Hiệu ứng buộc các quá trình xóa và chèn tập trung vào cùng một khu vực thay đổi, vì cả hai nhiệm vụ đều xử lý cùng một đối tượng và hiệu ứng hình ảnh của nó. Các bản đồ chú ý từ mỗi nhánh được kết hợp thành các bản đồ khu vực mềm, và được căn chỉnh với một bản đồ khác biệt được tính toán từ video đối tượng và nền, vì vậy các thay đổi tinh tế như ánh sáng và bóng được bảo tồn. Mất mát này giúp chèn hướng dẫn xóa và giữ cả hai nhiệm vụ nhất quán.

Dữ Liệu và Kiểm Tra

Các nhà nghiên cứu đã kiểm tra phương pháp của mình với các phương pháp xóa và chèn khác nhau: OmniPaint; ObjectClear; VACE; DiffuEraser; ProPainter; ROSE; và MiniMax-Remover.

Wan2.1 đã được tinh chỉnh với LoRA^†† sử dụng tập dữ liệu VOR tại độ phân giải 832x480px. 81 khung hình liên tiếp (giới hạn hiệu quả cho WAN, vượt quá giới hạn này, lỗi có xu hướng xảy ra) đã được lấy mẫu ngẫu nhiên để đào tạo, diễn ra trong 129.000 lần lặp lại với kích thước lô 8, trên tám GPU H100, mỗi GPU có 80GB VRAM. Tỷ lệ học được đặt thành 1×10², và hạng LoRA được đặt thành 256.

Tập dữ liệu ROSE-Benchmark tổng hợp là tập dữ liệu bên ngoài duy nhất được kiểm tra; hai tập dữ liệu khác là VOR-Eval, tập kiểm tra của tập dữ liệu VOR; và VOR-Wild, một tập kiểm tra gồm 195 video thực tế được thu thập từ internet, có các “đối tượng động”.

Các chỉ số được sử dụng là Tỷ lệ tín hiệu trên nhiễu đỉnh (PSNR); Chỉ số tương đồng cấu trúc (SSIM); Tương đồng hình ảnh học được (LPIPS); và Khoảng cách video Fréchet (FVD). Một nghiên cứu của người dùng về 195 video được tạo từ VOR-Wild cũng được xem xét, với các xếp hạng trung bình từ 20 tình nguyện viên được tính đến.

Bên cạnh đó, các tác giả đã tạo ra QScore, một chỉ số tận dụng mô hình Qwen-VL đa phương tiện, để đánh giá chất lượng của video đã xóa đối tượng, về mặt các di tích hoặc xóa môi trường bị bỏ sót, chẳng hạn như bóng và hiệu ứng ánh sáng:

So sánh định lượng trên các chuẩn mực ROSE và VOR, với kết quả tốt nhất và tốt thứ hai được hiển thị bằng chữ đậm và gạch dưới, tương ứng.

Về những kết quả này, các tác giả lưu ý:

‘[Hiện tại] các phương pháp tạo ảnh hoạt động trên từng khung hình riêng lẻ bằng cách sử dụng các mô hình 2D mà không có mô hình hóa thời gian, và do đó không thể duy trì sự nhất quán thời gian trong video.

Các phương pháp tạo video gần đây không mô hình hóa rõ ràng các hiệu ứng phụ của đối tượng, dẫn đến kết quả xóa không tự nhiên. Các phương pháp xóa đối tượng video hiện có thiếu mô hình hóa mối tương quan không gian-thời gian giữa đối tượng và hiệu ứng của nó, và do đó thường tạo ra các hiện象 và dấu vết còn lại của đối tượng bị xóa.

‘Tổng thể, EffectErase đạt được hiệu suất tốt nhất trên tất cả các tập dữ liệu và chỉ số đánh giá. Nó đạt được điểm số tốt nhất trên chỉ số chất lượng video FVD, chứng tỏ sự mịn màng và nhất quán về thời gian của video được tạo.

‘Phương pháp của chúng tôi cũng đạt được điểm QScore và xếp hạng của người dùng cao nhất, chứng tỏ thêm hiệu quả của nó trong việc tạo ra kết quả xóa đối tượng thuyết phục về mặt trực quan.’

Đối với đánh giá định tính, kết quả tĩnh được cung cấp trong bài viết (được hiển thị trực tiếp dưới đây), cũng như kết quả di động có sẵn trong trang web dự án và video YouTube kèm theo:

So sánh định tính trên VOR-Eval trên các trường hợp che khuất, bóng, ánh sáng, phản xạ và biến dạng. Các phương pháp tạo ảnh hoạt động gặp khó khăn khi xóa các hiệu ứng bên ngoài mặt nạ, trong khi các mô hình xóa thường để lại các hiện象 nhìn thấy được. EffectErase xóa cả đối tượng mục tiêu và hiệu ứng liên quan của nó một cách sạch sẽ hơn. Vui lòng tham khảo bài viết nguồn để có độ phân giải tốt hơn, và trang web dự án để xem các ví dụ video.

Chúng tôi cũng giới thiệu người đọc đến các ví dụ liên quan khác tại trang web dự án, được xem trước dưới đây, cũng như video YouTube chính thức được nhúng ở cuối bài viết này:

Bấm để phát. Một ví dụ so sánh từ trang web dự án EffectErase. Vui lòng tham khảo trang web để có độ phân giải tốt hơn và để xem thêm các ví dụ.

Các tác giả nhận xét:

‘Các phương pháp tạo video hoạt động thường tạo ra các hiện象 trong các khu vực được che khuất và không thể xóa hoàn toàn các hiệu ứng phụ do đối tượng bị xóa gây ra. Các phương pháp xóa đối tượng video trước đây, chẳng hạn như [ROSE] và [MinMax-Remover], hoạt động tốt trong việc xóa đối tượng mục tiêu nhưng vẫn gặp khó khăn với các hiệu ứng phụ, đặc biệt là trong các trường hợp che khuất, bóng, ánh sáng, phản xạ và biến dạng.

‘Ngược lại, EffectErase hiệu quả xóa cả đối tượng mục tiêu và hiệu ứng liên quan của nó, dẫn đến kết quả sạch sẽ, nhất quán và chất lượng cao.’

Khi kết thúc, các nhà nghiên cứu quan sát rằng phương pháp của họ cũng có thể được điều chỉnh để chèn thay vì xóa, mà không cần đào tạo thêm:

Kết quả chèn đối tượng video. EffectErase chèn đối tượng trong khi giữ nguyên nội dung nền và tạo ra các hiệu ứng liên quan đến đối tượng một cách nhất quán trên các khung hình.

Kết quả video cho nhiệm vụ chèn có thể được xem trong video YouTube (có thời gian cụ thể) (cũng được nhúng mà không có dấu thời gian ở cuối bài viết).

Kết Luận

Một cái nhìn vào các dự án tương tự trong tài liệu cho thấy rằng nhiều dự án vẫn hy vọng rằng các mô hình VFX chung sẽ cuối cùng có thể tích hợp chức năng này vào một mô hình “công cụ” chung được thiết kế cho một loạt các hiệu ứng, chứ không chỉ nhiệm vụ này.

Tuy nhiên, dựa trên nguyên tắc “người làm việc tốt cho mọi việc”, có vẻ hợp lý khi giả định rằng các hệ thống chuyên dụng như EffectErase sẽ tiếp tục duy trì lợi thế so với các phương pháp chung; với điều kiện là khoảng cách này có thể cuối cùng thu hẹp lại đủ để làm cho sự khác biệt không đáng với nỗ lực đào tạo một mô hình riêng biệt.

* Một điều mà người ta hy vọng, với những lo ngại ngày càng tăng về vấn đề nguồn gốc IP, là tất cả các nguồn như vậy sẽ được trích dẫn; nhưng nếu các tài liệu có sẵn từ công việc mới này liệt kê nguồn của các mô hình 3D, tôi không thể tìm thấy tài liệu tham khảo này.

^† Tài liệu tham khảo được cung cấp có vẻ là một văn bản giải thích chung từ năm 2013, với VAE cụ thể không được mô tả chi tiết.

^†† Lấy từ bài viết, đây là một mô tả không rõ ràng về mặt ngữ nghĩa, vì việc tinh chỉnh và LoRA là các quá trình khác nhau với các yêu cầu rất khác nhau.

Được xuất bản lần đầu vào thứ Bảy, ngày 21 tháng 3 năm 2026