Xóa vật thể và người khỏi video bằng AI

Không, đứa trẻ sẽ không còn trong ảnh nếu AI có quyền quyết định.

Xóa người và vật thể khỏi ảnh, video là một hướng nghiên cứu phổ biến trong AI dành cho kỹ xảo hình ảnh (VFX), với ngày càng nhiều tập dữ liệu và khung xử lý chuyên dụng. Ví dụ mới nhất, từ Viện Dữ liệu lớn thuộc Đại học Phúc Đán ở Trung Quốc, là EffectErase, hệ thống xóa vật thể khỏi video có tính đến cả những tác động của vật thể lên cảnh. Theo các tác giả, trong thử nghiệm, hệ thống vượt đáng kể các phương pháp tốt nhất hiện có:

Ví dụ về phương pháp EffectErase, được dựng từ tư liệu trên trang dự án. Lưu ý: trang được liên kết chứa nhiều video độ phân giải cao chưa được tối ưu hóa và tự động phát, có thể ảnh hưởng đến độ ổn định của trình duyệt. Video YouTube nhúng ở cuối bài cung cấp phần giới thiệu đầy đủ và dễ tiếp cận hơn.  Nguồn

Công trình đã tạo và tuyển chọn một tập dữ liệu có một phần tư liệu mới, gồm gần 350 cảnh gốc thực tế và tổng hợp. Các cảnh được quay bằng thiết bị chuyên dụng hoặc lấy từ nguồn khác rồi tái sử dụng trong quy trình dựa trên Blender 3D mã nguồn mở, có sử dụng các kho công khai*.

Tập dữ liệu kết hợp Video Object Removal (VOR) là cơ sở của ứng dụng EffectErase, được xây dựng trên hệ thống tạo video Wan2.1. Công trình cũng xác lập hai bộ đánh giá mới liên quan: VOR Eval và VOR Wild – lần lượt dành cho mẫu có và không có dữ liệu chuẩn tham chiếu.

(Dù công trình có trang dự án đi kèm, trang này quá tải bởi nhiều video độ phân giải cao và khó tải. Nếu thấy khó sử dụng, bạn có thể xem các đoạn tôi đã tuyển chọn và dựng trong video nhúng phía trên.)

So sánh quy mô tập dữ liệu mới với các tập dữ liệu tương tự trước đây. Nguồn

Các nhà nghiên cứu khẳng định phương pháp của họ đạt kết quả hàng đầu theo cả thước đo định lượng lẫn đánh giá định tính do con người thực hiện.

Họ lưu ý rằng các công trình trước không phải lúc nào cũng xóa được những tác động đi kèm vật thể, chẳng hạn bóng đổ và phản chiếu. Tập dữ liệu mới được chuẩn bị cẩn thận để khắc phục hạn chế này:

Ví dụ về các phương pháp trước chỉ chú ý đến vật thể cần xóa mà bỏ qua dấu hiệu gián tiếp như phản chiếu và bóng đổ.

Bài báo mới có tiêu đề EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing và do bốn nhà nghiên cứu thuộc Trường Khoa học Máy tính và Trí tuệ Nhân tạo, Đại học Phúc Đán thực hiện.

Phương pháp

Tập dữ liệu VOR kết hợp được thiết kế để bao phủ đủ nhiều tình huống nhằm tính đến mọi hệ quả của việc xóa một người hay vật thể khỏi video:

Các cặp khung hình trong VOR cho thấy việc xóa phải xử lý cả vật thể nhìn thấy lẫn tác động do nó tạo ra. Ví dụ gồm che khuất, bóng đổ, thay đổi ánh sáng, phản chiếu và biến dạng vật lý. Mỗi ảnh đầu vào có vật thể được đặt cạnh nền sạch tương ứng sau khi xóa. Có thể xem thêm trong video YouTube nhúng ở cuối bài.

Các tác giả xác định năm dạng nhiễu đại diện cần xử lý: che khuất, gồm các dạng che khuất do kính và khói; bóng đổ; chiếu sáng (chẳng hạn khi vật thể cần xóa tạo ra hoặc làm thay đổi đường đi của ánh sáng); phản chiếu; và biến dạng (chẳng hạn vết lõm một người để lại trên đệm, vốn không nên còn sau khi xóa người đó).

Quy trình tạo VOR kết hợp cảnh tổng hợp bằng Blender với cảnh quay thực. Dữ liệu tổng hợp được dựng từ môi trường 3D, vật thể và quỹ đạo máy quay đã tuyển chọn. Cảnh thực được quay trong nhiều bối cảnh và bổ sung chuyển động Ken Burns. Phân đoạn SAM2 cùng hiệu chỉnh thủ công tạo ra các bộ ba video tiền cảnh, hậu cảnh và mặt nạ tương ứng được căn chỉnh.

Đối với dữ liệu thực gốc, nhóm dùng máy quay cố định để ghi cùng cảnh khi có và không có vật thể, trong nhiều môi trường, thời điểm trong ngày và điều kiện thời tiết.

Đối với dữ liệu tổng hợp, họ kết xuất nhiều góc nhìn và tạo tình huống có nhiều vật thể, cố ý đưa vào những chuyển động máy quay phức tạp, khó xử lý có thể xuất hiện trong cảnh quay thực. Nhóm cho rằng cách này tinh vi và tốn công hơn cách tạo tập dữ liệu vốn tương tự ở những khía cạnh khác là Remove Objects with Side Effects in Videos (ROSE).

Để tăng sự đa dạng của chuyển động, hiệu ứng Ken Burns được áp dụng cho các cặp cảnh quay. Họ bổ sung chuyển động lia, thu phóng có kiểm soát và rung nhẹ như máy quay cầm tay theo 14 quy tắc định sẵn. Mỗi cặp được lấy mẫu năm kiểu chuyển động, với vùng cắt luôn nằm trong khung hình gốc.

Quy mô và độ đa dạng tiếp tục được mở rộng bằng cách kết hợp vật thể tổng hợp với nhiều cấu hình máy quay. Mặt nạ được tạo bằng cách đặt điểm gợi ý thủ công trên khung hình chính, lan truyền kết quả phân đoạn bằng Segment Anything 2 (SAM2), làm sạch và tinh chỉnh kết quả, rồi tạo các bộ ba tiền cảnh, hậu cảnh và mặt nạ đã kiểm chứng để huấn luyện.

Tập dữ liệu cuối cùng gồm 145 giờ video thực và tổng hợp trong 60.000 cặp video, bao phủ 366 lớp vật thể ở 443 cảnh.

Mạng EffectErase tiếp nhận tư liệu qua bộ tự mã hóa biến phân (VAE^†), còn Wan2.1 đảm nhiệm khử nhiễu trong biểu diễn tiềm ẩn. Trên nền tảng này, EffectErase bổ sung ba thành phần: học chung xóa và chèn, huấn luyện hai nhiệm vụ trên cùng vùng; hướng dẫn vùng theo nhiệm vụ (TARG), kết hợp token vật thể và nhiệm vụ với cơ chế chú ý chéo để mô hình hóa liên kết không gian và thời gian giữa vật thể với tác động của nó, đồng thời cho phép chuyển đổi nhiệm vụ; và hàm mất mát nhất quán tác động, căn chỉnh vùng chịu tác động giữa nhiệm vụ xóa và chèn:

Sơ đồ khung xử lý EffectErase. Khi huấn luyện, các cặp video được mã hóa vào không gian tiềm ẩn chung, trộn với nhiễu rồi xử lý bằng transformer khuếch tán được dẫn hướng bởi chú ý chéo theo nhiệm vụ. Hàm mất mát nhất quán tác động căn chỉnh vùng xóa và chèn để hai nhiệm vụ tập trung vào cùng khu vực.

Quá trình xóa và chèn được huấn luyện cùng nhau trên một kiến trúc khuếch tán chung, giúp mô hình học chú ý đến cùng vùng chịu tác động và các dấu hiệu cấu trúc.

Video có vật thể, video chỉ có nền và mặt nạ trước hết được mã hóa vào không gian tiềm ẩn. Sau đó thêm nhiễu để huấn luyện khuếch tán; mô hình học khôi phục biểu diễn sạch dưới hướng dẫn riêng cho từng nhiệm vụ. Bộ thích ứng nhẹ kết hợp đặc trưng có nhiễu với điều kiện xóa hoặc chèn, cho phép hai nhiệm vụ chia sẻ tín hiệu giám sát nhưng vẫn được điều khiển riêng.

Hướng dẫn vùng theo nhiệm vụ tạo tín hiệu riêng bằng cách kết hợp token ngôn ngữ với đặc trưng hình ảnh của vật thể tiền cảnh được trích xuất bằng CLIP. Token vật thể chung được thay bằng một biểu diễn nhúng rút ra từ nội dung ảnh thực tế. Biểu diễn kết hợp được đưa vào kiến trúc nền qua chú ý chéo, giúp mô hình theo dõi sự thay đổi của vật thể và tác động hình ảnh trong không gian, thời gian, đồng thời linh hoạt chuyển giữa xóa và chèn.

Hàm mất mát nhất quán tác động buộc xóa và chèn tập trung vào cùng vùng thay đổi, vì cả hai nhiệm vụ xử lý cùng vật thể và tác động hình ảnh. Bản đồ chú ý của mỗi nhánh được gộp thành bản đồ vùng mềm, rồi căn chỉnh với bản đồ sai khác tính từ video vật thể và nền, để tính đến cả thay đổi nhỏ như chiếu sáng và bóng đổ. Hàm mất mát bổ sung này giúp nhiệm vụ chèn dẫn hướng nhiệm vụ xóa và duy trì sự nhất quán giữa hai nhiệm vụ.

Dữ liệu và thử nghiệm

Nhóm so sánh phương pháp của mình với các phương pháp điền khuyết ảnh, điền khuyết video và xóa vật thể: OmniPaint; ObjectClear; VACE; DiffuEraser; ProPainter; ROSE; và MiniMax-Remover.

Wan2.1 được tinh chỉnh bằng LoRA^†† với tập VOR ở độ phân giải 832×480 pixel. Nhóm lấy mẫu ngẫu nhiên các đoạn gồm 81 khung hình liên tiếp ( giới hạn thực tế của WAN, mà khi vượt qua thường xảy ra lỗi) để huấn luyện. Quá trình kéo dài 129.000 vòng lặp với kích thước lô 8 trên tám GPU H100, mỗi GPU có 80 GB VRAM. Tốc độ học được đặt ở 1×10², còn hạng LoRA ở 256.

Tập tổng hợp ROSE-Benchmark là tập dữ liệu bên ngoài duy nhất được thử nghiệm. Hai tập còn lại là VOR-Eval, phần của tập dữ liệu VOR được tách ra để kiểm thử; và VOR-Wild, tập kiểm thử gồm 195 video thực thu thập từ internet, có vật thể chuyển động.

Các thước đo được dùng gồm: tỷ số tín hiệu cực đại trên nhiễu (PSNR); chỉ số tương đồng cấu trúc (SSIM); độ tương đồng cảm nhận được học của các mảnh ảnh (LPIPS); và khoảng cách video Fréchet (FVD). Nhóm cũng tiến hành nghiên cứu người dùng với 195 video tạo từ VOR-Wild, lấy trung bình đánh giá của 20 tình nguyện viên.

Ngoài ra, các tác giả xây dựng QScore, thước đo sử dụng mô hình đa phương thức Qwen-VL để đánh giá chất lượng video sau khi xóa vật thể theo các lỗi hình ảnh còn sót hoặc tác động lên môi trường chưa được loại bỏ, như bóng đổ và hiệu ứng chiếu sáng:

So sánh định lượng trên các bộ đánh giá ROSE và VOR. Kết quả tốt nhất được in đậm, kết quả đứng thứ hai được gạch chân.

Về kết quả này, các tác giả viết:

“Các phương pháp điền khuyết ảnh [hiện nay] xử lý từng khung hình bằng mô hình 2D không mô hình hóa thời gian, nên không duy trì được sự nhất quán theo thời gian của video.

Các [phương pháp] điền khuyết video gần đây không mô hình hóa rõ ràng tác động đi kèm vật thể, nên cho kết quả xóa thiếu tự nhiên. Các [phương pháp] xóa vật thể khỏi video hiện có thiếu mô hình hóa tương quan không gian và thời gian giữa vật thể với tác động của nó, nên thường tạo ra lỗi hình ảnh và dấu vết còn sót của vật thể đã xóa.

“Nhìn chung, EffectErase đạt kết quả hàng đầu trên mọi tập dữ liệu và thước đo đánh giá. Phương pháp đạt điểm tốt nhất theo thước đo chất lượng video FVD, cho thấy video được tạo có độ mượt và tính nhất quán theo thời gian vượt trội.

“Phương pháp của chúng tôi cũng đạt QScore và điểm đánh giá người dùng cao nhất, tiếp tục cho thấy hiệu quả tạo ra kết quả xóa thuyết phục về mặt hình ảnh.”

Để đánh giá định tính, bài báo cung cấp ảnh kết quả tĩnh, được trình bày ngay dưới đây. Kết quả dạng video có trên trang dự án và trong video giới thiệu trên YouTube đi kèm:

So sánh định tính trên VOR-Eval cho các trường hợp che khuất, bóng đổ, chiếu sáng, phản chiếu và biến dạng. Phương pháp điền khuyết khó xóa tác động ngoài mặt nạ, còn mô hình xóa thường để lại lỗi hình ảnh nhìn thấy được. EffectErase xóa cả vật thể mục tiêu và tác động liên quan sạch hơn. Xem bài báo gốc để có độ phân giải cao hơn và trang dự án để xem ví dụ video.

Chúng tôi cũng giới thiệu các ví dụ đa dạng liên quan trên trang dự án, có bản xem trước bên dưới, cùng video YouTube chính thức nhúng ở cuối bài:

Nhấp để phát. Ví dụ so sánh từ trang dự án EffectErase. Xem trang này để có độ phân giải cao hơn (với các lưu ý nêu trên) và thêm ví dụ.

Các tác giả nhận xét:

“Các [phương pháp] điền khuyết video thường tạo lỗi hình ảnh trong vùng mặt nạ và không xóa hết tác động do vật thể đã bị xóa gây ra. Các phương pháp xóa vật thể trước đây, như [ROSE] và [MinMax-Remover], xóa tốt vật thể mục tiêu nhưng vẫn khó xử lý tác động đi kèm, nhất là trong cảnh che khuất, bóng đổ, chiếu sáng, phản chiếu và biến dạng.

“Ngược lại, EffectErase xóa hiệu quả cả vật thể mục tiêu lẫn tác động liên quan, tạo kết quả sạch, nhất quán và chất lượng cao.”

Cuối cùng, nhóm nghiên cứu nhận xét rằng phương pháp cũng có thể được điều chỉnh cho nhiệm vụ chèn thay vì xóa mà không cần huấn luyện thêm:

Kết quả chèn vật thể vào video. EffectErase chèn vật thể nhưng vẫn giữ nội dung nền, đồng thời tạo tác động do vật thể gây ra, như bóng đổ và phản chiếu, một cách nhất quán giữa các khung hình.

Có thể xem ví dụ kết quả video của nhiệm vụ chèn trong video YouTube được liên kết đến thời điểm cụ thể. Video này cũng được nhúng ở cuối bài nhưng không chỉ định thời điểm bắt đầu.

Kết luận

Nhìn vào các dự án tương tự trong tài liệu nghiên cứu, nhiều bên vẫn hy vọng mô hình VFX đa dụng cuối cùng có thể tích hợp chức năng này vào một mô hình chung dạng “hộp công cụ” cho nhiều hiệu ứng, thay vì chỉ một nhiệm vụ cụ thể.

Tuy nhiên, xét theo ý rằng sự đa năng có thể làm giảm mức độ chuyên sâu, có cơ sở để cho rằng hệ thống chuyên dụng như EffectErase sẽ tiếp tục giữ lợi thế trước các phương pháp tổng quát hơn. Điều cần lưu ý là khoảng cách cuối cùng có thể thu hẹp đến mức phần chênh lệch không còn xứng đáng với công sức bổ sung để huấn luyện mô hình riêng.

* Trước lo ngại ngày càng tăng về nguồn gốc tư liệu và quyền sở hữu trí tuệ, người ta có thể mong mọi nguồn như vậy đều được dẫn. Nhưng nếu tài liệu công khai của công trình mới có nêu nguồn mô hình 3D, tôi đã không tìm thấy tài liệu tham chiếu đó.

^† Tài liệu được dẫn có vẻ là bài giải thích tổng quát từ năm 2013, không nêu rõ VAE cụ thể được dùng.

^†† Mô tả này được lấy từ bài báo và không rõ về mặt ngữ nghĩa, vì tinh chỉnh và LoRA là hai quy trình khác nhau với yêu cầu rất khác nhau.

Xuất bản lần đầu vào thứ Bảy, ngày 21 tháng 3 năm 2026