Cải thiện Loại bỏ Nền AI mà Không Cần Nhãn Dữ Liệu Tốn Kém của Con Người

Nghiên cứu mới cho thấy AI có thể loại bỏ người khỏi video mà không cần nhãn dữ liệu tốn kém của con người, cải thiện chất lượng và độ ổn định

Hầu hết chúng ta đều đã trải qua việc bị “rơi ra” khỏi nền thông qua các bộ lọc thay đổi nền đơn giản trên các nền tảng trò chuyện video – và chúng ta có thể đã nhận thấy những hạn chế của các hệ thống như vậy, được đào tạo trên các loại trường hợp phổ biến nhất có thể được tìm thấy trong một cuộc họp video và không thường mạnh đối với bất cứ điều gì “bất ngờ” – hoặc thậm chí đối với các đối tượng định trước như ngón tay:

Một ví dụ điển hình về hệ thống trích xuất tiền cảnh được đào tạo bằng AI cắt bỏ quá nhiều phần của đối tượng nguồn. Nguồn

Giải pháp dễ nhất, và một giải pháp đang trở nên phổ biến hơn trong bối cảnh các mô hình ngôn ngữ hình ảnh (VLMs) không được đào tạo cụ thể cho các nhiệm vụ như vậy, là tinh chỉnh một mô hình hiện có trên dữ liệu có khả năng được hệ thống遇 phải:

Hai tập dữ liệu được chú thích chi tiết, lớn hỗ trợ các giải pháp được đề xuất trong bài báo năm 2020 ‘Real-Time High-Resolution Background Matting’. Nguồn

Tuy nhiên, dữ liệu như vậy phải được chú thích, tại một chi phí nhất định và tại một chi phí thời gian, bởi con người; và trong mọi trường hợp, điều này dẫn đến một công cụ rất cụ thể và không được khái quát hóa, có chi phí cao và thường không thể được sử dụng cho nhiều loại nhiệm vụ khác nhau.

Mặc dù vậy, việc phát triển các mô hình ‘được nhắm mục tiêu’ như vậy hiện là con đường ngắn nhất để đạt được suy luận hiệu quả trong nhiều lĩnh vực, không chỉ là ghép nền video và hình ảnh (tức là loại bỏ nền / mặt nạ tiền cảnh). Cho đến nay, nhiều giải pháp không được giám sát đã được đề xuất đã hơn hoặc ít hơn chỉ đẩy vấn đề xung quanh trên đĩa.

Even now, despite the proliferation of AI-augmented filters in platforms such as Zoom, the latter continues to recommend a green screen as the optimal solution for background removal – a burdensome and somewhat ‘professional’ solution that would perhaps make most of us a little self-conscious.

Cắt Nó Ra!

Lately, sự quan tâm đã tăng lên trong việc sử dụng gia đình Segment Anything (SAM) để cung cấp trích xuất tự động và tinh chỉnh.

Click để phát, nếu cần. Một ví dụ về các biên giới thô được tạo bởi mô hình Segment Anything – lý tưởng cho chú thích, nhưng không đủ tốt cho VFX drop-out. Nguồn 

Một đề xuất gần đây từ Trung Quốc đã đề xuất một cách tinh vi hơn để sử dụng các mô hình SAM để đạt được các quá trình trích xuất vượt trội – bằng cách kết hợp một trình theo dõi cơ bản như SAM với một cầu nối đề xuất khu vực với các đầu mặt nạ chuyên dụng. Bằng cách này, hệ thống có thể tinh chỉnh chi tiết cạnh iteratively và giải quyết các cạnh thách thức, chẳng hạn như tóc trong chuyển động:

Click để phát, nếu cần. Từ trang web phụ hỗ trợ bài báo mới, một tập hợp các video phụ, chứng tỏ sự tinh vi của phương pháp trích xuất của các tác giả. Nguồn 

Quan trọng là, hệ thống hợp thành mới này chỉ được đào tạo trên hình ảnh, không trên video, và không yêu cầu chú thích bổ sung của con người – rào cản truyền thống đối với tiến bộ trong lĩnh vực này, cũng như nhiều lĩnh vực AI khác.

Các ví dụ về mặt nạ hình ảnh và video tinh chỉnh đạt được với phương pháp mới, với các trường hợp thách thức như tóc, độ trong suốt và chuyển động được hiển thị cùng với các chuỗi trong tự nhiên, nơi phương pháp tạo ra – theo các tác giả – các kết quả sạch hơn, ổn định hơn so với các phương pháp trước đó. Nguồn

Với ba mô hình thử nghiệm được tạo ra cho công việc, các tác giả tuyên bố đạt được hiệu suất mới nhất trong nhiệm vụ này, đồng thời giữ lại khả năng khái quát hóa cao hơn của mô hình cơ bản, có nghĩa là phương pháp tạo ra một mô hình đa năng với các khả năng bổ sung, chứ không phải một công cụ được cô lập nhắm vào một nhiệm vụ duy nhất.

Các tác giả tuyên bố:

‘Các thí nghiệm toàn diện cho thấy SAM2Matting đạt được hiệu suất mới nhất (SOTA) trên cả mặt nạ hình ảnh và video, với mặt nạ video được đánh giá theo cách zero-shot nghiêm ngặt.

‘Kết quả trong tự nhiên mở rộng hơn nữa chứng minh sự khái quát hóa mạnh mẽ của nó đối với các kịch bản thế giới mở với chuyển động nhanh, nền phức tạp và các vật thể đính kèm (ví dụ: người đàn ông cưỡi xe đạp).

‘Hơn nữa, các thành phần mặt nạ của chúng tôi rất nhẹ và hiệu quả, cho phép biến thể SAM2.1-Tiny chạy tại 40 FPS trên video 1080p 200 khung hình bằng ít hơn 5GB bộ nhớ GPU.’

Bài báo mới có tiêu đề SAM2Matting: Mặt nạ Hình ảnh và Video Khái quát hóa, và đến từ bốn tác giả trên Fudan University và Shanghai University of Finance and Economics. Công việc này có một kho GitHub, mà tại thời điểm viết, đã phát hành các điểm kiểm tra của các biến thể khác nhau, mã suy luận, và một bản demo tương tác, với mã đào tạo được hứa hẹn. Ngoài ra, có một trang web dự án.

Phương pháp

Phương pháp của các tác giả tách việc theo dõi khỏi việc trích xuất chi tiết tinh tế bằng cách sử dụng một trình theo dõi phân đoạn đối tượng video (VOS) để tạo ra một mặt nạ thô nhất quán theo thời gian cho từng khung hình, trong khi một đường ống mặt nạ chuyên dụng tinh chỉnh các biên giới:

Tổng quan về đường ống, nơi một lời nhắc linh hoạt và luồng video đầu vào cho trình theo dõi phân đoạn đối tượng video để tạo ra mặt nạ thô, được tinh chỉnh bởi một bộ phát hiện ROI và chuyển đổi thành một bản đồ ba vùng trước khi một bộ dự đoán alpha tiến bộ tạo ra mặt nạ chi tiết cuối cùng.

Một bộ phát hiện ROI sau đó xác định các khu vực có chi tiết tinh tế hoặc bán trong suốt, chuyển đổi những khu vực này thành một bản đồ ba vùng (một mặt nạ ba vùng chia foreground, background và các khu vực không chắc chắn) hướng dẫn việc tinh chỉnh, sau đó một bộ dự đoán alpha tiến bộ tạo ra mặt nạ cuối cùng thông qua một thác nước từ thô đến tinh tế trên nhiều quy mô

Các hệ thống mặt nạ truyền thống thường dẫn xuất các khu vực quan tâm bằng cách sử dụng các hoạt động hình thái học đơn giản, hoặc bằng cách tái sử dụng mặt nạ – các phương pháp có thể bỏ qua các chi tiết tinh tế, hoặc bao gồm các khu vực không cần tinh chỉnh:

So sánh xử lý dựa trên mặt nạ tiêu chuẩn với bản đồ ba vùng thực, cho thấy các hoạt động hình thái học đơn giản tạo ra các biên giới thô, đồng đều bỏ qua các cấu trúc tinh tế như tóc và độ trong suốt, dẫn đến mất chi tiết trong mặt nạ cuối cùng.

Lãi kép

Ngược lại, bộ phát hiện ROI được đề xuất thay thế bước này thành một nhiệm vụ phân loại pixel-wise (tức là, xử lý từng pixel riêng lẻ trong hình ảnh và gán cho nó một nhãn dựa trên việc nó có thuộc về một khu vực quan trọng đối với mặt nạ hay không) tích hợp mặt nạ VOS, khung hình hiện tại và các tính năng hình ảnh đa quy mô, để cô lập các khu vực quan trọng đối với mặt nạ một cách chính xác hơn.

Trong phương pháp mới, ROI dự đoán đầu tiên được chuyển đổi thành một giả bản đồ ba vùng tách foreground chắc chắn và background từ các khu vực không chắc chắn, sử dụng mặt nạ trình theo dõi để gán các khu vực đã biết trong khi đánh dấu ROI là mơ hồ, để các bước xử lý tiếp theo có thể tập trung cụ thể vào các biên giới nơi chi tiết cần được giải quyết.

Sau đó, việc tinh chỉnh được xử lý bởi một bộ dự đoán alpha tiến bộ coi mặt nạ là một quá trình từng bước, truyền kết quả trung gian từ thô đến tinh tế, với mỗi giai đoạn sử dụng hình ảnh, bản đồ ba vùng và ước tính trước đó để dần dần làm sắc nét cấu trúc và phục hồi chi tiết tinh tế.

Ở giai đoạn cuối, đầu ra có độ phân giải cao nhất được nội suy để tạo ra mặt nạ hoàn chỉnh, cho phép các hình dạng rộng được thiết lập sớm trong khi các yếu tố tinh tế hơn như tóc và độ trong suốt được giải quyết trong các lượt sau.

Trong quá trình đào tạo, các tác giả đã đóng băng trình theo dõi VOS, trong khi chỉ đào tạo các thành phần mặt nạ trên dữ liệu hình ảnh chất lượng cao – cho phép tinh chỉnh chi tiết tinh tế mà không làm suy giảm sự nhất quán của trình theo dõi. Sự giám sát sau đó được áp dụng cho từng khung hình, với các khu vực quan tâm được dẫn xuất từ mặt nạ alpha thực và được sử dụng để hướng dẫn việc học, trong khi bộ phát hiện ROI được đào tạo với các tổn thất được thiết kế để khuyến khích phân loại biên giới chính xác và giảm các hiện tượng răng cưa.

Đối với dự đoán alpha, các tổn thất được áp dụng trên nhiều quy mô để cải thiện dần chi tiết, cùng với một ràng buộc bổ sung nhằm giữ cho mặt nạ dự đoán được căn chỉnh với mặt nạ ban đầu – giúp bảo tồn cấu trúc và ngăn chặn các vùng rỗng hoặc bị hỏng trong đầu ra cuối cùng.

Dữ liệu và Kiểm tra

Tám tập dữ liệu mặt nạ hình ảnh đã được sử dụng ban đầu cho các thử nghiệm: I-HIM50K; P3M-10k; CelebAHairMask-HQ; AIM-500; Distinctions-646; AM-2K; UHRIM; và RefMatte; và ba biến thể của phương pháp ‘Sam2Matting’ đã được phát triển dưới dạng trình theo dõi VOS, lần lượt sử dụng SAM2.1-Tiny; SAM2.1-Base+; và SAM3.

Thành phần trình theo dõi đã được đóng băng, với chỉ các thành phần mặt nạ được tối ưu hóa. Tất cả các phiên bản đều được đào tạo trong năm kỳ trên bốn GPU NVIDIA A6000, mỗi GPU có 48GB VRAM. Kích thước batch là 32, dưới bộ tối ưu hóa AdamW. Các chỉ số được sử dụng là Sự khác biệt tuyệt đối trung bình (MAD); Sự sai khác bình phương trung bình (MSE); Gradient (Grad); Kết nối (Conn); và dtSSD (chỉ cho mặt nạ video).

Kiểm tra Định lượng

Các tác giả bắt đầu bằng kiểm tra định lượng các hệ thống mới trên mặt nạ hình ảnh, sử dụng các điểm chuẩn P3M-500-NP; AM-2K (‘GFM’ trong kết quả); MAM (‘Matte Anything’, trong kết quả); E2E-HIM; Lightweight; và PPM-100 (‘MODNet’, trong kết quả):

Kết quả định lượng trên các điểm chuẩn mặt nạ hình ảnh trên P3M-500-NP, AM-2K test, và PPM-100, với các giá trị thấp hơn cho thấy hiệu suất tốt hơn trên tất cả các chỉ số, và kết quả tốt nhất, tốt thứ hai và tốt thứ ba được đánh dấu bằng màu đỏ, cam và vàng tương ứng. Vui lòng tham khảo bài báo nguồn để có độ phân giải tốt hơn.

Trong số những kết quả này, bài báo cho biết:

‘Như đã chỉ ra [trên], cả ba biến thể của SAM2Matting đều nhất quán vượt qua các baseline trước đó trên các chỉ số khác nhau. Ví dụ, biến thể SAM2.1-Tiny đạt được sự khác biệt tuyệt đối trung bình thấp hơn 11,48 so với MAM trên P3M-500-NP.’

Các tác giả duy trì rằng kết quả trên toàn bảng cho thấy rằng phương pháp của họ đạt được kết quả vượt trội thông qua thiết kế khái niệm cốt lõi, và không phải vì mức độ dữ liệu được chăm chút.

Đối với mặt nạ video, SAM2Matting đã được đánh giá trên V-HIM60 và VideoMatte trong một cài đặt zero-shot, chống lại các hệ thống được đào tạo trên video MatAnyone2, MatAnyone, MaGGIe, FTP-VM, và RVM, với các lợi ích nhất quán được báo cáo trên cả phân chia trung bình và khó.

Trên tất cả các điểm chuẩn, ba biến thể ghi lại các lỗi thấp hơn trên MAD, MSE, Grad, Conn, và dtSSD, với SAM3 đạt được kết quả tổng thể mạnh nhất, trong khi các giá trị dtSSD thấp nhất rõ ràng cho thấy sự nhất quán khung hình đến khung hình ổn định hơn:

Kết quả định lượng trên các điểm chuẩn mặt nạ video trên V-HIM60 và VideoMatte, được đánh giá trong một cài đặt zero-shot, cho thấy các lỗi thấp hơn trên tất cả các chỉ số, và kết quả tốt nhất, tốt thứ hai và tốt thứ ba được đánh dấu bằng màu đỏ, cam và vàng tương ứng.

Các tác giả cho rằng những kết quả này phản ánh thiết kế tách rời, nơi trình theo dõi VOS bảo tồn cấu trúc thời gian và các mô块 mặt nạ tập trung vào chi tiết biên giới, cho phép các mô hình được đào tạo trên hình ảnh vượt qua các phương pháp video được giám sát đầy đủ.

Kiểm tra Định tính

Đối với mặt nạ con người trong các kiểm tra định tính, các tác giả đã tìm thấy rằng Sam2Matting vượt qua các baseline cạnh tranh:

So sánh định tính trên mặt nạ video con người và trong tự nhiên, nơi SAM2Matting bảo tồn các sợi tóc mỏng và các khu vực bán trong suốt một cách chính xác hơn so với RVM và MatAnyone, tạo ra các biên giới sạch hơn và ít cấu trúc bị thiếu trong các khu vực thách thức.

Como được hiển thị dưới đây, các hệ thống mặt nạ video hiện có như MatAnyone2 và MaGGIe, được đào tạo trên các tập dữ liệu cụ thể của lĩnh vực và thường tập trung vào con người, đã gặp khó khăn trong việc khái quát hóa sang các chuỗi trong tự nhiên, đặc biệt là khi xử lý các chủ thể di chuyển nhanh như rễ cây đang phát triển, bướm bán trong suốt và nước nhỏ giọt nhanh:

So sánh định tính trên các chuỗi trong tự nhiên, nơi SAM2Matting bảo tồn các cấu trúc tinh tế và tính nhất quán thời gian một cách hiệu quả hơn so với MatAnyone2 và MaGGIe, đặc biệt là đối với các chủ thể không phải là con người, chuyển động nhanh và các yếu tố bán trong suốt như nước, thủy tinh và cánh bướm. Vui lòng tham khảo bài báo nguồn để có độ phân giải tốt hơn.

Ngược lại, SAM2Matting đã chứng minh khả năng duy trì theo dõi ổn định và trích xuất các chi tiết tinh tế một cách đáng tin cậy hơn trong các kịch bản thách thức này.

Cuối cùng, như được hiển thị trong hình dưới đây, SAM2Matting đã xử lý hiệu quả các mục tiêu có các vật thể đính kèm, chẳng hạn như người đi xe đạp hoặc cầm gậy trượt tuyết, trong khi loại bỏ các phân tâm nền gần đó, nhờ vào ràng buộc nhất quán mặt nạ được mô tả trước đó.

So sánh định tính trên các chuỗi có các vật thể đính kèm và phân tâm nền, nơi SAM2Matting bảo tồn các cấu trúc như xe đạp và gậy trượt tuyết một cách chính xác hơn so với MatAnyone2 trong khi loại bỏ các phân tâm gần đó và duy trì các hình dạng sạch hơn trên các khung hình.

Kết luận

Những thành tựu được trình bày trong bài báo mới cho thấy mức độ mà việc trích xuất, một trong những nhiệm vụ lâu đời nhất trong thị giác máy tính, vẫn chưa được giải quyết và vẫn kháng lại các phương pháp khái quát hóa. Giống như nhiều mô hình dựa trên thị giác khác, vấn đề vẫn là các thuật toán trích xuất gắn bó với kiến thức lĩnh vực thay vì thích nghi dễ dàng với các đối tượng chưa biết và không nhìn thấy; nhiệm vụ này căng thẳng đến giới hạn của khả năng khái quát hóa của mô hình.

Mặc dù công việc mới là một bước tiến từ sự phụ thuộc này, vẫn còn một chặng đường dài để đi, xem xét mức độ mà nhiệm vụ này được nhúng vào cuộc sống hàng ngày của chúng ta, thông qua các cổng trò chuyện video.

Được xuất bản lần đầu vào thứ Hai, ngày 13 tháng 7 năm 2026