Góc nhìn Anderson
Xóa Đối Tượng Từ Video Hiệu Quả Hơn Với Học Máy
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Nghiên cứu mới từ Trung Quốc báo cáo kết quả tốt nhất – cũng như cải thiện đáng kể về hiệu quả – cho một hệ thống inpainting video mới có thể khéo léo loại bỏ các đối tượng khỏi cảnh quay.
Dây an toàn của một chiếc tàu lượn được sơn bằng quy trình mới. Xem video nguồn để có độ phân giải tốt hơn và nhiều ví dụ hơn. Nguồn: https://www.youtube.com/watch?v=N–qC3T2wc4
Kỹ thuật này, được gọi là Khung End-to-End cho Flow-Guided video Inpainting (E2FGVI), cũng có khả năng loại bỏ các watermark và nhiều loại che khuất khác khỏi nội dung video.
E2FGVI tính toán dự đoán cho nội dung nằm sau các che khuất, cho phép loại bỏ thậm chí các watermark đáng chú ý và khó khăn. Nguồn: https://github.com/MCG-NKU/E2FGVI
(Để xem thêm ví dụ với độ phân giải tốt hơn, hãy kiểm tra video)
Mặc dù mô hình được giới thiệu trong bài báo đã được đào tạo trên các video 432px x 240px (kích thước đầu vào thấp, bị giới hạn bởi không gian GPU so với kích thước batch tối ưu và các yếu tố khác), các tác giả đã phát hành E2FGVI-HQ, có thể xử lý video ở độ phân giải tùy ý.
Mã nguồn cho phiên bản hiện tại có sẵn tại GitHub, trong khi phiên bản HQ, được phát hành vào Chủ nhật vừa qua, có thể được tải xuống từ Google Drive và Baidu Disk.
Cậu bé vẫn còn trong bức tranh.
E2FGVI có thể xử lý video 432×240 tại 0,12 giây mỗi khung hình trên GPU Titan XP (12GB VRAM), và các tác giả báo cáo rằng hệ thống hoạt động nhanh hơn 15 lần so với các phương pháp trước đây dựa trên optical flow.
Một cầu thủ bóng đá làm một cuộc xuất cảnh bất ngờ.
Được thử nghiệm trên các tập dữ liệu tiêu chuẩn cho phân khúc nghiên cứu tổng hợp hình ảnh này, phương pháp mới đã có thể vượt qua các đối thủ trong cả vòng đánh giá định lượng và định tính.
Thử nghiệm so với các phương pháp trước đây. Nguồn: https://arxiv.org/pdf/2204.02663.pdf
Bài báo này có tiêu đề Towards An End-to-End Framework for Flow-Guided Video Inpainting, và là một sự hợp tác giữa bốn nhà nghiên cứu từ Đại học Nankai, cùng với một nhà nghiên cứu từ Hisilicon Technologies.
Điều Gì Thiếu Trong Hình Ảnh Này
Ngoài các ứng dụng rõ ràng cho hiệu ứng hình ảnh, việc inpainting video chất lượng cao sẽ trở thành một tính năng quan trọng của các công nghệ tổng hợp hình ảnh và chỉnh sửa hình ảnh dựa trên AI mới.
Điều này đặc biệt đúng với các ứng dụng thời trang thay đổi cơ thể, và các khuôn khổ khác nhằm làm cho hoặc thay đổi các cảnh trong hình ảnh và video. Trong những trường hợp như vậy, cần phải ‘lấp đầy’ nền tảng bổ sung được lộ ra bởi quá trình tổng hợp.
Từ một bài báo gần đây, một thuật toán ‘tái tạo’ cơ thể được giao nhiệm vụ inpainting nền tảng mới được tiết lộ khi một đối tượng được thay đổi kích thước. Ở đây, sự thiếu hụt đó được đại diện bởi đường viền đỏ mà người có kích thước đầy đủ (thực tế, xem hình ảnh bên trái) trước đây đã chiếm đóng. Dựa trên tài liệu nguồn từ https://arxiv.org/pdf/2203.10496.pdf
Luồng Quang Học Tương Thích
Luồng quang học (OF) đã trở thành một công nghệ cốt lõi trong việc phát triển loại bỏ đối tượng video. Giống như một atlas, OF cung cấp một bản đồ một lần của một chuỗi thời gian. Thường được sử dụng để đo tốc độ trong các dự án tầm nhìn máy tính, OF cũng có thể cho phép inpainting nhất quán theo thời gian, nơi tổng hợp của nhiệm vụ có thể được xem xét trong một lần, thay vì ‘kiểm soát từng khung hình’ theo phong cách Disney, điều này sẽ dẫn đến sự không nhất quán về thời gian.
Các phương pháp inpainting video đến nay đã tập trung vào một quá trình ba giai đoạn: hoàn thành luồng, nơi video được ánh xạ thành một thực thể rời rạc và có thể khám phá; truyền pixel, nơi các lỗ hổng trong video ‘bị hỏng’ được lấp đầy bằng cách truyền pixel hai chiều; và ảo giác nội dung (sáng tạo pixel ‘phát minh’ mà hầu hết chúng ta đều quen thuộc với deepfakes và các khuôn khổ văn bản-sang-hình ảnh như loạt DALL-E) nơi nội dung ‘thiếu’ được ước tính và chèn vào cảnh quay.
Đầu tư trung tâm của E2FGVI là kết hợp ba giai đoạn này thành một hệ thống từ đầu đến cuối, loại bỏ nhu cầu thực hiện các hoạt động thủ công trên nội dung hoặc quy trình.
Bài báo lưu ý rằng nhu cầu can thiệp thủ công đòi hỏi các quy trình cũ không tận dụng được GPU, khiến chúng khá tốn thời gian. Từ bài báo*:
‘Lấy DFVI làm ví dụ, hoàn thành một video với kích thước 432 × 240 từ DAVIS, chứa khoảng 70 khung hình, cần khoảng 4 phút, điều này không thể chấp nhận được trong hầu hết các ứng dụng thực tế. Ngoài ra, ngoài những hạn chế trên, chỉ sử dụng mạng inpainting hình ảnh được đào tạo trước ở giai đoạn ảo giác nội dung bỏ qua mối quan hệ nội dung giữa các láng giềng thời gian, dẫn đến nội dung được tạo ra không nhất quán trong video.’
Bằng cách hợp nhất ba giai đoạn của inpainting video, E2FGVI có thể thay thế giai đoạn thứ hai, truyền pixel, bằng truyền tính năng. Trong các quy trình phân đoạn trước, các tính năng không có sẵn rộng rãi, vì mỗi giai đoạn tương đối kín, và quy trình chỉ nửa tự động.
Thêm vào đó, các nhà nghiên cứu đã tạo ra một biến pressure transformer thời gian cho giai đoạn ảo giác nội dung, xem xét không chỉ các láng giềng trực tiếp của pixel trong khung hình hiện tại (tức là những gì đang xảy ra trong phần đó của khung hình trong hình ảnh trước hoặc sau), mà còn các láng giềng xa, nhiều khung hình cách xa, và sẽ ảnh hưởng đến hiệu ứng gắn kết của bất kỳ hoạt động nào được thực hiện trên video như một toàn thể.
Kiến trúc của E2FGVI.
Phần trung tâm dựa trên tính năng mới của quy trình có thể tận dụng các quy trình cấp tính năng và các khoảng cách lấy mẫu có thể học được, trong khi bộ chuyển đổi focal mới của dự án, theo các tác giả, mở rộng kích thước của các cửa sổ focal ‘từ 2D đến 3D’.
Thử Nghiệm và Dữ Liệu
Để thử nghiệm E2FGVI, các nhà nghiên cứu đã đánh giá hệ thống chống lại hai tập dữ liệu phân đoạn đối tượng video phổ biến: YouTube-VOS, và DAVIS. YouTube-VOS có 3741 đoạn video đào tạo, 474 đoạn xác thực, và 508 đoạn kiểm tra, trong khi DAVIS có 60 đoạn video đào tạo, và 90 đoạn kiểm tra.
E2FGVI được đào tạo trên YouTube-VOS và đánh giá trên cả hai tập dữ liệu. Trong quá trình đào tạo, các mặt nạ đối tượng (các khu vực màu xanh lá cây trong hình ảnh trên, và video YouTube đi kèm) được tạo ra để mô phỏng việc hoàn thành video.
Về các chỉ số, các nhà nghiên cứu đã áp dụng Tỷ lệ tín hiệu trên tiếng ồn đỉnh (PSNR), Tương đồng cấu trúc (SSIM), Khoảng cách Inception Fréchet dựa trên video (VFID), và Lỗi Warping Flow – cái sau để đo độ ổn định thời gian trong video bị ảnh hưởng.
Các kiến trúc trước đó mà hệ thống được thử nghiệm là VINet, DFVI, LGTSM, CAP, FGVC, STTN, và FuseFormer.
Từ phần kết quả định lượng của bài báo. Mũi tên lên và xuống chỉ ra rằng các số cao hơn hoặc thấp hơn là tốt hơn, tương ứng. E2FGVI đạt được điểm số tốt nhất trên toàn bảng. Các phương pháp được đánh giá theo FuseFormer, mặc dù DFVI, VINet và FGVC không phải là hệ thống từ đầu đến cuối, khiến không thể ước tính FLOPs của chúng.
Bên cạnh việc đạt được điểm số tốt nhất so với tất cả các hệ thống cạnh tranh, các nhà nghiên cứu đã thực hiện một nghiên cứu người dùng định tính, trong đó các video được biến đổi bằng năm phương pháp đại diện được hiển thị riêng cho二十 tình nguyện viên, những người được yêu cầu đánh giá chúng về chất lượng hình ảnh.
Trục dọc đại diện cho tỷ lệ phần trăm của những người tham gia đã ưu tiên đầu ra E2FGVI về chất lượng hình ảnh.
Các tác giả lưu ý rằng mặc dù có sự ưu tiên nhất quán cho phương pháp của họ, một trong những kết quả, FGVC, không phản ánh kết quả định lượng, và họ đề xuất rằng điều này cho thấy E2FGVI có thể, một cách giả tạo, tạo ra ‘kết quả trực quan dễ chịu hơn’.
Về hiệu quả, các tác giả lưu ý rằng hệ thống của họ giảm đáng kể các phép toán dấu phẩy động mỗi giây (FLOPs) và thời gian suy luận trên một GPU Titan đơn trên tập dữ liệu DAVIS, và quan sát rằng kết quả cho thấy E2FGVI chạy nhanh hơn 15 lần so với các phương pháp dựa trên luồng.
Họ bình luận:
‘[E2FGVI] nắm giữ FLOPs thấp nhất so với tất cả các phương pháp khác. Điều này cho thấy phương pháp được đề xuất rất hiệu quả cho việc inpainting video.’
* Tôi đã chuyển đổi các trích dẫn nội tuyến của tác giả thành liên kết.
Được xuất bản lần đầu vào ngày 19 tháng 5 năm 2022.
Đã sửa đổi vào Thứ Ba, ngày 28 tháng 10 năm 2025, để loại bỏ video nhúng bị lỗi và sửa đổi các tham chiếu đến video nhúng trong nội dung của bài viết.
