Góc nhìn Anderson
Con đường dẫn đến chỉnh sửa video dựa trên AI tốt hơn
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Nghiên cứu về tổng hợp video/hình ảnh thường xuyên đưa ra các kiến trúc chỉnh sửa video, và trong chín tháng qua, những lần xuất hiện như vậy đã trở nên thường xuyên hơn. Tuy nhiên, hầu hết chúng chỉ đại diện cho những tiến bộ nhỏ trên trạng thái hiện tại của công nghệ, vì những thách thức cốt lõi là đáng kể.
Tuy nhiên, một sự hợp tác mới giữa Trung Quốc và Nhật Bản trong tuần này đã tạo ra một số ví dụ đáng được xem xét kỹ lưỡng về cách tiếp cận, ngay cả khi nó không nhất thiết phải là một công trình đột phá.
Trong đoạn video dưới đây (từ trang web dự án liên quan đến bài báo – lưu ý rằng nó có thể làm chậm trình duyệt của bạn) chúng ta thấy rằng mặc dù khả năng tạo video giả của hệ thống không tồn tại trong cấu hình hiện tại, nhưng nó làm rất tốt việc thay đổi đáng kể và hợp lý danh tính của người phụ nữ trẻ trong hình ảnh, dựa trên mặt nạ video (phía dưới bên trái):
Nhấn để phát.Dựa trên mặt nạ phân đoạn ngữ nghĩa được trực quan hóa ở góc dưới bên trái, người phụ nữ ban đầu (phía trên bên trái) được biến thành một danh tính khác biệt đáng kể, mặc dù quá trình này không đạt được việc hoán đổi danh tính như được chỉ định trong lời nhắc. Source: https://yxbian23.github.io/project/video-painter/ (Lưu ý rằng tại thời điểm viết, trang web này có xu hướng làm trình duyệt của tôi bị treo). Vui lòng tham khảo các video nguồn, nếu bạn có thể truy cập chúng, để có độ phân giải và chi tiết tốt hơn, hoặc kiểm tra các ví dụ tại video tổng quan của dự án tại https://www.youtube.com/watch?v=HYzNfsD3A0s
Chỉnh sửa dựa trên mặt nạ như vậy đã được thiết lập trong các mô hình khuếch tán tĩnh, sử dụng các công cụ như ControlNet. Tuy nhiên, việc duy trì sự nhất quán của nền trong video là một thách thức lớn hơn nhiều, ngay cả khi các khu vực được mặt nạ cung cấp sự linh hoạt sáng tạo cho mô hình, như được hiển thị dưới đây:
Nhấn để phát.Thay đổi loài, với phương pháp VideoPainter mới. Vui lòng tham khảo các video nguồn, nếu bạn có thể truy cập chúng, để có độ phân giải và chi tiết tốt hơn, hoặc kiểm tra các ví dụ tại video tổng quan của dự án tại https://github.com/lllyasviel/ControlNet
Các tác giả của công trình mới xem xét phương pháp của họ liên quan đến kiến trúc BrushNet của Tencent và ControlNet, cả hai đều xử lý kiến trúc hai nhánh có khả năng phân lập việc tạo nền và tiền cảnh.
Tuy nhiên, việc áp dụng phương pháp này trực tiếp cho phương pháp Diffusion Transformers (DiT) do OpenAI đề xuất mang lại những thách thức cụ thể, như các tác giả lưu ý:
‘[Trực tiếp] áp dụng [kiến trúc của BrushNet và ControlNet] cho video DiTs mang lại một số thách thức: [Thứ nhất, xét] đến nền tảng tạo mạnh mẽ của Video DiT và kích thước mô hình lớn, việc sao chép toàn bộ hoặc một nửa lưng Video DiT làm bộ mã hóa ngữ cảnh sẽ không cần thiết và tính toán cấm.
‘[Thứ hai, không giống] như nhánh kiểm soát thuần túy của BrushNet, các token trong các khu vực được mặt nạ của DiT vốn chứa thông tin nền do sự chú ý toàn cầu, làm phức tạp sự phân biệt giữa các khu vực được mặt nạ và không được mặt nạ trong lưng DiT.
‘[Cuối cùng,] ControlNet thiếu tiêm tính năng trên tất cả các lớp, cản trở việc kiểm soát nền dày đặc cho các nhiệm vụ tạo ảnh.’
Do đó, các nhà nghiên cứu đã phát triển một phương pháp plug-and-play dưới dạng một khung hai nhánh có tên là VideoPainter.
VideoPainter cung cấp một khung chỉnh sửa video hai nhánh nâng cao các DiT đã được đào tạo trước bằng một bộ mã hóa ngữ cảnh nhẹ. Bộ mã hóa này chỉ chiếm 6% số tham số của lưng, mà các tác giả cho là làm cho phương pháp này hiệu quả hơn so với các phương pháp thông thường.
Mô hình này đề xuất ba đổi mới chính: một bộ mã hóa ngữ cảnh hai lớp được tối ưu hóa cho hướng dẫn nền hiệu quả; một hệ thống tích hợp tính năng chọn mặt nạ phân tách các token được mặt nạ và không được mặt nạ; và một kỹ thuật lấy mẫu lại ID vùng tạo ảnh giúp duy trì sự nhất quán về danh tính trên các chuỗi video dài.
Bằng cách đông lạnh cả DiT đã được đào tạo trước và bộ mã hóa ngữ cảnh trong khi giới thiệu một ID-Adapter, VideoPainter đảm bảo rằng các token vùng tạo ảnh từ các đoạn trước sẽ tồn tại trong toàn bộ video, giảm hiện tượng nhấp nháy và không nhất quán.
Khung này cũng được thiết kế cho khả năng tương thích plug-and-play, cho phép người dùng tích hợp nó một cách liền mạch vào các công việc tạo và chỉnh sửa video hiện có.
Để hỗ trợ công việc này, sử dụng CogVideo-5B-I2V làm động cơ tạo, các tác giả đã biên soạn những gì họ tuyên bố là bộ dữ liệu tạo ảnh video lớn nhất cho đến nay. Được đặt tên là VPData, bộ sưu tập này bao gồm hơn 390.000 đoạn, với tổng thời lượng video hơn 886 giờ. Họ cũng đã phát triển một khuôn khổ chuẩn bị liên quan có tên là VPBench.
Nhấn để phát.Từ các ví dụ trên trang web dự án, chúng ta thấy khả năng phân đoạn được cung cấp bởi bộ sưu tập VPData và bộ thử nghiệm VPBench. Vui lòng tham khảo các video nguồn, nếu bạn có thể truy cập chúng, để có độ phân giải và chi tiết tốt hơn, hoặc kiểm tra các ví dụ tại video tổng quan của dự án tại https://github.com/TencentARC/BrushNet
Công việc mới này có tiêu đề VideoPainter: Chỉnh sửa và tạo ảnh video bất kỳ độ dài với kiểm soát ngữ cảnh plug-and-play, và đến từ bảy tác giả tại Tencent ARC Lab, Đại học Trung Quốc Hồng Kông, Đại học Tokyo và Đại học Macau.
Ngoài trang web dự án, các tác giả cũng đã phát hành một video tổng quan trên YouTube cũng như một trang Hugging Face.
Phương pháp
Quy trình thu thập dữ liệu cho VPData bao gồm thu thập, chú thích, chia tách, chọn lọc và chú thích:
Sơ đồ cho quy trình xây dựng bộ dữ liệu. Nguồn: https://www.unite.ai/wp-content/uploads/2025/03/vpdata-vpbench.mp4
Các bộ sưu tập nguồn được sử dụng cho việc biên soạn này đến từ Videvo và Pexels, với một lượng ban đầu khoảng 450.000 video.
Đa số các thư viện và phương pháp góp phần vào giai đoạn tiền xử lý: khuôn khổ Recognize Anything được sử dụng để cung cấp thẻ video mở, được giao nhiệm vụ xác định các đối tượng chính; Grounding Dino được sử dụng để phát hiện các hộp giới hạn xung quanh các đối tượng được xác định; và khuôn khổ Segment Anything Model 2 (SAM 2) được sử dụng để tinh chỉnh các lựa chọn thô này thành phân đoạn mặt nạ chất lượng cao.
Để quản lý các chuyển tiếp cảnh và đảm bảo sự nhất quán trong việc tạo ảnh video, VideoPainter sử dụng PySceneDetect để xác định và phân đoạn các đoạn tại các điểm ngắt tự nhiên, tránh các chuyển đổi giật cục thường gây ra bởi việc theo dõi cùng một đối tượng từ nhiều góc độ. Các đoạn được chia thành khoảng thời gian 10 giây, với bất kỳ đoạn nào ngắn hơn 6 giây đều bị loại bỏ.
Đối với việc chọn lọc dữ liệu, ba tiêu chí lọc được áp dụng: chất lượng thẩm mỹ, được đánh giá bằng Laion-Aesthetic Score Predictor; độ mạnh của chuyển động, được đo bằng lưu lượng quang sử dụng RAFT; và an toàn nội dung, được xác minh thông qua Trình kiểm tra an toàn của Stable Diffusion.
Một hạn chế lớn trong các bộ dữ liệu phân đoạn video hiện có là thiếu chú thích văn bản chi tiết, điều này rất quan trọng để hướng dẫn các mô hình tạo.
[caption id="attachment_213690" align="alignnone" width="710"]Do đó, quy trình biên soạn dữ liệu VideoPainter bao gồm các mô hình tầm nhìn-ngôn ngữ hàng đầu, bao gồm CogVLM2 và Chat GPT-4o để tạo ra các chú thích dựa trên khung hình chính và mô tả chi tiết về các khu vực được mặt nạ.
VideoPainter nâng cao các DiT đã được đào tạo trước bằng cách giới thiệu một bộ mã hóa ngữ cảnh nhẹ tùy chỉnh. Bộ mã hóa này tách việc trích xuất ngữ cảnh nền khỏi việc tạo tiền cảnh, như được thấy ở phía trên bên phải của sơ đồ minh họa dưới đây:
Sơ đồ khái niệm cho VideoPainter. Bộ mã hóa ngữ cảnh của VideoPainter xử lý các véc tơ nhiễu, mặt nạ xuống mẫu và véc tơ ảnh video mặt nạ qua VAE, chỉ tích hợp các token nền vào DiT đã được đào tạo trước để tránh sự mơ hồ. Bộ chuyển đổi lại ID đảm bảo sự nhất quán về danh tính bằng cách nối các token vùng tạo ảnh trong quá trình đào tạo và lấy mẫu lại chúng từ các đoạn trước trong quá trình suy luận.
Thay vì làm cho lưng nặng nề với quá trình xử lý dư thừa, bộ mã hóa này hoạt động trên một đầu vào được tối ưu hóa: sự kết hợp của véc tơ nhiễu, véc tơ ảnh video mặt nạ (trích xuất bằng mô hình tự động mã hóa, hoặc VAE) và mặt nạ xuống mẫu.
Véc tơ nhiễu cung cấp ngữ cảnh tạo, và véc tơ ảnh video mặt nạ phù hợp với phân phối hiện có của DiT, nhằm mục đích tăng cường khả năng tương thích.
Thay vì sao chép các phần lớn của mô hình, điều mà các tác giả cho là đã xảy ra trong các công trình trước, VideoPainter chỉ tích hợp hai lớp đầu tiên của DiT. Các tính năng được trích xuất này được tái giới thiệu vào DiT đã được đông lạnh theo cách có cấu trúc, nhóm theo nhóm – các tính năng lớp đầu tiên thông báo cho nửa đầu của mô hình, trong khi các tính năng sau này tinh chỉnh nửa sau.
Bên cạnh đó, một cơ chế chọn token đảm bảo rằng chỉ các tính năng liên quan đến nền mới được tái tích hợp, ngăn chặn sự nhầm lẫn giữa các khu vực được mặt nạ và không được mặt nạ. Cách tiếp cận này, theo các tác giả, cho phép VideoPainter duy trì độ trung thực cao trong việc bảo tồn nền trong khi cải thiện hiệu quả tạo tiền cảnh.
Các tác giả lưu ý rằng phương pháp họ đề xuất hỗ trợ nhiều phương pháp tạo phong cách khác nhau, bao gồm cả phương pháp phổ biến nhất, Low Rank Adaptation (LoRA).
Dữ liệu và Kiểm tra
VideoPainter được đào tạo bằng mô hình CogVideo-5B-I2V, cùng với mô hình video-sang-text tương đương. Bộ dữ liệu VPData được sử dụng ở độ phân giải 480x720px, với tốc độ học là 1×10-5.
Bộ chuyển đổi lại ID được đào tạo trong 2.000 bước, và bộ mã hóa ngữ cảnh trong 80.000 bước, cả hai đều sử dụng tối ưu hóa AdamW. Việc đào tạo diễn ra trong hai giai đoạn sử dụng 64 GPU NVIDIA V100 (mặc dù bài báo không chỉ định liệu chúng có 16GB hay 32GB VRAM).
Đối với việc chuẩn hóa, Davis được sử dụng cho các mặt nạ ngẫu nhiên, và khuôn khổ VPBench của các tác giả cho các mặt nạ phân đoạn.
Bộ dữ liệu VPBench bao gồm các đối tượng, động vật, con người, cảnh quan và các nhiệm vụ đa dạng, và bao gồm bốn hành động: thêm, xóa, thay đổi và hoán đổi. Bộ sưu tập này bao gồm 45 video 6 giây, và chín video có độ dài trung bình 30 giây.
Tám chỉ số được sử dụng cho quá trình này. Đối với việc bảo tồn khu vực được mặt nạ, các tác giả sử dụng Tỷ lệ tín hiệu trên nhiễu đỉnh (PSNR); Độ đo tương tự về nhận thức đã học (LPIPS); Chỉ số tương đồng cấu trúc (SSIM); và Sai số tuyệt đối trung bình (MAE).
Đối với việc căn chỉnh văn bản, các nhà nghiên cứu sử dụng Độ đo tương đồng CLIP để đánh giá khoảng cách ngữ nghĩa giữa chú thích của đoạn và nội dung thực tế được nhận thức, cũng như để đánh giá độ chính xác của các khu vực được mặt nạ.
Để đánh giá chất lượng chung của các video đầu ra, Khoảng cách video Fréchet (FVD) được sử dụng.
Đối với một vòng so sánh định lượng về tạo ảnh video, các tác giả đã đặt hệ thống của mình chống lại các phương pháp trước đó ProPainter, COCOCO và Cog-Inp (CogVideoX). Kiểm tra bao gồm việc tạo ảnh cho khung đầu tiên của một đoạn bằng các mô hình tạo ảnh, sau đó sử dụng một mô hình video-sang-video (I2V) để truyền kết quả vào một hoạt động trộn latent, theo một phương pháp được đề xuất bởi một bài báo năm 2023 từ Israel.
Vì trang web dự án không hoàn toàn hoạt động tại thời điểm viết, và vì video YouTube của dự án có thể không chứa tất cả các ví dụ được nhồi vào trang web dự án, khá khó để tìm thấy các ví dụ video cụ thể liên quan đến kết quả được phác thảo trong bài báo. Do đó, chúng tôi sẽ hiển thị một số kết quả tĩnh được trình bày trong bài báo, và kết thúc bài viết với một số ví dụ video bổ sung mà chúng tôi đã quản lý để trích xuất từ trang web dự án.
So sánh định lượng của VideoPainter so với ProPainter, COCOCO và Cog-Inp trên VPBench (mặt nạ phân đoạn) và Davis (mặt nạ ngẫu nhiên). Các chỉ số bao gồm bảo tồn khu vực được mặt nạ, căn chỉnh văn bản và chất lượng video. Đỏ = tốt nhất, Xanh = tốt thứ hai.
Về những kết quả định lượng này, các tác giả nhận xét:
‘Trong VPBench dựa trên phân đoạn, ProPainter và COCOCO thể hiện hiệu suất kém nhất trên hầu hết các chỉ số, chủ yếu do khả năng tạo ảnh không đầy đủ cho các đối tượng được mặt nạ và khó khăn của kiến trúc một lưng trong việc cân bằng giữa bảo tồn nền và tạo tiền cảnh.
‘Trong chuẩn Davis cho mặt nạ ngẫu nhiên, ProPainter cho thấy sự cải thiện bằng cách tận dụng thông tin nền một phần. Tuy nhiên, VideoPainter đạt được hiệu suất tối ưu trên cả phân đoạn (tiêu chuẩn và chiều dài) và mặt nạ ngẫu nhiên thông qua kiến trúc hai nhánh của nó, hiệu quả trong việc tách bảo tồn nền và tạo tiền cảnh.’
Các tác giả sau đó trình bày các ví dụ tĩnh về các kiểm tra định lượng, trong đó chúng tôi giới thiệu một số lựa chọn dưới đây. Trong tất cả các trường hợp, chúng tôi đề nghị người đọc tham khảo trang web dự án và video YouTube để có độ phân giải và chi tiết tốt hơn.
So sánh với các phương pháp tạo ảnh trước đó.
Nhấn để phát.Các ví dụ được nối từ các video ‘kết quả’ trên trang web dự án.
Về vòng kiểm tra định lượng này cho tạo ảnh video, các tác giả nhận xét:
‘VideoPainter liên tục thể hiện kết quả đặc biệt trong sự nhất quán video, chất lượng và căn chỉnh với chú thích văn bản. Đặc biệt, ProPainter không thể tạo ra các đối tượng được mặt nạ đầy đủ vì nó chỉ dựa vào việc truyền pixel nền thay vì tạo.
‘Mặc dù COCOCO thể hiện chức năng cơ bản, nó không thể duy trì sự nhất quán về danh tính trong các khu vực được tạo ảnh (sự xuất hiện của tàu không nhất quán và thay đổi địa hình đột ngột) do kiến trúc một lưng của nó cố gắng cân bằng giữa bảo tồn nền và tạo tiền cảnh.
‘Cog-Inp đạt được kết quả tạo ảnh cơ bản; tuy nhiên, hoạt động trộn của nó không thể phát hiện ranh giới mặt nạ, dẫn đến các hiện tượng đáng kể.
‘Hơn nữa, VideoPainter có thể tạo ra các video nhất quán vượt quá một phút trong khi duy trì sự nhất quán về danh tính thông qua việc lấy mẫu lại ID của chúng tôi.’
Các nhà nghiên cứu cũng đã kiểm tra khả năng của VideoPainter trong việc tăng cường chú thích và đạt được kết quả tốt hơn bằng cách này, đặt hệ thống của mình chống lại UniEdit, DiTCtrl và ReVideo.
Kết quả chỉnh sửa video so với ba phương pháp trước đó.
Các tác giả nhận xét:
‘Đối với cả video tiêu chuẩn và dài trong VPBench, VideoPainter đạt được hiệu suất vượt trội, thậm chí vượt qua ReVideo từ đầu đến cuối. Sự thành công này có thể được quy cho kiến trúc hai nhánh của nó, đảm bảo khả năng bảo tồn nền và tạo tiền cảnh tuyệt vời, duy trì độ trung thực cao trong các khu vực không được chỉnh sửa trong khi đảm bảo các khu vực được chỉnh sửa phù hợp chặt chẽ với hướng dẫn chỉnh sửa, được bổ sung bởi việc lấy mẫu lại ID vùng tạo ảnh giúp duy trì sự nhất quán về danh tính trong video dài.’
Mặc dù bài báo có các ví dụ tĩnh về chỉ số này, chúng không mang tính启示, và chúng tôi đề nghị người đọc tham khảo các ví dụ đa dạng được phân tán trên các video được xuất bản cho dự án này.
Cuối cùng, một nghiên cứu của con người đã được thực hiện, trong đó 30 người dùng được yêu cầu đánh giá 50 thế hệ được chọn ngẫu nhiên từ VPBench và các tập hợp chỉnh sửa. Các ví dụ này đã nhấn mạnh việc bảo tồn nền, căn chỉnh với lời nhắc và chất lượng video chung.
Kết quả từ nghiên cứu của con người về VideoPainter.
Các tác giả tuyên bố:
‘VideoPainter vượt trội so với các baseline hiện có, đạt được tỷ lệ ưa thích cao hơn trên tất cả các tiêu chí đánh giá ở cả hai nhiệm vụ.’
Họ thừa nhận, tuy nhiên, rằng chất lượng của các thế hệ VideoPainter phụ thuộc vào mô hình cơ bản, có thể gặp khó khăn với chuyển động và vật lý phức tạp; và họ quan sát thấy rằng nó cũng hoạt động kém với mặt nạ chất lượng thấp hoặc chú thích không phù hợp.
Kết luận
VideoPainter dường như là một bổ sung đáng giá cho tài liệu. Typ của các giải pháp gần đây, tuy nhiên, nó có những yêu cầu tính toán đáng kể. Ngoài ra, nhiều ví dụ được chọn để trình bày tại trang web dự án không đạt được những ví dụ tốt nhất; do đó, sẽ rất thú vị khi xem khuôn khổ này được so sánh với các mục nhập và phương pháp trước đó trong tương lai.
* Đáng chú ý là ‘chỉnh sửa video’ trong trường hợp này không có nghĩa là ‘tập hợp các đoạn khác nhau thành một chuỗi’, đó là ý nghĩa truyền thống của thuật ngữ này; nhưng thay vào đó là thay đổi trực tiếp hoặc thay đổi theo một cách nào đó nội dung của các đoạn video hiện có, sử dụng các kỹ thuật học máy
Được xuất bản lần đầu vào thứ hai, ngày 10 tháng 3 năm 2025. Cập nhật vào thứ bảy, ngày 25 tháng 7 năm 2026 để thay thế video.
