Bộ mã hóa và giải mã video cho cảnh quay do AI tạo ra

Khi thời kỳ sử dụng AI không giới hạn dần khép lại, một cách tiếp cận mới, tiết kiệm hơn cho việc tạo video bằng AI hứa hẹn giảm đáng kể số token và thời gian cần thiết.

Chi phí thực tế của suy luận AI đang mang lại một góc nhìn tỉnh táo hơn^[1] (tham khảo liên quan) trước nhịp độ chóng mặt của cuộc cách mạng AI hiện nay, đồng thời thúc đẩy sự quan tâm đến việc hợp lý hóa chi phí của học máy. Ngoài khả năng triển khai AI nội bộvà sự phát triển chung của AI riêng, những quy trình học máy tiêu tốn nhiều VRAM và các tài nguyên khác tất nhiên cũng cần được tối ưu hóa.

Tạo video có lẽ là tác vụ tiêu tốn nhiều tài nguyên nhất trong lĩnh vực này. Nếu từng nén lại một bộ phim hoặc xuất video từ phần mềm biên tập, bạn sẽ biết gánh nặng mà tác vụ không liên quan đến AI này đặt lên phần cứng: nó tiêu thụ RAM và chu kỳ CPU, thường khiến máy tính không thể làm việc khác nếu không hạn chế tác động của thuật toán nén lên máy.

Chỉ cần hình dung sự phát triển của video AI đang lặp lại quy trình ngốn sức mạnh tính toán này ở quy mô nào trong các trung tâm dữ liệu toàn cầu. Ở quy mô đó, ngay cả những cải tiến nhỏ nhất cũng trở nên đáng kể khi cộng dồn.

Tập trung vào khung hình

Trong bối cảnh này, một nghiên cứu mới từ Thượng Hải, hợp tác với JD.com (JD ), đề xuất một bộ mã hóa và giải mã video nhằm vào chính quá trình tạo video bằng AI, thay vì khâu kết xuất cuối cùng, tức nén những khung hình thô khổng lồ thành tệp video nhỏ hơn.

Bộ mã hóa và giải mã video thông thường không lưu mỗi khung hình thành một ảnh hoàn chỉnh. Thay vào đó, nó tạo một số ít ảnh đầy đủ, gọi là khung hình I, rồi lưu những thay đổi giữa các khung hình.

Ví dụ, khi một người trong video cử động nhẹ, bộ mã hóa chỉ ghi lại những vùng thay đổi thay vì lưu lại cả cảnh. Đó là khung hình P, được tạo từ các khung hình trước, và khung hình B, còn có thể dùng thông tin từ các khung hình sau:

Cấu trúc bộ mã hóa và giải mã video: hàng trên là chuỗi khung hình I, P và B theo thời gian. Khung hình I được lưu đầy đủ và hiển thị nguyên màu, còn P và B hiển thị nhạt để thể hiện việc tái dựng. Mũi tên cho biết việc dùng khung hình trước, khung hình sau hoặc cả hai. Các ô bên dưới lần lượt là khung hình lưu đầy đủ (I, trái), khung hình dựng từ khung hình trước (P, thứ hai từ trái) và khung hình dựng từ cả khung hình trước lẫn sau (B, phải).

Tái sử dụng thông tin lân cận giúp tệp video giữ kích thước nhỏ. Phần lớn khung hình không phải ảnh mới mà là chỉ dẫn mô tả khung hình trước đã thay đổi ra sao. Vì vậy, khung hình I là ảnh hoàn chỉnh chưa nén hoặc chỉ nén tối thiểu, chiếm nhiều dung lượng. Các khung hình xen giữa chỉ chứa khác biệt so với khung hình I và so với nhau.

Khi từng khung hình là một ảnh hoàn chỉnh chưa nén, bộ phim về cơ bản không có sự nén. Một bộ phim dài hai giờ được lưu như vậy sẽ cần gần một terabyte dung lượng đĩa hoặc hơn. Thế nhưng AI lại tạo phim theo cách đó^†: phân bổ lượng tài nguyên và token bằng nhau cho từng khung hình khi tính toán cách xây dựng video.

Tiết kiệm ở quy mô lớn

Nghiên cứu mới có tên AdaCodec: A Predictive Visual Code for Video MLLMs thay vào đó chỉ sử dụng đầy đủ token hình ảnh cho các khung hình tham chiếu (khung hình I), còn tất cả khung hình trung gian được biểu diễn bằng P-token gọn. Cách làm này rõ ràng kế thừa nguyên lý nén truyền thống của các bộ mã hóa và giải mã video thông thường.

Sau bước nén nội bộ này, video do AI tạo ra vẫn có thể được nén theo cách thông thường. Về lý thuyết, toàn bộ phần tiết kiệm nằm ở phía máy chủ:

Tổng quan AdaCodec. Bên trái, video được chia thành các nhóm khung hình thích ứng: khung hình I đầy đủ dành cho thời điểm khó dự đoán, còn khung hình P trung gian được biểu diễn bằng thông tin chuyển động và phần dư gọn. Bên phải, hệ thống đạt hoặc vượt Qwen3-VL-8B trên mười một bài đánh giá, duy trì độ chính xác video dài cao hơn ở các ngân sách token khác nhau, đồng thời giảm độ trễ phản hồi và xử lý ít token video hơn đáng kể. Nguồn

Theo kết quả thử nghiệm được báo cáo cho AdaCodec, những khoản tiết kiệm này đáng để theo đuổi. Bài báo cho biết hệ thống vượt mô hình Qwen3-VL-8B^[1] chưa chỉnh sửa ở tất cả bài đánh giá chính với cùng lượng tính toán. Nó vẫn đạt hoặc vượt hiệu suất mô hình đó sau khi giảm số token video khoảng 86%.

Các tác giả cho biết*:

“Chúng tôi lấy cảm hứng từ mã hóa dự đoán, trong đó hệ thống truyền sai số dự đoán thay vì tín hiệu thô. Nguyên tắc này có cơ sở sinh học: hệ thị giác được cho là mã hóa sai số dự đoán, tức chênh lệch giữa đầu vào kỳ vọng và đầu vào quan sát được, thay vì chính đầu vào.”

“Các bộ mã hóa và giải mã video hiện đại áp dụng cùng ý tưởng mã hóa phần dư trong kỹ thuật: khung hình tham chiếu mang toàn bộ nội dung, còn khung hình dự đoán mang tín hiệu chuyển động và phần dư so với một khung hình tham chiếu.”

“Các hệ thống này có mục tiêu khác nhau nhưng cùng cấu trúc có điều kiện: khi các mẫu lân cận chứa thông tin dư thừa, kênh cần truyền những gì dự đoán không giải thích được.”

“Tuy nhiên, bộ mã hóa và giải mã tiêu chuẩn được tối ưu cho luồng bit và việc tái dựng hình ảnh để con người xem, chứ không phải cho token hình ảnh mà LLM sử dụng. Vì vậy, chúng tôi thiết kế lại cơ chế này thành giao diện MLLM cho việc hiểu video.”

Nghiên cứu mới do 11 nhà nghiên cứu từ Shanghai Jiao Tong University, Shanghai Innovation Institute và JD.com thực hiện. Nghiên cứu có trang dự án đi kèm và hứa hẹn công bố mã nguồn.

Phương pháp

Như đã giải thích, hệ thống không xem mỗi khung hình là một ảnh hoàn toàn mới mà tìm các thay đổi giữa hai khung hình liên tiếp. Phía trái minh họa dưới đây, một vùng nhỏ của khung hình hiện tại được đối chiếu với vùng giống nhất trong một khung hình trước:

Sơ đồ AdaCodec.

Khoảng cách giữa hai vị trí trở thành vectơ chuyển động, còn những khác biệt hình ảnh còn lại tạo thành phần dư. Các mô tả gọn này thay cho việc lưu ảnh hoàn chỉnh.

Bên phải, thông tin thu được được đưa vào mô hình AI. Khung hình tham chiếu quan trọng vẫn được xử lý dưới dạng ảnh đầy đủ, còn khung hình trung gian được biểu diễn bằng token chuyển động và phần dư nhỏ hơn nhiều. Dường như nhờ đó mô hình giữ đủ thông tin để diễn giải video trong khi xử lý ít dữ liệu hình ảnh hơn đáng kể.

Một thách thức thú vị là quyết định khung hình nào đáng được lưu đầy đủ. Bộ mã hóa video truyền thống thường đặt khung hình tham chiếu cách đều nhau, dù có cần hay không. AdaCodec thì tìm những thời điểm quan trọng nhất.

Hãy hình dung cảnh hai người gần như không cử động khi trò chuyện trong một căn hộ; bất ngờ một đội SWAT ập vào qua cửa sổ. Số góc máy và lần cắt dựng tăng ngay lập tức, đòi hỏi nhiều dữ liệu hơn hẳn mức mà khoảng cách đều giữa các khung hình tham chiếu có thể cung cấp:

Đó là nguyên lý của các phương pháp nén biến đổi như tốc độ bit biến thiên. Chúng phân tích video nguồn để tìm đoạn có nhiều biến đổi rồi phân bổ thêm dữ liệu ở nơi cần thiết. Việc này tốn không ít thời gian và tài nguyên.

Trong AdaCodec, nếu có thể dự đoán chính xác một khung hình từ các khung hình lân cận, hệ thống tiếp tục dùng token chuyển động và phần dư gọn. Khi cảnh thay đổi đáng kể, như ví dụ đội SWAT hoặc một biến đổi ít kịch tính hơn, hệ thống chèn khung hình tham chiếu đầy đủ. Nhờ vậy, có thể dành nhiều ngân sách tính toán hơn cho thông tin hình ảnh quan trọng thay vì phân bổ đều trên toàn bộ video.

Dữ liệu và thử nghiệm

Các nhà nghiên cứu dùng Qwen3-VL-8B đã nhắc ở trên làm mô hình cơ sở, rồi đánh giá AdaCodec trên mười một bài đánh giá bao quát ba lĩnh vực hiểu video: hiệu suất video dài được đánh giá với MLVU, LongVideoBenchvà LVBench; hiểu quan hệ thời gian với TempCompass, MotionBenchvà TOMATO; và hiểu video nói chung với Video-MME, MVBench, NExT-QA, PerceptionTestvà EgoSchema.

Các mô hình mã nguồn mở được thử nghiệm gồm InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B; và Molmo2-O-7B.

Các phiên bản GPT-5, Gemini và Claude chỉ xuất hiện trong bảng dưới đây để làm mốc so sánh. CoPE-VideoLM-7B và ReMoRa-7B là những mô hình ngôn ngữ video trước đó, giảm lượng token hình ảnh bằng cách nén lấy cảm hứng từ bộ mã hóa video. Vì vậy, chúng là đối thủ trực tiếp gần nhất của AdaCodec:

Kết quả chính trên mười một bài đánh giá về hiểu video dài, suy luận thời gian và hiểu video nói chung. Điểm cao hơn thể hiện kết quả tốt hơn. LVB = LongVideoBench; V-MME = Video-MME. Chữ đậm và gạch chân lần lượt chỉ điểm cao nhất và cao thứ hai trong các mô hình mã nguồn mở. Điểm mô hình đóng lấy từ báo cáo chính thức khi có; kết quả còn thiếu lấy từ Molmo2 hoặc do tác giả đánh giá.

Để so sánh công bằng, AdaCodec và hệ thống Qwen3-VL-8B tiêu chuẩn được cấp cùng số token hình ảnh. Do đó, kết quả phản ánh hiệu quả của phương pháp nén chứ không phải khác biệt về tài nguyên tính toán.

Ở mức nén mạnh nhất, AdaCodec giảm lượng token hình ảnh khoảng 86% mà vẫn đạt hoặc nhỉnh hơn hệ thống cơ sở trong các tác vụ hiểu video dài, quan hệ thời gian và video nói chung.

Khi token tiết kiệm được dùng để xử lý thêm khung hình, hiệu suất tăng ở mọi bài đánh giá video dài và mọi bài đánh giá thời gian. Mức tăng đạt +5,4 điểm trên LongVideoBench và +4,3 điểm trên TOMATO, tạo nên một số kết quả tốt nhất của các mô hình mã nguồn mở trong nghiên cứu.

Kết luận

Dù những dự án như vậy thường hướng đến nhà cung cấp siêu quy mô, loại nghiên cứu này cũng sẽ thu hút người làm AI theo sở thích và doanh nghiệp nhỏ và vừa. Nó có thể trở thành một phần của xu hướng tiết chế công khai mới, hướng tới triển khai AI cục bộ và hợp lý hơn.

Với cộng đồng như r/stablediffusion, đây là việc đã quen thuộc từ lâu: mỗi bản phát hành mô hình mở quan trọng thường được tối ưu triệt để thành phiên bản (GGUF, trọng số lượng tử hóa, v.v.) có thể chạy trên card đồ họa cấp thấp hơn nếu người dùng chịu kiên nhẫn một chút.

Nếu giai đoạn phô diễn của làn sóng AI thứ ba này thực sự đã kết thúc, và giả sử các tập đoàn sẽ chùn bước trước chi phí suy luận thực tế, những sáng kiến như AdaCodec có thể là một phần của đợt “đại tối ưu hóa” sắp tới. Tham khảo liên quan: ^{[1] [2]}

^† Điều này khác với kết xuất video cuối cùng sang định dạng và kích thước tệp thuận tiện cho người dùng. Nó nói tới quá trình tạo và tập hợp khung hình bên trong mô hình AI lúc suy luận.

* Tôi đã chuyển các trích dẫn trong văn bản của tác giả thành siêu liên kết, trong phạm vi hợp lý.

Được xuất bản lần đầu vào thứ Năm, ngày 4 tháng 6 năm 2026