Bộ giải mã video cho hình ảnh được tạo bởi AI

Khi thời kỳ “ăn cả thế giới” của AI kết thúc, một cách tiếp cận mới về việc tạo video bằng AI hứa hẹn sẽ mang lại những tiết kiệm đáng kể về token và thời gian.

Chi phí thực sự của việc suy luận AI đang mang lại một nốt mới của sự tỉnh táo cho tốc độ phát triển nhanh chóng của cuộc cách mạng AI hiện tại, với sự quan tâm ngày càng tăng trong việc hợp lý hóa chi phí của học máy. Ngoài khả năng mang AI về nhà, và sự phát triển chung của AI riêng, các routine học máy đòi hỏi VRAM và tài nguyên sẽ cần được tối ưu hóa.

Sự tạo ra video có lẽ là tội phạm lớn nhất trong khía cạnh này. Nếu bạn đã từng nén lại một bộ phim hoặc xuất nó ra từ một bộ chỉnh sửa video, bạn đã biết tác động mà công việc này gây ra cho phần cứng của bạn – ăn RAM và chu kỳ CPU, và thường chặn máy cho bất kỳ sử dụng nào khác, trừ khi có biện pháp được thực hiện để hạn chế tác động của thuật toán nén lên máy chủ.

Do đó, chỉ cần tưởng tượng mức độ mà sự phát triển của video AI đang lặp lại quy trình “đói năng lượng” này trong các trung tâm dữ liệu trên toàn cầu. Ở quy mô hoạt động này, những lợi ích nhỏ nhất sẽ trở nên quan trọng ngay lập tức trong việc tính toán tổng thể.

Trong Khung

Với điều này trong tâm trí, một nghiên cứu mới từ Thượng Hải, hợp tác với JD.com, đang đề xuất một bộ giải mã video không nhằm vào quá trình渲染 (quá trình nén các khung hình lớn, thô vào một kích thước tệp video nhỏ hơn), mà vào chính quá trình tạo video bằng AI.

Một bộ giải mã video thông thường hoạt động bằng cách không lưu trữ mỗi khung hình như một hình ảnh đầy đủ, mà bằng cách tạo ra một số lượng nhỏ hơn các hình ảnh hoàn chỉnh, được gọi là I-frames, và sau đó lưu trữ thay đổi giữa các khung hình.

Ví dụ, nếu một người di chuyển slightly trong một video, bộ giải mã chỉ ghi lại những phần của khung hình đó thay đổi, thay vì viết lại toàn bộ cảnh. Những khung hình này được gọi là P-frames, được dẫn xuất từ các khung hình trước đó, và B-frames, có thể dự đoán thông tin trong các khung hình tương lai:

Cấu trúc của một bộ giải mã video: hàng trên cho thấy các khung hình theo thời gian được dán nhãn I, P và B, với I-frames được lưu trữ đầy đủ màu sắc và P- và B-frames được hiển thị mờ để chỉ ra sự tái tạo; các mũi tên chỉ ra liệu các khung hình sử dụng các khung hình trước đó, sau này hoặc cả hai; các bảng dưới cho thấy một khung hình được lưu trữ đầy đủ (I-frame, trái), một khung hình được xây dựng từ một khung hình trước đó (P-frame, thứ hai từ trái), và một khung hình được xây dựng từ cả các khung hình trước đó và sau này (B-frame, phải).

Cách tái sử dụng thông tin gần đó là lý do tại sao các tệp video vẫn nhỏ, với hầu hết các khung hình hoạt động không như các hình ảnh mới, mà như các hướng dẫn mô tả cách khung hình trước đó đã thay đổi. Do đó, Iframes tạo thành ‘hình ảnh đầy đủ’, chiếm nhiều không gian, với các khung hình giữa chúng chỉ là sự khác biệt giữa Iframes (và giữa chúng).

Khi mỗi khung hình là một hình ảnh không nén, bộ phim cơ bản không có compression. Việc lưu một bộ phim theo cách này, dưới dạng video không nén, sẽ đòi hỏi gần (hoặc hơn) một terabyte không gian đĩa. Tuy nhiên, đây là cách AI tạo ra các bộ phim – bằng cách dành tài nguyên và token bằng nhau cho mỗi khung hình, khi nó tính toán cách tạo ra video.

Kinh Tế Quy Mô

Công việc mới, có tiêu đề AdaCodec: Một Bộ Giải Mã Dự Báo cho MLLM Video, thay vào đó chi tiêu token hình ảnh đầy đủ chỉ trên các khung hình tham chiếu (Iframes), với tất cả các khung hình trung gian được hiển thị dưới dạng ‘token P-compact’ – một mô hình rõ ràng được lấy từ nén truyền thống được sử dụng bởi các bộ giải mã video “thế giới thực”.

Sau khi nén nội bộ này đã diễn ra, video genAI có thể được nén bình thường, và, về lý thuyết, tất cả các tiết kiệm đều nằm ở phía máy chủ:

Tổng quan về AdaCodec. Trái, các video được chia thành các nhóm ảnh thích ứng, với các I-frames đầy đủ được dành cho các khoảnh khắc khó dự đoán và các P-frames trung gian được thể hiện bằng thông tin chuyển động và dư thừa. Phải, hệ thống kết quả khớp hoặc vượt quá Qwen3-VL-8B trên mười một điểm chuẩn, duy trì độ chính xác video dài cao hơn trên các ngân sách token, và giảm độ trễ phản hồi trong khi xử lý ít token video đáng kể. Nguồn

Các tiết kiệm, theo kết quả được báo cáo từ các thử nghiệm cho AdaCodec, là đáng kể; bài báo cho biết rằng hệ thống đã vượt qua mô hình Qwen3-VL-8B không được sửa đổi trên mọi điểm chuẩn chính, trong khi sử dụng cùng một lượng xử lý; và vẫn khớp hoặc vượt quá hiệu suất của mô hình đó sau khi cắt giảm token video khoảng 86%.

Các tác giả cho biết*:

‘Chúng tôi rút ra cảm hứng từ mã hóa dự đoán, nơi một hệ thống truyền tải lỗi từ một dự đoán thay vì tín hiệu thô. Nguyên tắc này có cơ sở sinh học: hệ thống thị giác được cho là mã hóa lỗi dự đoán, sự không phù hợp giữa đầu vào dự kiến và quan sát, thay vì chính tín hiệu.

‘Các bộ giải mã video hiện đại sử dụng cùng một ý tưởng mã hóa dư thừa trong kỹ thuật: các khung hình tham chiếu mang đầy đủ nội dung, trong khi các khung hình dự đoán mang thông tin chuyển động và tín hiệu dư thừa tương đối so với một tham chiếu.

‘Những hệ thống này có các mục tiêu khác nhau, nhưng chúng chia sẻ cùng một cấu trúc điều kiện: khi các mẫu gần đó là dư thừa, kênh nên mang những gì dự đoán không thể giải thích.

‘Các bộ giải mã tiêu chuẩn, tuy nhiên, được tối ưu hóa cho luồng bit và tái tạo có thể xem được của con người, không phải cho token hình ảnh được tiêu thụ bởi một MLLM. Chúng tôi do đó thiết kế lại cơ chế này như một giao diện MLLM cho việc hiểu video.’

Công việc mới, được viết bởi 11 nhà nghiên cứu từ Đại học Thượng Hải, Viện Sáng tạo Thượng Hải và JD.com, đi kèm với một trang dự án liên quan, với việc phát hành mã nguồn được hứa hẹn.

Phương Pháp

Như đã thảo luận, thay vì đối xử với mỗi khung hình như một hình ảnh hoàn toàn mới, hệ thống tìm kiếm những gì đã thay đổi giữa một khung hình và khung hình tiếp theo. Ở bên trái, trong hình ảnh dưới đây, chúng ta thấy một vùng nhỏ của khung hình hiện tại được khớp với vùng tương tự nhất trong một khung hình trước đó:

Tổng quan về lược đồ AdaCodec.

Khoảng cách giữa hai vị trí trở thành một vector chuyển động, trong khi bất kỳ sự khác biệt hình ảnh nào còn lại trở thành một dư thừa, với những mô tả compact này thay thế nhu cầu lưu trữ một hình ảnh đầy đủ.

Ở bên phải, chúng ta thấy thông tin kết quả được đưa vào mô hình AI: các khung hình tham chiếu quan trọng vẫn được xử lý như các hình ảnh hoàn chỉnh, nhưng các khung hình trung gian được thể hiện bằng các token chuyển động và dư thừa nhỏ hơn – rõ ràng cho phép mô hình giữ lại đủ thông tin để phân tích video, trong khi xử lý ít dữ liệu hình ảnh hơn.

Một thách thức thú vị là quyết định khung hình nào xứng đáng được lưu trữ đầy đủ: các bộ giải mã video truyền thống thường đặt các khung hình tham chiếu ở các khoảng thời gian đều đặn, cho dù chúng có cần thiết hay không. AdaCodec, thay vào đó, cố gắng xác định các khoảnh khắc quan trọng nhất.

Ví dụ, hãy xem một cảnh chủ yếu mô tả một cuộc trò chuyện tĩnh giữa hai người trong một căn hộ – và đột nhiên một đội SWAT ập vào qua cửa sổ. Ngay lập tức, các góc nhìn của máy quay và số lượng cắt chỉnh sửa sẽ tăng lên và đòi hỏi nhiều dữ liệu hơn so với khoảng thời gian tham chiếu được quy định sẽ cung cấp:

Đây là logic đằng sau các phương pháp nén biến đổi (nén bitrate biến đổi) compression, những phương pháp này phân tích video nguồn cho các khoảng thời gian ‘bận rộn’ và phân bổ nhiều dữ liệu hơn ở nơi cần thiết – với chi phí không nhỏ về thời gian và tài nguyên.

Trong AdaCodec, nếu một khung hình có thể được dự đoán chính xác từ các khung hình gần đó, hệ thống tiếp tục sử dụng các token chuyển động và dư thừa compact; nếu cảnh thay đổi đáng kể (ví dụ như ví dụ SWAT ở trên, hoặc điều gì đó ít kịch tính hơn), một khung hình tham chiếu đầy đủ được chèn. Điều này cho phép nhiều hơn ngân sách xử lý có sẵn được chi tiêu cho thông tin hình ảnh quan trọng thay vì được phân phối đều trên toàn bộ video.

Dữ Liệu và Kiểm Tra

Trong kiểm tra, các nhà nghiên cứu đã sử dụng Qwen3-VL-8B như mô hình cơ sở và đánh giá AdaCodec trên mười một điểm chuẩn bao gồm ba lĩnh vực của việc hiểu video: hiệu suất video dài được đánh giá với MLVU, LongVideoBench, và LVBench; hiểu biết thời gian với TempCompass, MotionBench, và TOMATO; và hiểu biết video chung với Video-MME, MVBench, NExT-QA, PerceptionTest, và EgoSchema.

Các mô hình mã nguồn mở được kiểm tra bao gồm InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B; và Molmo2-O-7B.

Phiên bản GPT-5, Gemini và Claude xuất hiện trong bảng dưới đây chỉ như các đường cơ sở so sánh. CoPE-VideoLM-7B và ReMoRa-7B là các mô hình ngôn ngữ video trước đó giảm sử dụng token hình ảnh thông qua nén codec, khiến chúng trở thành những đối thủ cạnh tranh trực tiếp gần nhất với AdaCodec:

Kết quả chính trên mười một điểm chuẩn bao gồm hiệu suất video dài, lý luận thời gian và hiểu biết video chung. Các điểm số cao hơn cho thấy hiệu suất tốt hơn. LVB = LongVideoBench; V-MME = Video-MME. Các giá trị được đánh dấu và gạch chân cho thấy điểm số cao nhất và thứ hai cao nhất trong số các mô hình mã nguồn mở. Các điểm số cho các mô hình mã nguồn đóng được lấy từ các báo cáo chính thức khi có sẵn, với các kết quả bị thiếu được lấy từ Molmo2 hoặc được đánh giá bởi các tác giả.

Để đảm bảo một so sánh công bằng, cùng một số token hình ảnh đã được phân bổ cho cả AdaCodec và hệ thống Qwen3-VL-8B tiêu chuẩn, cho phép kết quả phản ánh hiệu quả của cách tiếp cận nén.

Ở cài đặt hung hăng nhất, AdaCodec đã giảm sử dụng token hình ảnh khoảng 86% trong khi vẫn khớp hoặc vượt quá hệ thống cơ sở trên các nhiệm vụ hiểu biết video dài, thời gian và chung.

Khi các token đã tiết kiệm được được tái đầu tư vào việc xử lý nhiều khung hình video hơn, hiệu suất đã được cải thiện trên mọi điểm chuẩn video dài và mọi điểm chuẩn thời gian, với lợi ích đạt +5,4 điểm trên LongVideoBench và +4,3 điểm trên TOMATO, trong khi cũng tạo ra một số kết quả mã nguồn mở mạnh nhất trong nghiên cứu.

Kết Luận

Mặc dù các dự án như thế này thường nhắm vào các nhà cung cấp quy mô lớn, đây là loại nỗ lực sẽ được quan tâm đến bởi các nhà sáng tạo và SME, như một phần của một “tính kỷ luật công cộng” mới về việc triển khai AI địa phương và hợp lý hóa.

Trong các cộng đồng như r/stablediffusion, đây là tin cũ, vì mỗi phiên bản mã nguồn mở chính được phát hành ở đó thường được tối ưu hóa cao (GGUF, trọng lượng lượng tử, v.v.) để có thể chạy, với một chút kiên nhẫn, trên các card đồ họa cấp thấp hơn.

Nếu “giai đoạn trình diễn” của làn sóng AI thứ ba này thực sự kết thúc, và với giả định rằng các tập đoàn sẽ bị đẩy lùi bởi chi phí thực sự của suy luận, thì các sáng kiến như AdaCodec có thể là một phần của “tối ưu hóa lớn” sắp tới.

^† Này không phải là việc kết xuất video ra định dạng/file-size thân thiện với người dùng; mà nó liên quan đến việc tạo ra và thu thập các khung hình bên trong mô hình AI tại thời điểm suy luận.

* Sự chuyển đổi của tôi, trong lý lẽ, của các trích dẫn nội tuyến của tác giả thành các liên kết.

Được xuất bản lần đầu vào thứ Năm, ngày 4 tháng 6 năm 2026