Kodek Video untuk Footage yang Dihasilkan AI

Seiring era all-you-can-eat AI mulai berakhir, sebuah pendekatan baru yang ekonomis untuk generasi video AI menjanjikan penghematan yang signifikan dalam token dan waktu.

Biaya nyata dari inferensi AI membawa catatan baru tentang keseriusan kepada laju revolusi AI yang cepat, dengan minat yang meningkat dalam rasionalisasi biaya pembelajaran mesin. Selain potensi membawa AI ke dalam rumah, dan meningkatnya AI pribadi, rutinitas pembelajaran mesin yang rakus VRAM dan sumber daya akan memerlukan optimasi juga.

Generasi video mungkin pelanggar terbesar dalam hal ini. Jika Anda pernah merekompress sebuah film atau mengekspornya dari suite penyuntingan video, Anda sudah tahu biaya yang dikenakan tugas ini pada perangkat keras Anda – menghabiskan RAM dan siklus CPU, dan sering kali memblokir mesin untuk penggunaan lain, kecuali langkah-langkah diambil untuk membatasi dampak algoritma kompresi pada komputer host.

Oleh karena itu, kita hanya perlu membayangkan seberapa besar dampak yang ditimbulkan oleh meningkatnya video AI di pusat data di seluruh dunia. Pada skala operasi ini, bahkan penghematan kecil menjadi sangat signifikan dalam perhitungan agregat.

Di Dalam Bingkai

Dengan ini dalam pikiran, sebuah penelitian baru dari Shanghai, dalam kolaborasi dengan JD.com, mengusulkan sebuah kodek video yang tidak ditujukan pada proses rendering-out (proses mengompresi bingkai besar dan mentah menjadi ukuran file video yang lebih kecil), tetapi pada proses generasi video AI itu sendiri.

Sebuah kodek video normal bekerja dengan tidak menyimpan setiap bingkai sebagai gambar penuh, tetapi dengan membuat sejumlah kecil gambar lengkap, disebut bingkai-I, dan kemudian menyimpan perubahan antara bingkai.

Sebagai contoh, jika seseorang sedikit bergerak dalam sebuah video, kodek merekam hanya bagian dari bingkai yang mendaftarkan perubahan itu, bukan menulis ulang seluruh adegan. Ini adalah bingkai-P, yang diturunkan dari bingkai sebelumnya, dan bingkai-B, yang juga dapat memprediksi informasi dalam bingkai masa depan:

Anatomi kodek video: baris atas menunjukkan bingkai dari waktu ke waktu dengan label I, P, dan B, dengan bingkai-I disimpan sepenuhnya dalam warna penuh dan bingkai-P dan bingkai-B ditampilkan memudar untuk menunjukkan rekonstruksi; panah menunjukkan apakah bingkai menggunakan bingkai sebelumnya, bingkai masa depan, atau keduanya; panel bawah menggambarkan bingkai yang disimpan sepenuhnya (bingkai-I, kiri), bingkai yang dibangun dari bingkai sebelumnya (bingkai-P, kedua kiri), dan bingkai yang dibangun dari bingkai sebelumnya dan bingkai masa depan (bingkai-B, kanan).

Ini adalah alasan mengapa file video tetap kecil, dengan sebagian besar bingkai beroperasi tidak sebagai gambar baru, tetapi sebagai instruksi yang menjelaskan bagaimana bingkai sebelumnya telah berubah. Oleh karena itu, bingkai-I merupakan ‘full-fat’, gambar tidak terkompresi (atau minimal terkompresi), dengan bingkai di antaranya merupakan hanya perbedaan antara bingkai-I (dan antara mereka sendiri).

Ketika setiap bingkai adalah gambar tidak terkompresi, film tersebut secara efektif tidak terkompresi. Menyimpan film dengan cara ini, sebagai video tidak terkompresi, akan menghasilkan film 2 jam yang memerlukan hampir (atau lebih dari) satu terabyte ruang disk. Namun ini adalah bagaimana AI membuat film^† – dengan mendedikasikan sumber daya dan token yang sama untuk setiap bingkai, ketika menghitung bagaimana memformulasikan video.

Ekonomi Skala

Karya baru, berjudul AdaCodec: Kodek Visual Prediktif untuk Video MLLMs, menghabiskan token visual penuh secara eksklusif pada bingkai referensi (bingkai-I), dengan semua bingkai antara disajikan sebagai ‘token-P yang kompak’ – paradigma yang jelas diambil dari kompresi tradisional yang digunakan oleh kodek video ‘dunia nyata’ sebelumnya.

Setelah kompresi internal ini telah dilakukan, video genAI dapat dikompresi secara normal, dan, secara teori, semua penghematan ada di sisi server:

Gambaran umum AdaCodec. Kiri, video dibagi menjadi kelompok gambar adaptif, dengan bingkai-I penuh disimpan untuk momen yang sulit diprediksi dan bingkai-P antara disajikan menggunakan informasi gerak dan residu yang kompak. Kanan, sistem yang dihasilkan mencocokkan atau melebihi Qwen3-VL-8B di sebelas benchmark, mempertahankan akurasi video panjang yang lebih tinggi di seluruh anggaran token, dan mengurangi latensi respons sambil memproses token video yang jauh lebih sedikit. Sumber

Penghematan, menurut hasil yang dilaporkan dari tes untuk AdaCodec, layak untuk dilakukan; makalah tersebut menyatakan bahwa sistem ini outperformed model Qwen3-VL-8B yang tidak dimodifikasi di seluruh benchmark utama, sambil menggunakan jumlah pemrosesan yang sama; dan masih mencocokkan atau melebihi kinerja model tersebut setelah mengurangi token video sekitar 86%.

Para penulis menyatakan*:

‘Kami mengambil inspirasi dari pengkodean prediktif, di mana sistem mengirimkan kesalahan dari prediksi daripada sinyal mentah. Prinsip ini memiliki landasan biologis: sistem visual dianggap mengkodekan kesalahan prediksi, kesesuaian antara input yang diharapkan dan diamati, daripada input itu sendiri.

‘Kodek video modern menggunakan ide pengkodean residu yang sama dalam teknik: bingkai referensi membawa konten penuh, sementara bingkai prediktif membawa sinyal gerak dan residu relatif terhadap referensi.

‘Sistem ini memiliki tujuan yang berbeda, tetapi mereka berbagi struktur kondisional yang sama: ketika sampel yang berdekatan redundan, saluran harus membawa apa yang gagal diprediksi.

‘Kodek standar, bagaimanapun, dioptimalkan untuk bitstream dan rekonstruksi yang dapat dilihat manusia, bukan untuk token visual yang dikonsumsi oleh LLM. Oleh karena itu, kami merancang kembali mekanisme ini sebagai antarmuka MLLM untuk pemahaman video.’

Karya baru, yang ditulis oleh 11 peneliti dari Shanghai Jiao Tong University, Shanghai Innovation Institute, dan JD.com, datang dengan halaman proyek terkait, dengan rilis kode sumber yang dijanjikan.

Metode

Seperti yang dibahas, bukan dengan mengobati setiap bingkai sebagai gambar baru sepenuhnya, sistem ini mencari apa yang berubah antara satu bingkai dan bingkai berikutnya. Di sebelah kiri, pada gambar di bawah, kita melihat sebuah wilayah kecil dari bingkai saat ini yang cocok dengan wilayah paling mirip di bingkai sebelumnya:

Skema gambaran umum untuk AdaCodec.

Jarak antara dua lokasi menjadi vektor gerak, sementara perbedaan visual yang tersisa menjadi residu, dengan deskripsi kompak ini menggantikan kebutuhan untuk menyimpan gambar penuh.

Di sebelah kanan, kita melihat informasi yang dihasilkan dimasukkan ke dalam model AI: bingkai referensi penting masih diproses sebagai gambar lengkap, tetapi bingkai antara disajikan oleh token gerak dan residu yang jauh lebih kecil – tampaknya memungkinkan model untuk mempertahankan informasi yang cukup untuk memahami video, sambil memproses data visual yang jauh lebih sedikit.

Satu tantangan menarik adalah memutuskan bingkai mana yang layak disimpan sepenuhnya: kodek video tradisional biasanya menempatkan bingkai referensi pada interval teratur, apakah mereka diperlukan atau tidak. AdaCodec, sebagai gantinya, mencoba mengidentifikasi momen yang paling penting.

Sebagai contoh, pertimbangkan adegan yang sebagian besar menggambarkan percakapan statis antara dua orang di sebuah apartemen – dan tiba-tiba tim SWAT menerobos masuk melalui jendela. Seketika itu juga, sudut kamera dan jumlah potongan editing akan meningkat dan memerlukan lebih banyak data daripada interval bingkai referensi yang teratur akan menyediakan:

Ini adalah logika di balik metode kompresi variabel (kompresi bitrate variabel) yang menganalisis video sumber untuk periode ‘sibuk’ seperti itu, dan mengalokasikan lebih banyak data di mana diperlukan – dengan biaya waktu dan sumber daya yang tidak kecil.

Dalam AdaCodec, jika sebuah bingkai dapat diprediksi dengan akurat dari bingkai yang berdekatan, sistem terus menggunakan token gerak dan residu yang kompak; jika adegan berubah secara signifikan (misalnya, contoh tim SWAT di atas, atau sesuatu yang kurang dramatis), sebuah bingkai referensi penuh dimasukkan. Ini memungkinkan lebih banyak anggaran pemrosesan yang tersedia untuk dihabiskan pada informasi visual yang penting, bukan didistribusikan secara merata di seluruh video.

Data dan Pengujian

Dalam pengujian, para peneliti menggunakan Qwen3-VL-8B sebagai model dasar dan mengevaluasi AdaCodec di sebelas benchmark yang mencakup tiga area pemahaman video: kinerja video panjang dievaluasi dengan MLVU, LongVideoBench, dan LVBench; pemahaman temporal dengan TempCompass, MotionBench, dan TOMATO; dan pemahaman video umum dengan Video-MME, MVBench, NExT-QA, PerceptionTest, dan EgoSchema.

Model sumber terbuka yang diuji adalah InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B; dan Molmo2-O-7B.

Variasi GPT-5, Gemini, dan Claude muncul dalam tabel di bawah hanya sebagai baseline perbandingan. CoPE-VideoLM-7B dan ReMoRa-7B adalah model bahasa video sebelumnya yang mengurangi penggunaan token visual melalui kompresi yang terinspirasi kodek, membuat mereka pesaing langsung terdekat dengan AdaCodec:

Hasil utama di sebelas benchmark yang mencakup pemahaman video panjang, penalaran temporal, dan pemahaman video umum. Skor yang lebih tinggi menunjukkan kinerja yang lebih baik. LVB = LongVideoBench; V-MME = Video-MME. Nilai yang dicetak tebal dan bergaris bawah menunjukkan skor tertinggi dan kedua tertinggi di antara model sumber terbuka. Skor untuk model sumber tertutup diambil dari laporan resmi di mana tersedia, dengan hasil yang hilang diambil dari Molmo2 atau dievaluasi oleh penulis.

Untuk memastikan perbandingan yang adil, jumlah token visual yang sama dialokasikan untuk AdaCodec dan sistem Qwen3-VL-8B standar, memungkinkan hasilnya mencerminkan efektivitas pendekatan kompresi, bukan perbedaan dalam sumber daya komputasi.

Pada pengaturan yang paling agresif, AdaCodec mengurangi penggunaan token visual sekitar 86% sambil masih mencocokkan atau sedikit melebihi sistem dasar pada tugas pemahaman video panjang, temporal, dan umum.

Ketika token yang diselamatkan diinvestasikan kembali ke dalam pemrosesan lebih banyak bingkai video, kinerja meningkat di semua benchmark video panjang dan semua benchmark temporal, dengan keuntungan mencapai +5,4 poin pada LongVideoBench dan +4,3 poin pada TOMATO, sambil juga menghasilkan beberapa hasil sumber terbuka terkuat dalam studi.

Kesimpulan

Meskipun proyek seperti ini biasanya ditujukan untuk penyedia hyperscale, ini adalah jenis upaya yang akan menarik bagi hobiis dan SME, sebagai bagian dari ‘asketisme publik’ baru sekitar penerapan AI lokal yang rasional.

Dalam komunitas seperti r/stablediffusion, ini adalah berita lama, karena setiap rilis sumber terbuka besar yang tiba di sana secara teratur dioptimalkan menjadi versi yang sangat dioptimalkan (GGUF, berat kuantisasi, dll.) yang dapat berjalan, dengan sedikit kesabaran, pada kartu grafis yang lebih rendah.

Jika ‘tahap pertunjukan’ dari gelombang AI ketiga ini memang berakhir, dan dengan asumsi bahwa perusahaan akan terpukul oleh biaya nyata inferensi, maka inisiatif seperti AdaCodec mungkin merupakan bagian dari ‘optimasi besar’ yang akan datang.

^† Ini tidak sama dengan merender video ke format/file-size yang ramah pengguna; melainkan, ini berkaitan dengan generasi dan pengumpulan internal bingkai yang terjadi di dalam model AI pada saat inferensi.

* Konversi saya, dalam batas yang wajar, dari kutipan inline penulis ke tautan.

Dipublikasikan pertama kali pada hari Kamis, 4 Juni 2026