Kodek Video untuk Rekaman yang Dihasilkan AI

Ketika era penggunaan AI tanpa batas mulai berakhir, pendekatan baru yang ekonomis untuk menghasilkan video dengan AI menjanjikan penghematan token dan waktu yang berarti.

Biaya nyata inferensi AI menghadirkan pandangan baru yang lebih realistis di tengah laju pesat revolusi AI saat ini, seiring meningkatnya minat untuk merasionalisasi biaya pembelajaran mesin. Selain peluang menjalankan AI di lingkungan internal organisasi dan semakin meluasnya AI privat, proses pembelajaran mesin yang menghabiskan banyak VRAM dan sumber daya lain jelas juga perlu dioptimalkan.

Pembuatan video mungkin merupakan pengguna sumber daya terbesar dalam hal ini. Jika Anda pernah mengompresi ulang film atau mengekspornya dari perangkat lunak penyuntingan video, Anda tentu mengetahui beban yang ditimbulkan tugas tanpa AI ini pada perangkat keras: menghabiskan RAM dan siklus CPU, serta sering menghalangi penggunaan komputer untuk keperluan lain kecuali dampak algoritma kompresi pada komputer tersebut dibatasi.

Kita dapat membayangkan seberapa besar pertumbuhan video AI mengulangi proses yang rakus daya komputasi ini di pusat data seluruh dunia. Pada skala itu, peningkatan sekecil apa pun segera menjadi berarti jika dijumlahkan.

Berfokus pada bingkai

Dengan latar belakang tersebut, penelitian baru dari Shanghai bersama JD.com (JD ) mengusulkan kodek video yang tidak menyasar proses ekspor akhir, yaitu mengompresi bingkai mentah berukuran besar menjadi berkas video yang lebih kecil, melainkan proses pembuatan video AI itu sendiri.

Kodek video biasa tidak menyimpan setiap bingkai sebagai gambar utuh. Sebaliknya, kodek membuat lebih sedikit gambar lengkap, yang disebut bingkai I, lalu menyimpan perubahan antarbingkai.

Misalnya, ketika seseorang sedikit bergerak dalam video, kodek hanya mencatat bagian bingkai yang berubah, bukan menulis ulang seluruh adegan. Inilah bingkai P, yang diturunkan dari bingkai sebelumnya, dan bingkai B, yang juga dapat memanfaatkan informasi dari bingkai sesudahnya:

Struktur kodek video: baris atas menunjukkan urutan bingkai berlabel I, P, dan B. Bingkai I disimpan secara utuh dan ditampilkan dengan warna penuh, sedangkan bingkai P dan B dipudarkan untuk menunjukkan proses rekonstruksi. Panah menunjukkan penggunaan bingkai sebelumnya, sesudahnya, atau keduanya. Panel bawah memperlihatkan bingkai yang tersimpan utuh (I, kiri), bingkai yang dibangun dari bingkai sebelumnya (P, kedua dari kiri), serta bingkai yang dibangun dari bingkai sebelum dan sesudahnya (B, kanan).

Penggunaan kembali informasi yang berdekatan membuat berkas video tetap kecil. Sebagian besar bingkai bukan gambar baru, melainkan instruksi yang menjelaskan perubahan pada bingkai sebelumnya. Bingkai I adalah gambar utuh yang memakan banyak ruang, tanpa kompresi atau dengan kompresi minimal. Bingkai di antaranya hanya berisi perbedaan terhadap bingkai I dan perbedaan satu sama lain.

Jika setiap bingkai merupakan gambar utuh tanpa kompresi, film tersebut pada dasarnya tidak dikompresi. Film berdurasi dua jam yang disimpan sebagai video tanpa kompresi akan membutuhkan hampir satu terabita ruang penyimpanan, atau lebih. Namun, begitulah AI membuat film^†: AI mencurahkan sumber daya dan token dalam jumlah yang sama untuk setiap bingkai saat menghitung cara menyusun video.

Penghematan pada skala besar

Penelitian baru yang berjudul AdaCodec: A Predictive Visual Code for Video MLLMs justru menggunakan token visual lengkap hanya untuk bingkai referensi (bingkai I), sedangkan semua bingkai perantara direpresentasikan sebagai token P ringkas. Prinsipnya jelas diambil dari kompresi tradisional pada kodek video dunia nyata.

Setelah kompresi internal ini, video yang dibuat AI generatif dapat dikompresi seperti biasa. Secara teori, seluruh penghematan terjadi di sisi server:

Gambaran umum AdaCodec. Di kiri, video dibagi menjadi kelompok gambar adaptif. Bingkai I utuh digunakan khusus untuk momen yang sulit diprediksi, sedangkan bingkai P perantara direpresentasikan dengan informasi gerak dan residu yang ringkas. Di kanan, sistem menyamai atau melampaui Qwen3-VL-8B pada sebelas tolok ukur, mempertahankan akurasi video panjang yang lebih tinggi pada berbagai anggaran token, serta mengurangi latensi respons sambil memproses jauh lebih sedikit token video. Sumber

Hasil pengujian AdaCodec yang dilaporkan menunjukkan bahwa penghematan ini layak diupayakan. Menurut makalah tersebut, sistem mengungguli model Qwen3-VL-8B^[1] yang tidak dimodifikasi pada semua tolok ukur utama dengan jumlah pemrosesan yang sama. Setelah token video dikurangi sekitar 86% pun, kinerjanya masih menyamai atau melampaui model tersebut.

Para penulis menyatakan*:

“Kami terinspirasi oleh pengodean prediktif, ketika sistem mengirimkan kesalahan suatu prediksi, bukan sinyal mentah. Prinsip ini memiliki landasan biologis: sistem visual diperkirakan mengodekan kesalahan prediksi, yaitu selisih antara masukan yang diharapkan dan yang diamati, bukan masukan itu sendiri.”

“Kodek video modern menggunakan gagasan pengodean residu yang sama dalam rekayasa: bingkai referensi membawa isi lengkap, sedangkan bingkai prediktif membawa sinyal gerak dan residu relatif terhadap suatu bingkai referensi.”

“Sistem-sistem ini memiliki tujuan berbeda, tetapi struktur kondisionalnya sama: ketika sampel yang berdekatan berisi informasi berulang, saluran seharusnya membawa informasi yang tidak dapat dijelaskan oleh prediksi.”

“Namun, kodek standar dioptimalkan untuk aliran bit dan rekonstruksi yang dapat dilihat manusia, bukan token visual yang digunakan LLM. Karena itu, kami merancang ulang mekanisme ini sebagai antarmuka MLLM untuk memahami video.”

Penelitian baru ini ditulis oleh 11 peneliti dari Shanghai Jiao Tong University, Shanghai Innovation Institute, dan JD.com. Penelitian ini memiliki halaman proyek, dan kode sumbernya dijanjikan akan dirilis.

Metode

Seperti dijelaskan, sistem tidak memperlakukan setiap bingkai sebagai gambar yang sepenuhnya baru, melainkan mencari perubahan dari satu bingkai ke bingkai berikutnya. Di kiri gambar di bawah, wilayah kecil pada bingkai saat ini dicocokkan dengan wilayah paling mirip pada bingkai sebelumnya:

Skema umum AdaCodec.

Jarak antara kedua posisi menjadi vektor gerak, sedangkan perbedaan visual yang tersisa menjadi residu. Deskripsi ringkas ini menggantikan kebutuhan untuk menyimpan gambar utuh.

Di kanan, informasi yang diperoleh dimasukkan ke model AI. Bingkai referensi penting masih diproses sebagai gambar lengkap, tetapi bingkai perantara direpresentasikan dengan token gerak dan residu yang jauh lebih kecil. Tampaknya, cara ini memungkinkan model menyimpan informasi yang cukup untuk menafsirkan video sambil memproses jauh lebih sedikit data visual.

Tantangan menariknya adalah menentukan bingkai mana yang layak disimpan utuh. Kodek tradisional biasanya menempatkan bingkai referensi pada interval tetap, baik diperlukan maupun tidak. AdaCodec justru berupaya mengenali momen terpenting.

Bayangkan adegan dua orang yang mengobrol hampir tanpa bergerak di sebuah apartemen. Tiba-tiba, tim SWAT menerobos lewat jendela. Sudut kamera dan jumlah potongan penyuntingan langsung bertambah, sehingga diperlukan jauh lebih banyak data daripada yang dapat disediakan interval bingkai referensi yang tetap:

Inilah prinsip metode kompresi variabel, seperti laju bit variabel. Metode ini menganalisis video sumber untuk menemukan bagian yang ramai tersebut dan mengalokasikan lebih banyak data di tempat yang diperlukan, dengan biaya waktu dan sumber daya yang tidak sedikit.

Jika AdaCodec dapat memprediksi bingkai dengan akurat dari bingkai yang berdekatan, sistem terus memakai token gerak dan residu yang ringkas. Jika adegan berubah secara berarti, seperti contoh SWAT atau perubahan yang tidak sedramatis itu, sistem menyisipkan bingkai referensi utuh. Dengan demikian, lebih banyak anggaran pemrosesan dapat digunakan untuk informasi visual penting, bukan dibagikan secara merata ke seluruh video.

Data dan pengujian

Peneliti menggunakan Qwen3-VL-8B yang disebutkan sebelumnya sebagai model dasar dan mengevaluasi AdaCodec pada sebelas tolok ukur yang mencakup tiga bidang pemahaman video: kinerja pada video panjang dinilai dengan MLVU, LongVideoBench, dan LVBench; pemahaman temporal dengan TempCompass, MotionBench, dan TOMATO; dan pemahaman video secara umum dengan Video-MME, MVBench, NExT-QA, PerceptionTest, dan EgoSchema.

Model sumber terbuka yang diuji adalah InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B; dan Molmo2-O-7B.

Varian GPT-5, Gemini, dan Claude hanya tampil pada tabel di bawah sebagai pembanding dasar. CoPE-VideoLM-7B dan ReMoRa-7B adalah model bahasa video terdahulu yang mengurangi pemakaian token visual melalui kompresi terinspirasi kodek. Keduanya merupakan pesaing langsung yang paling dekat dengan AdaCodec:

Hasil utama pada sebelas tolok ukur untuk pemahaman video panjang, penalaran temporal, dan pemahaman video secara umum. Skor lebih tinggi menunjukkan kinerja lebih baik. LVB = LongVideoBench; V-MME = Video-MME. Cetak tebal dan garis bawah menunjukkan skor tertinggi dan kedua tertinggi di antara model sumber terbuka. Skor model tertutup diambil dari laporan resmi jika tersedia. Hasil yang tidak tersedia diambil dari Molmo2 atau dievaluasi oleh para penulis.

Agar perbandingan adil, AdaCodec dan sistem Qwen3-VL-8B standar mendapat jumlah token visual yang sama. Dengan demikian, hasil mencerminkan efektivitas metode kompresi, bukan perbedaan sumber daya komputasi.

Pada pengaturan kompresi terkuat, AdaCodec mengurangi pemakaian token visual sekitar 86%, sambil menyamai atau sedikit melampaui sistem dasar dalam tugas video panjang, pemahaman temporal, dan pemahaman video secara umum.

Ketika token yang dihemat digunakan untuk memproses lebih banyak bingkai, kinerja meningkat pada semua tolok ukur video panjang dan semua tolok ukur temporal. Peningkatannya mencapai +5,4 poin pada LongVideoBench dan +4,3 poin pada TOMATO, dengan beberapa hasil sumber terbuka terkuat dalam penelitian ini.

Kesimpulan

Meskipun proyek seperti ini biasanya menyasar penyedia berskala sangat besar, upaya semacam ini juga akan menarik bagi penghobi dan usaha kecil dan menengah. Ini mungkin menjadi bagian dari sikap hemat baru yang terlihat di ranah publik dalam penerapan AI secara lokal dan lebih rasional.

Di komunitas seperti r/stablediffusion, hal ini sudah lama dikenal: setiap rilis besar model sumber terbuka secara rutin dipaksa menjadi versi yang dioptimalkan secara ekstrem (GGUF, bobot terkuantisasi, dan sebagainya) yang dapat berjalan pada kartu grafis kelas bawah, dengan sedikit kesabaran.

Jika fase yang berorientasi pada pertunjukan dalam gelombang ketiga AI ini benar-benar telah berakhir^[1], dan diasumsikan bahwa perusahaan akan gentar menghadapi biaya inferensi yang sebenarnya, inisiatif seperti AdaCodec mungkin menjadi bagian dari “optimasi besar” yang akan datang.

^† Ini tidak sama dengan mengekspor video ke format dan ukuran berkas yang sesuai bagi pengguna. Yang dimaksud ialah pembuatan serta penyusunan bingkai di dalam model AI ketika inferensi berlangsung.

* Saya mengubah rujukan para penulis di dalam teks menjadi pranala, dalam batas yang wajar.

Pertama kali dipublikasikan pada Kamis, 4 Juni 2026