Tantangan MengCaption Video pada Lebih dari 1fps

Kemampuan sistem pembelajaran mesin untuk mengenali peristiwa yang terjadi di dalam video sangat penting bagi masa depan generasi video berbasis AI – tidak hanya karena dataset video memerlukan caption yang akurat untuk menghasilkan model yang sesuai dengan permintaan pengguna, tetapi juga untuk mencegah kelebihan halusinasi.

Contoh skema caption dari proyek VidReCap Google. Sumber: https://sites.google.com/view/vidrecap

Mencaption video secara manual dalam skala yang dibutuhkan untuk dataset pelatihan yang efektif adalah prospek yang tidak masuk akal. Meskipun memungkinkan untuk melatih sistem AI untuk mencaption video secara otomatis, masih dibutuhkan banyak contoh yang dihasilkan manusia sebagai kebenaran, untuk variasi dan cakupan.

Lebih penting lagi, hampir semua model caption video berbasis AI saat ini beroperasi pada 1fps, yang tidak cukup untuk memahami variasi dalam banyak skenario: perubahan mikro-ekspresi yang tiba-tiba untuk sistem pengenalan emosi; peristiwa cepat dalam olahraga seperti basket; gerakan cepat; potongan cepat dalam film drama, di mana sistem seperti PySceneDetect mungkin gagal mengidentifikasi mereka (atau tidak digunakan); dan banyak skenario lain di mana jendela perhatian jelas perlu lebih intens.

Klik untuk memutar. Aksi cepat tetapi berubah hidup dalam apa yang biasanya menjadi salah satu olahraga terlambat di dunia, ketika Alex Higgins memenangkan kejuaraan dunia melawan Ray Reardon pada 1982. Sumber: https://www.youtube.com/watch?v=_1PuqKno_Ok

Pindah Cepat dan Putus Logika

Laju rendah ini adalah standar untuk berbagai alasan logistik. Salah satunya, caption video adalah kegiatan yang intensif sumber daya, baik sistem tersebut mempelajari satu frame berurutan pada satu waktu, atau menggunakan metode untuk mengkoherensikan sekumpulan frame menjadi urutan caption yang dapat diinterpretasikan. Dalam kedua kasus, jendela konteks secara tidak terhindarkan dibatasi oleh keterbatasan perangkat keras.

Alasan lain untuk 1fps sebagai standar saat ini adalah bahwa video tidak umumnya dipenuhi dengan peristiwa cepat; oleh karena itu, redundan untuk memberikan 300 frame meja snooker statis dengan perhatian yang sama seperti detik ketika bola hitam dipasang dan memenangkan kejuaraan (lihat contoh di atas).

Memungkinkan untuk menggunakan petunjuk sekunder yang lebih luas untuk mengidentifikasi momen penting dalam video olahraga, seperti reaksi penonton yang berkelanjutan terhadap slam dunk cepat dalam permainan basket. Namun, petunjuk seperti itu dapat terjadi karena alasan lain (seperti cedera pemain yang tidak terduga), dan tidak dapat diandalkan. Ini adalah salah satu contoh bagaimana dataset video yang salah dapat menyebabkan model video generatif yang mengalami halusinasi atau salah menginterpretasikan instruksi, yaitu karena model mungkin menunjukkan cedera pemain ketika diminta untuk menghasilkan slam dunk (karena ‘petunjuk sekunder’ dari kegembiraan penonton tidak eksklusif untuk satu jenis peristiwa tertentu).

Ini sebagian besar merupakan masalah ‘anggaran’, dan sebagian lagi merupakan masalah prosedural. Kerangka kerja hingga saat ini beroperasi berdasarkan prinsip bahwa frame kunci yang jarang dapat secara efektif menangkap informasi penting, tetapi ini lebih efektif dalam menetapkan genre dan aspek lain dari subjek video, karena bukti dalam kasus tersebut bertahan selama beberapa frame.

F-16

Sebuah makalah baru dari Cina menawarkan solusi, dalam bentuk multimodal large language model (MLLM, atau hanya LLM) pertama yang dapat menganalisis video pada 16fps bukan standar 1fps, sambil menghindari jebakan besar peningkatan laju analisis.

Dalam pengujian, penulis mengklaim bahwa sistem baru, yang berjudul F-16, outperform model proprietary state-of-the-art seperti GPT-4o dan Google’s Gemini-1.5 pro. Meskipun model lain saat ini dapat mencocokkan atau melebihi hasil F-16 dalam percobaan, model yang bersaing jauh lebih besar dan lebih sulit digunakan.

Meskipun F-16 dilatih pada beberapa perangkat keras serius (seperti yang akan kita lihat segera), inferensi biasanya jauh kurang menuntut daripada pelatihan. Oleh karena itu, kita dapat berharap bahwa kode (yang dijanjikan untuk dirilis di masa depan) akan dapat dijalankan pada GPU domestik tingkat menengah atau tinggi.

Apa yang dibutuhkan untuk kelangsungan adegan hobi (dan itu termasuk adegan VFX profesional, sebagian besar waktu) adalah model caption video jenis ini yang dapat beroperasi, mungkin kuantifikasi, pada sistem konsumen, sehingga seluruh adegan video generatif tidak bermigrasi ke sistem komersial berbasis API, atau memaksa konsumen untuk menghubungkan kerangka kerja lokal ke layanan GPU komersial online.

Melampaui Penskalaan

Penulis mengamati bahwa pendekatan ini merupakan alternatif praktis untuk penskalaan dataset. Dapat disimpulkan juga bahwa jika Anda akan melemparkan lebih banyak data ke masalah, ini masih merupakan pendekatan yang dapat disukai, karena sistem baru membedakan peristiwa dengan cara yang lebih halus.

Mereka menyatakan:

‘Pengambilan sampel laju frame rendah dapat menyebabkan kehilangan informasi visual kritis, terutama dalam video dengan adegan yang berubah cepat, detail yang rumit, atau gerakan cepat. Selain itu, jika frame kunci dilewatkan, tetapi model dilatih pada label yang bergantung pada informasi frame kunci, maka model mungkin bergelut untuk menyelaraskan prediksi dengan konten yang diharapkan, sehingga menyebabkan halusinasi dan kinerja yang buruk…

‘… F-16 mencapai kinerja SOTA dalam pemahaman video umum di antara model seukuran, dan menunjukkan keunggulan yang jelas dalam pemahaman video laju tinggi, outperform model komersial seperti GPT-4o. Pekerjaan ini membuka arah baru untuk memajukan pemahaman video laju tinggi dalam penelitian LLM multimodal.’

Makalah baru ini berjudul Meningkatkan Pemahaman Video LLM dengan 16 Frame Per Detik, dan berasal dari delapan penulis di Universitas Tsinghua dan ByteDance.

Metode

Karena frame berurutan sering mengandung informasi yang redundan, F-16 menerapkan pengatur laju frame tinggi untuk mengompresi dan mengkodekan detail gerakan kunci sambil mempertahankan semantik visual. Setiap frame diproses terlebih dahulu oleh pengkode gambar pra-dilatih, mengekstrak representasi fitur sebelum dilewatkan ke pengatur berdasarkan Gaussian Error Linear Units (GELUs).

Arsitektur F-16 memproses video pada 16 FPS, menangkap lebih banyak frame daripada model laju frame rendah tradisional, dan pengatur laju frame tingginya mempertahankan semantik visual sambil mengkodekan dinamika gerakan secara efisien tanpa menambahkan token visual ekstra. Sumber: https://arxiv.org/pdf/2503.13956

Untuk menangani peningkatan jumlah frame secara efisien, F-16 mengelompokkan frame menjadi jendela pemrosesan kecil, menggabungkan fitur visual menggunakan tiga lapis Multi-Layer Perceptron (MLP), membantu mempertahankan hanya detail gerakan yang paling relevan, dan mengurangi duplikasi yang tidak perlu, sambil mempertahankan aliran tindakan temporal. Lapis max-pooling spasial lebih lanjut mengompresi jumlah token, menjaga biaya komputasi dalam batas.

Token video yang diproses kemudian dimasukkan ke dalam Qwen2-7B LLM, yang menghasilkan respons teks berdasarkan fitur visual yang diekstrak dan prompt pengguna yang diberikan.

Dengan membangun input video dengan cara ini, F-16 memungkinkan, menurut penulis, pengenalan peristiwa yang lebih presisi dalam adegan dinamis, sambil tetap mempertahankan efisiensi.

Versi Singkat

F-16 memperluas LLM gambar pra-dilatih, LLaVA-OneVision, untuk memproses video dengan mengubah pipa input visualnya. Sementara LLM gambar standar menangani frame terisolasi, pengatur laju frame tinggi F-16 mereformat beberapa frame menjadi bentuk yang dapat diproses model dengan lebih efisien; ini menghindari membanjiri sistem dengan informasi redundan sambil mempertahankan petunjuk gerakan kunci yang diperlukan untuk pemahaman video yang akurat.

Untuk memastikan kompatibilitas dengan fondasi berbasis gambar, F-16 menggunakannya kembali parameter pra-dilatih dengan mengubah pengatur menjadi sub-matriks. Pendekatan ini memungkinkan F-16 untuk mengintegrasikan pengetahuan dari model frame tunggal sambil beradaptasi dengan input video berurutan.

Pengatur pertama-tama mengompresi urutan frame menjadi format yang dioptimalkan untuk LLM, mempertahankan fitur paling informatif sambil membuang detail yang tidak perlu. Desain arsitektur memungkinkan sistem untuk memproses video laju frame tinggi sambil menjaga tuntutan komputasi tetap terkendali, yang penulis anggap sebagai bukti bahwa penskalaan bukan satu-satunya (atau cara terbaik) untuk caption video.

Mengubah Kecepatan

Karena memproses video pada 16 FPS meningkatkan pemahaman gerakan tetapi meningkatkan biaya komputasi, terutama selama inferensi, F-16 memperkenalkan metode decoding laju frame variabel, yang memungkinkan F-16 untuk menyesuaikan laju frame secara dinamis tanpa perlu dilatih ulang.

Pengatur frame tunggal dan laju frame tinggi yang tersedia untuk F-16.

Kelenturan ini memungkinkan model untuk beroperasi secara efisien pada FPS yang lebih rendah ketika presisi tinggi tidak diperlukan, dan mengurangi beban komputasi.

Saat waktu pengujian, ketika laju frame yang lebih rendah dipilih, F-16 menggunakannya kembali parameter pengatur yang telah dilatih sebelumnya dengan mengulangi frame input untuk mencocokkan dimensi yang diharapkan. Ini memastikan bahwa model masih dapat memproses video secara efektif tanpa memodifikasi arsitektur.

Tidak seperti downsampling naif (yaitu, hanya menghapus frame), yang berisiko kehilangan detail gerakan kritis, metode ini mempertahankan representasi gerakan yang dipelajari oleh pengatur, sehingga mempertahankan akurasi bahkan pada laju frame yang berkurang. Untuk pemahaman video umum, pengaturan FPS yang lebih rendah dapat mempercepat inferensi tanpa kehilangan kinerja yang signifikan, sementara analisis gerakan laju tinggi masih dapat memanfaatkan kemampuan 16 FPS penuh.

Data dan Pengujian

Dibangun di atas Qwen2-7B, FP-16 memperluas LLaVA-OneVision menggunakan SigLIP sebagai pengkode gambar. Dengan frame video yang diambil pada 16 FPS, hingga 1.760 frame dapat diperoleh dari setiap video. Untuk klip video yang lebih panjang, frame diambil secara seragam (yaitu, lebih jarang).

Untuk pelatihan, F-16 menggunakan dataset video umum yang sama dengan LLaVA-Video, termasuk LLaVA-Video-178K, NExT-QA, ActivityNet-QA, dan PerceptionTest.

F-16 juga diperhalus pada dataset olahraga laju tinggi FineGym, Diving48, dan SoccerNet. Penulis juga mengkurasi koleksi 276 pertandingan NBA yang dimainkan antara 13 dan 25 November 2024, fokus pada apakah tembakan berhasil, menggunakan set pengujian NSVA yang dievaluasi dengan skor F1.

Model dievaluasi menggunakan set pengujian NSVA, dengan kinerja diukur oleh skor F1.

Model gimnastik dan selam dievaluasi berdasarkan akurasi pengenalan aksi, sementara model sepak bola dan basket melacak operan dan hasil tembakan.

Model dilatih selama 1 epoch menggunakan 128 NVIDIA H100 GPUs (dan pada 80GB VRAM per GPU, ini memerlukan penggunaan 10,24 terabyte memori GPU; bahkan menurut standar saat ini, ini adalah klaster GPU dengan spesifikasi tertinggi yang pernah saya temui dalam mengikuti literatur penelitian visi komputer). Tingkat pembelajaran sebesar 2×10⁻⁵ digunakan selama pelatihan.

Selain itu, LoRA diperhalus pada data olahraga menggunakan adapter LoRA dengan 64 GPU selama 5 epoch. Di sini, hanya LLM yang dilatih, meninggalkan pengkode gambar dibekukan.

Kerangka kerja yang bersaing diuji dalam putaran awal untuk ‘pemahaman video umum’ adalah GPT-4o; Gemini-1.5-Pro; Qwen2-VL-7B; VideoLLaMA2-7B; VideoChat2-HD-7B; LLaVA-OV-7B; MiniCPM-V2.6-8B; LLaVA-Video-7B; dan NVILA-7B;

Model dievaluasi pada Video-MME; VideoVista; TemporalBench; MotionBench; Next-QA; MLVU; dan LongVideoBench.

Perbandingan hasil QA video di seluruh model, menunjukkan batas FPS dan kinerja pada beberapa benchmark. F-16 mencapai SOTA di antara model 7B pada Video-MME, NQA, TPB, dan MB, bersaing dengan model komersial seperti GPT-4o dan Gemini-1.5-Pro.

Dari hasil ini, penulis menyatakan:

‘Pada Video-MME Short, Medium, dan NeXT-QA—setiap dataset dirancang untuk pemahaman video pendek—model kami melampaui model SOTA sebelumnya sebesar 3,2%, 1,0%, dan 0,9% dalam akurasi, menekankan kinerja kuat pada video pendek.

‘Untuk benchmark yang mengevaluasi pemahaman video panjang, seperti Video-MME Long, LongVideoBench, dan MLVU, tantangannya lebih besar karena pengambilan sampel frame yang lebih jarang, menyebabkan frame dalam jendela pemrosesan menunjukkan variasi yang lebih signifikan.

‘Ini meningkatkan kesulitan bagi pengatur modalitas untuk secara efektif mengkodekan perubahan temporal dalam representasi token yang terbatas. Sebagai hasilnya, F-16 mengalami sedikit penurunan kinerja dibandingkan dengan [LLaVA-Video-7B], yang dilatih pada dataset video yang sama.’

Pengolahan laju frame tinggi F-16, lanjut penulis, juga menghasilkan perbaikan sebesar 13,5% pada TemporalBench dan keuntungan sebesar 2,5% pada MotionBench, dibandingkan dengan model 7B yang ada, dan berkinerja pada tingkat yang serupa dengan model komersial seperti GPT-4o dan Gemini-1.5-Pro.

Pemahaman Video Olahraga Laju Tinggi

F-16 diuji pada FineGym, Diving48, SoccerNet, dan dataset NBA untuk mengevaluasi kemampuan F-16 untuk memahami aksi olahraga laju tinggi.

Menggunakan 10.000 klip NBA yang telah diannotasi secara manual, pelatihan fokus pada gerakan bola dan aksi pemain, dan apakah model dapat dengan benar menentukan apakah tembakan berhasil, menggunakan set pengujian NSVA yang dievaluasi dengan skor F1.

Hasil analisis video olahraga laju tinggi. F-16 dengan pengatur laju frame tinggi berkinerja lebih baik daripada rekan laju frame rendah di semua tugas olahraga. GPT-4o dan Gemini-1.5-Pro juga dievaluasi pada NBA dan SoccerNet QA, di mana pengetahuan pelatihan domain tidak diperlukan.

Pada FineGym, yang mengukur pengenalan aksi gimnastik, F-16 berkinerja 13,8% lebih baik daripada model SOTA sebelumnya sebesar 7B, menunjukkan pemahaman gerakan halus yang ditingkatkan.

Diving48 memerlukan identifikasi urutan gerakan kompleks seperti lemparan, salto, putaran, dan terbang fase, dan F-16 menunjukkan akurasi yang lebih tinggi dalam mengenali transisi ini.

Untuk SoccerNet, model menganalisis klip 10 detik, mengidentifikasi operan bola, dan hasil menunjukkan perbaikan dibandingkan dengan model 7B yang ada, menunjukkan bahwa FPS yang lebih tinggi menyumbang pada pelacakan gerakan kecil dan cepat.

Pada dataset NBA, kemampuan F-16 untuk menentukan hasil tembakan mendekati akurasi model komersial yang lebih besar seperti GPT-4o dan Gemini-1.5-Pro, lebih lanjut menunjukkan bahwa laju frame yang lebih tinggi meningkatkan kemampuan F-16 untuk memproses gerakan dinamis.

Laju Frame Variabel

F-16 diuji pada laju frame yang berbeda untuk mengukur kemampuan adaptasinya. Sebagai gantinya untuk dilatih ulang, F-16 menangani FPS yang lebih rendah dengan mengulangi frame untuk mencocokkan struktur input pengatur. Pendekatan ini mempertahankan kinerja lebih baik daripada hanya menghapus frame (yang rentan menyebabkan kehilangan akurasi).

Hasil menunjukkan bahwa meskipun mengurangi FPS memiliki beberapa dampak pada pengenalan gerakan, F-16 masih outperform model laju frame rendah dan mempertahankan hasil yang kuat bahkan di bawah 16 FPS.

Kiri, konsumsi waktu modul F-16 yang berbeda selama inferensi, diukur pada 300 video dari set Video-MME Long pada laju FPS pengujian yang berbeda dan panjang urutan. Kanan, perbandingan antara kinerja Video-MME untuk model yang dilatih dan diuji pada laju FPS yang berbeda. Garis padat mewakili model yang dilatih dan diuji pada laju FPS yang sama, sementara garis putus-putus menunjukkan kinerja ketika model yang dilatih pada 16 FPS diuji pada laju frame yang lebih rendah.

Pengolahan laju frame tinggi F-16 meningkatkan persyaratan komputasi, meskipun pengatur F-16 membantu mengelola biaya ini dengan mengompresi token visual yang redundan.

Model memerlukan lebih banyak FLOPs per video daripada model laju frame rendah, tetapi juga mencapai akurasi yang lebih baik per token, menunjukkan bahwa strategi seleksi frame dan kompresi token F-16 membantu mengimbangi peningkatan komputasi.

Kesimpulan

Sulit untuk melebih-lebihkan baik pentingnya maupun tantangan dari jalur penelitian ini – terutama tahun ini, yang diperkirakan akan menjadi tahun terobosan untuk video generatif, melemparkan kekurangan kurasi dataset video dan kualitas caption ke dalam sorotan.

Harus ditekankan bahwa tantangan yang terlibat dalam mendapatkan deskripsi yang akurat dari detail internal video tidak dapat dipecahkan secara eksklusif dengan melemparkan VRAM, waktu, atau ruang disk ke masalah. Metode dengan cara peristiwa diisolasi/diekstrak dari trek video yang panjang dan membosankan (seperti klip video golf atau snooker, misalnya) akan mendapat manfaat dari pemikiran ulang tentang pendekatan semantik dan mekanisme yang saat ini mendominasi solusi SOTA – karena beberapa keterbatasan ini ditetapkan pada zaman yang lebih miskin sumber daya.

(secara kebetulan, bahkan jika 16fps tampak seperti laju frame yang sangat rendah untuk 2025, menarik untuk dicatat bahwa ini juga merupakan kecepatan pelatihan asli klip video yang digunakan dalam model video generatif Wan 2.1 yang sangat populer, dan kecepatan di mana ia beroperasi dengan sedikit masalah. Semoga adegan penelitian akan terus memperhatikan ‘entropi standar’ yang mungkin terjadi; kadang-kadang keterbatasan yang sudah usang dapat mempertahankan standar masa depan)

Dipublikasikan pertama kali pada Rabu, 19 Maret 2025