AI Lebih Memilih Membaca Buku Daripada Menonton Film

Sangat mengejutkan bahwa model AI sulit untuk menonton dan mengomentari konten video yang sebenarnya, bahkan jika mereka dirancang untuk tugas tersebut. Mereka lebih tertarik pada kata-kata yang tertulis.

Jika Anda pernah mencoba mengunggah klip video kecil ke ChatGPT atau model visi/bahasa lainnya, Anda mungkin terkejut mengetahui bahwa mereka tidak dapat memparse video. Meskipun model seperti ChatGPT-4o+ dapat menganalisis frame individu – dalam bentuk gambar, seperti JPEG dan PNG – mereka lebih suka jika pengguna mengekstrak frame mereka sendiri dan mengunggahnya sebagai gambar (yang mereka siap komentari).

Dalam kasus seri GPT OpenAI, seseorang dapat, dengan cukup melelahkan, mengekstrak rangkaian frame lengkap dari klip video dan memberikannya kepada ChatGPT, untuk tujuan seperti menghasilkan trek narasi yang dibuat AI untuk video:

Gambar dan kode dari tutorial OpenAI tentang parsing beberapa frame yang diekstrak untuk tujuan mengembangkan komentari yang dibuat AI untuk klip video. Sumber

Namun, pengguna harus melakukan konversi dari video ke frame, baik dengan memanggil fungsi dalam rutinitas yang lebih besar, seperti contoh di atas, atau mengekstrak frame dengan FFMPEG atau berbagai solusi pengeditan video gratis dan berbayar.

Sebagian, mungkin sebagian besar, keterbatasan analisis video dalam produk skala besar seperti ChatGPT bergantung pada penggunaan sumber daya: hanya dengan memasang satuan contoh AI dengan pilihan codec video paling populer, dan mengkomit sumber daya komputasi untuk proses ekstraksi yang berat disk dan CPU-throttling, bukanlah pertimbangan kecil, jika ratusan juta pengguna memutuskan untuk mulai menggunakan fasilitas ini setiap hari.

Tambahnya, analisis temporal dapat menggambarkan gambaran yang sangat berbeda daripada satu frame (bayangkan seseorang memasuki rumah dengan mood bahagia dan kemudian menemukan mayat); oleh karena itu, mempertimbangkan checksum temporal dari bahkan klip video pendek adalah tugas yang menantang dan intensif sumber daya – serta area penelitian khusus, seperti pengembangan kerangka kerja seperti Optical Flow – yang pada dasarnya “membuka” panjang video sehingga dapat dianggap dan diaktifkan seperti dokumen statis:

Diagram aliran optik menyoroti bagaimana gerakan dilacak di seluruh frame dalam urutan video, dengan vektor hijau menunjukkan arah dan intensitas gerakan. Pemetaan ini menyediakan kontinuitas temporal yang diperlukan untuk VLM dan juga dapat berfungsi sebagai panduan struktural dalam alur kerja VFX. Sumber

Mengambil Ringkasan

Meskipun demikian, karena model seperti Notebook LM Google dan entri ChatGPT yang lebih baru dapat membaca metadata yang terkait (yaitu, konten teks yang tertanam yang memberikan konteks pada video dengan cara tertentu), mereka tidak melarang unggahan file video; dan terkadang, mereka bahkan akan berusaha untuk menafsirkan video yang tidak memiliki data tersebut.

Dalam kasus berikut, saya mengunggah klip acak 6 detik dari film Italia The Hand of God (2021) ke NotebookLM, memastikan bahwa klip tersebut tidak mengandung teks yang berguna, baik dalam metadata maupun dalam nama file.

NotebookLM kemudian melanjutkan untuk mengarang materi yang tidak terkait dengan video*, lengkap dengan podcast head-to-head yang tidak masuk akal dan tidak terkait:

Saat sehari-hari dalam klip 6 detik dari film Italia adalah salah tafsir oleh NotebookLM. Sumber: Google NotebookLM

Meskipun Notebook, seperti ChatGPT, akan menerima video YouTube sebagai input, hanya akan dilakukan jika video tersebut memiliki lapisan teks yang dapat diinterpretasikan dan/atau subtitle (bukan subtitle yang dibakar ke dalam video).

Dengan cara ini, pekerjaan yang sebenarnya melihat dan mendengarkan konten video dan melakukan interpretasi semantik (kebutuhan hukum untuk YouTube, karena langkah perlindungan hak cipta, dan sistem perlindungan identitas yang akan datang), telah dilakukan setelah unggahan pengguna, ketika klip dapat dialokasikan sumber daya pemrosesan yang diperlukan.

Interpretasi video yang sebenarnya sangat mahal dan melelahkan, dan ternyata, bahkan model yang telah dilatih khusus untuk melakukan tugas ini lebih suka membaca teks daripada benar-benar melihat video.

TL;DW

Hal ini, menurut makalah baru dari Universitas Bristol, Inggris, berjudul Sebuah Video Tidak Setara dengan Seribu Kata, di mana dua penulis menyimpulkan bahwa model bahasa visi (VLM) saat ini – model yang dirancang untuk menganalisis video dengan cara yang lebih berusaha – juga beralih ke informasi berbasis teks setiap kali memungkinkan.

Ketika diberikan gambar bergerak dan pertanyaan teks serta jawaban pilihan ganda, penulis makalah menemukan bahwa model biasanya memilih jawaban berdasarkan pola dalam teks, bukan apa yang terjadi di layar – dalam banyak kasus, performa sama baiknya bahkan ketika pertanyaan diambil.

Dalam apa yang tampaknya menjadi bentuk pemotongan jalan atau kecurangan, apa yang paling penting bagi sebagian besar model adalah dapat memilih pola dalam jawaban yang mungkin; hanya ketika tugas tersebut diperumit dengan menambahkan lebih banyak pilihan jawaban, AI mulai memperhatikan video.

Penulis memberikan tes VQA pada enam model VLM dengan panjang konteks yang berbeda, pada empat dataset yang sesuai; dan menemukan bahwa hasilnya menunjukkan ketergantungan model pada teks daripada konten video.

Contoh dari studi yang menunjukkan bagaimana model analisis video menimbang apa yang dilihat versus apa yang dibaca. Klip menunjukkan seseorang menenun bambu, namun model memberikan lebih banyak perhatian pada teks pertanyaan dan jawaban daripada frame video itu sendiri. Sorot biru menunjukkan elemen yang mendukung jawaban yang dipilih, sementara sorot merah menunjukkan elemen yang menariknya ke arah yang berlawanan, menggambarkan bagaimana alasan model berfokus pada kata-kata daripada gambar bergerak.

Metode

Untuk memahami seberapa besar setiap input berkontribusi pada keputusan model, penelitian baru ini menggunakan metode dari teori permainan yang disebut Nilai Shapley. Awalnya dirancang untuk membagi pembayaran secara adil di antara pemain dalam koalisi, Nilai Shapley mengassign kredit kepada setiap “pemain” berdasarkan dampak individu mereka.

Secara efektif, pemain dalam skenario ini adalah frame video atau komponen teks (anotasi, subtitle, caption, dll.) dari tugas VQA; dan “pembayaran” adalah jawaban akhir model. Dengan menguji secara sistematis apa yang terjadi ketika setiap bagian ditambahkan atau dihilangkan, teknik ini mengungkapkan seberapa penting elemen tersebut dalam mencapai jawaban yang dipilih.

Dalam kasus proyek baru ini, untuk memperluas metode di seluruh jenis data yang berbeda, Nilai Shapley disesuaikan untuk menangani modalitas yang dicampur, dengan komponen video dan teks diperlakukan secara terpisah, dan pengaruh yang berbeda pada output model diukur, mengungkapkan apakah konten video benar-benar diinterpretasikan, atau apakah petunjuk teks digunakan sebagai jalan pintas.

Metriks

Dua metrik sederhana didefinisikan untuk membandingkan seberapa besar setiap modalitas (yaitu, video, pertanyaan, atau jawaban) berkontribusi pada keputusan model: Kontribusi Modalitas mengukur seberapa besar penjelasan total berasal dari setiap jenis input; di sini, semua nilai Shapley yang tersedia dijumlahkan, dan bagian yang dimiliki oleh setiap modalitas dihitung sebagai persentase dari total.

Kedua, Kontribusi per-Fitur memperbaiki kenyataan bahwa beberapa modalitas, seperti video, mengandung banyak lebih fitur daripada yang lain. Sebagai gantinya, nilai Shapley rata-rata dihitung untuk setiap fitur, dan rata-rata tersebut dibandingkan untuk menentukan modalitas mana yang dominan.

Data dan Tes

Penulis menguji pendekatan ini pada enam model VLM dengan karakteristik yang berbeda untuk memastikan bahwa prinsip-prinsip tes secara umum berlaku dan dapat diterapkan secara luas. Oleh karena itu, model dipilih untuk panjang konteks yang berbeda, usia yang berbeda (yaitu, seberapa lama sejak kerangka kerja dirilis), dan konfigurasi arsitektur yang berbeda.

Peserta adalah FrozenBiLM; InternVideo; VideoLLaMA2; VideoLLaMA3; LLaVa-Video (yang menggunakan Qwen2); dan LongVA (juga menggunakan Qwen2).

Dengan tujuan yang sama untuk keragaman, empat dataset target yang dipilih adalah EgoSchema, dataset VQA yang dirancang untuk mustahil diselesaikan tanpa menonton video yang terkait; HD-EPIC, dataset yang berfokus pada dapur dan menampilkan beberapa video yang tidak biasa panjang; MVBench, kumpulan kurasi dari kontribusi dari dataset lain; dan LVBench, yang mengajukan pertanyaan VQA untuk video yang sangat panjang.

Dari ini, penulis merancang 60 pertanyaan – sepuluh dari setiap jenis pertanyaan.

Metri kontribusi membuat jelas bahwa sebagian besar model bergantung lebih sedikit pada video daripada teks, terutama ketika dihakimi frame per frame. Bahkan di mana video menunjukkan penampilan yang wajar dalam kontribusi keseluruhan, pengaruh per-fiturnya sering minimal, menunjukkan bahwa meskipun model menggunakan video secara agregat, perhatiannya terhadap frame individu sangat sedikit. VideoLLaMA3 adalah pengecualian utama di sini, dengan ketergantungan visual yang lebih kuat, terutama pada urutan yang lebih panjang di LVBench:

Skor Kontribusi Modalitas (MC) dan Kontribusi per-Fitur (PFC) di seluruh model dan dataset, menunjukkan bobot relatif dari input video (V), pertanyaan (Q), dan jawaban (A). Warna yang lebih dingin menunjukkan kontribusi yang lebih kuat; warna yang lebih hangat menunjukkan pengaruh yang lebih lemah atau tidak signifikan. Di sebagian besar pengaturan, bahasa jelas dominan, dengan video sering dipinggirkan – terutama dalam pengaruh per-frame.

Untuk teks, pertanyaan cenderung lebih penting daripada jawaban, terutama dalam model yang lebih kuat. Ini paling jelas dalam dataset seperti EgoSchema, di mana pertanyaan lebih panjang dan lebih alami, sementara jawaban singkat dan terkadang skematis. MVBench membalik ini sedikit, karena struktur jawaban binernya mengembangbiakkan pentingnya token jawaban.

Di seluruh model dan dataset, bagaimanapun, visi secara konsisten dipinggirkan, dengan bahasa melakukan sebagian besar pekerjaan berat.

Makalah tersebut menyatakan:

‘[Untuk] model konteks panjang, video menunjukkan kontribusi yang sangat berkurang, yang berarti bahwa nilai Shapley per-frame jauh lebih kecil daripada rekan teks mereka.

‘Video sebagai modalitas keseluruhan jelas masih sangat relevan, tetapi ini adalah bukti bahwa nilai Shapley dari frame individu lebih terkonsentrasi di sekitar nol, dan bahwa perhatian model terhadap mereka jauh menos terarah daripada teks.’

Untuk menguji seberapa besar setiap bagian input berkontribusi pada akurasi model, peneliti melakukan tes tambahan menggunakan masking – dengan sengaja menyembunyikan satu atau lebih bagian input, dan melihat seberapa besar akurasi model berubah sebagai hasilnya.

Jika kinerja turun tajam ketika input tertentu dihilangkan, input tersebut kemungkinan penting; jika model berkinerja sama, ini menunjukkan bahwa bagian yang hilang tidak banyak digunakan. Dalam arti ini, tes masking adalah bentuk studi ablasion iteratif.

Dampak kinerja dari masking video, pertanyaan, atau jawaban input di seluruh empat benchmark VQA. Skor menunjukkan perubahan dari baseline yang tidak dimasker. Merah berarti akurasi yang lebih rendah, hijau berarti akurasi yang lebih tinggi. Model sering mempertahankan skor yang tinggi tanpa video, tetapi kehilangan lebih banyak ketika jawaban (teks) dihilangkan. Pertanyaan biasanya dapat dimasker dengan efek minimal.

Hasil (divisualisasikan di atas) menunjukkan bahwa jawaban (teks jawaban dalam data pilihan ganda) membawa bobot terbesar di seluruh papan. Masking jawaban biasanya menyebabkan penurunan akurasi terbesar, sering kali mengurangi model menjadi kinerja yang hampir acak.

Masking pertanyaan biasanya memiliki efek yang jauh lebih kecil, yang mendukung temuan sebelumnya bahwa model sering meremehkan pertanyaan.

Dalam beberapa kasus, akurasi bahkan membaik k ketika pertanyaan dihilangkan, yang mengimplikasikan bahwa model terkadang hanya mencocokkan jawaban dengan petunjuk teks atau visual daripada benar-benar mengevaluasi pertanyaan.

Model juga bervariasi dalam ketergantungan mereka pada video: beberapa mempertahankan akurasi yang wajar tanpa itu, lebih lanjut mengonfirmasi kontribusi video yang terbatas dalam banyak pengaturan saat ini.

Penulis kemudian menguji apakah model dapat dipaksa untuk bergantung pada video dengan menambahkan jawaban yang salah tambahan ke pilihan jawaban ganda.

Ketika distractor mudah dan diambil dari pertanyaan lain, kinerja membaik, karena model mencocokkan pola teks tanpa banyak alasan. Tetapi dengan sepuluh atau lebih jawaban yang tidak terkait, mereka mulai bergantung lebih pada video dan pertanyaan:

Kontribusi per-fitur dan akurasi untuk input video, pertanyaan, dan jawaban, karena jawaban yang salah tambahan ditambahkan ke setiap tes VQA, menunjukkan bahwa meningkatkan jumlah distractor mengurangi dominasi teks dan meningkatkan pengaruh relatif fitur visual dan pertanyaan.

Untuk VideoLLaMA3, masking video mengurangi akurasi sebesar 40% di EgoSchema dan 15% di LVBench, menunjukkan bahwa peningkatan sederhana dalam jumlah jawaban dapat mengalihkan model dari jalan pintas teks dan menuju alasan multimodal yang sebenarnya.

Peneliti juga menjelajahi bagaimana atribusi didistribusikan di seluruh input, dan di bawah ini kita lihat heatmap dari nilai Shapley untuk setiap input model:

Heatmap nilai Shapley untuk empat dataset, di mana setiap baris menunjukkan satu tuple VQA, dan setiap kolom satu fitur. Fitur video muncul di sebelah kiri, diikuti oleh teks. Nilai yang jauh lebih kuat di wilayah teks (merah) mengkonfirmasi bahwa model bergantung jauh lebih pada bahasa daripada video.

Komentar tentang hasil di atas, penulis menyatakan:

‘Besarnya nilai Shapley jauh lebih besar ke arah kanan setiap heatmap, yang mewakili atribusi pertanyaan dan jawaban. Batas yang jelas ini adalah di mana frame video berakhir dan fitur teks dimulai, menunjukkan bahwa kontribusi modalitas video jauh lebih kecil daripada pertanyaan/jawaban. ‘

Secara keseluruhan, di seluruh dataset, nilai jauh lebih kuat ke arah ujung teks spektrum, menunjukkan dengan kuat bahwa model bergantung jauh lebih pada bahasa daripada petunjuk visual. Bahkan di mana video digunakan, kontribusinya tersebar tipis di seluruh banyak frame, sering tanpa pola yang konsisten.

Di bawah ini kita lihat contoh yang dianotasi dari EgoSchema. 16 frame paling “penting” dipilih menggunakan nilai Shapley dan diwarnai sesuai dengan pengaruhnya, dengan biru menunjukkan kontribusi positif dan merah menunjukkan kontribusi negatif:

Atribusi Shapley untuk satu contoh EgoSchema, menunjukkan 16 frame paling berpengaruh dan semua input teks. Kontribusi video minimal dibandingkan dengan teks, yang mendominasi alasan model. Biru dan merah menunjukkan pengaruh positif dan negatif pada jawaban yang dipilih.

Hasilnya adalah bahwa hampir setiap frame memiliki pengaruh yang lemah dibandingkan dengan kata-kata dalam pertanyaan dan jawaban. Petunjuk visual jarang dan tidak konsisten, sementara kata benda seperti ‘kursi’ dan ‘pagar’ mengarahkan model ke arah jawaban yang benar – atau menjauh dari itu, tergantung pada konteks.

Kesimpulan

Siapa pun yang pernah terlibat dalam pengeditan video atau analisis video sudah tahu seberapa intensif sumber daya proses ini, dan memahami mengapa perusahaan yang menganalisis jutaan permintaan AI berbasis setiap hari tidak dapat membiarkan proses pengeditan dan interpretasi video yang ad hoc dan berjalan oleh pengguna.

Satu hal yang perlu diingat dalam hal ini adalah bahwa hampir setiap antarmuka API AI yang pernah Anda coba (dengan pengecualian mungkin demo baru dan singkat yang didukung oleh penelitian ilmiah baru) bertujuan untuk menyelesaikan keinginan pengguna pada tingkat pengeluaran sumber daya yang minimum.

Artinya adalah mengandalkan metadata yang ada dari data pengguna yang disediakan atau pengambilan RAG, jika memungkinkan; dan mengekstrak (jika absolut diperlukan) metadata untuk format yang lebih dapat dipahami seperti PDF, dokumen, dan gambar tunggal.

Apa yang tidak ada di meja adalah menjalankan video yang diunggah melalui CLIP atau rilis YOLO terbaru, atau melalui VLM yang menguras daya dan memakan waktu yang dapat mengidentifikasi apa yang ada di frame dan memahami apa yang terjadi di video yang disediakan, dengan memperhitungkan temporalitas.

Namun, ini tidak berarti bahwa fenomena yang didokumentasikan dalam makalah saat ini berasal dari pendekatan arsitektur yang hemat. Penulis mengamati bahwa teks mendominasi paradigma pelatihan multimodal saat ini, menunjukkan bahwa ‘bahasa visual’ kurang berkembang, kurang penting, atau kurang informatif dalam konteks multimodal, atau (setidaknya untuk saat ini) kurang dipahami,

* Sangat menarik, materi yang dihasilkan NotebookLM tampaknya sama sekali asli atau tidak terindeks oleh Google, karena saya tidak dapat menemukan hasil pencarian apa pun yang dapat menyusup ke data pelatihan dan memicu output ini.

Publikasi pertama pada hari Jumat, 31 Oktober 2025; diedit 14:20 untuk pemformatan