Mencari AI yang Dapat Mengikuti Seluruh Film

Model AI masih kehilangan jejak siapa yang berperan dan apa yang terjadi dalam sebuah film. Sistem baru ini mengatur pengenalan wajah dan ringkasan yang dipentaskan, menjaga karakter tetap lurus, dan plot koheren di seluruh film.

Mendapatkan kecerdasan buatan untuk menonton dan memahami film gaya Hollywood mungkin tampak seperti tujuan yang tidak penting atau marginal; tetapi sistem yang dapat menonton film panjang dari awal hingga akhir, melacak kemajuan semua karakter, dan tetap pada topik plot, telah membuat beberapa aplikasi langsung yang dapat memanfaatkan kemampuan tersebut, serta beberapa tantangan yang tidak terkait, di berbagai domain.

Buah yang paling mudah dipetik untuk model AI yang menonton film adalah sistem rekomendasi, di platform streaming seperti Netflix, Amazon Prime, dan HBO Max. Pemahaman yang mendalam tentang perkembangan plot dan tindakan karakter memungkinkan untuk mencocokkan preferensi dan antusiasme penonton dengan lebih baik.

Lebih lanjut, pemahaman yang lebih dalam tentang film memungkinkan pembuatan kata kunci dan kategorisasi yang lebih akurat, daripada mempertahankan deskripsi film yang sering disalin yang mungkin telah ditulis beberapa dekade yang lalu. Wawasan seperti ini juga dapat menyoroti kehadiran tema “dewasa” dalam film yang mungkin tidak jelas dari dialog atau visual.

Tambah lagi, film-film lama dalam katalog mungkin memiliki peringkat dan ringkasan yang sudah ketinggalan zaman; misalnya, bahasa dan idiom yang diterima dalam film 1950-an mungkin memerlukan perhatian lebih sekarang. Tetapi tanpa pemahaman konteks secara keseluruhan, diperoleh dari mengikuti narasi film panjang, kejadian seperti itu dapat dilebih-lebihkan atau kurang diperhatikan.

Lebih luas lagi, pendekatan analisis film yang ditingkatkan dapat memberikan kontribusi besar pada masalah yang lebih luas, yaitu pengenalan peristiwa, yang sangat dibutuhkan untuk inovasi dalam pemantauan keamanan, komentari olahraga otomatis, dan ringkasan semua jenis, di berbagai media.

Oleh karena itu, ‘AI berbasis menonton film’ adalah genre yang cukup populer dalam literatur Computer Vision.

Melihat Gambaran Besar

Pendatang terbaru adalah yang berjudul MovieTeller – kolaborasi akademis-industri dari Cina yang membuat kemajuan baru dengan membagi tugas-tugas yang berbeda dalam tantangan ini di seluruh aplikasi AI yang sesuai, bukan – seperti yang sering terjadi – mencoba melatih model yang terpisah dan tertutup yang dapat melakukan semua tugas yang diperlukan dari ruang laten tunggal.

Penulis mengamati bahwa model VLM sebelumnya yang dihadapkan pada tugas yang sama tidak dapat maju lebih jauh dari analisis frame tunggal; dan bahwa kekurangan konteks membuat model tersebut sulit untuk secara konsisten mengidentifikasi karakter – mungkin karakteristik yang paling penting dari sistem seperti ini:

Sistem baru, MovieTeller, dapat mengidentifikasi orang-orang dalam adegan, berkat penggunaan sistem pengenalan wajah yang didedikasikan; tetapi itu adalah komitmen yang lebih luas terhadap konteks yang memungkinkan kerangka kerja untuk tetap pada topik perkembangan plot. Sumber

Penulis menyatakan:

‘Model VLM umum sering mengalami kesulitan untuk mengenali dan secara konsisten melacak karakter tertentu di seluruh narasi yang panjang. Mereka mungkin menggambarkan protagonis utama sebagai “seorang pria” dalam satu adegan dan “seorang orang” dalam adegan lain, gagal mengikat representasi visual ke identitas yang konsisten.’

Penulis mencatat bahwa karena mekanisme self-attention Transformer menggunakan kompleksitas kuadrat, memproses setiap frame dari film panjang sekaligus menjadi terlalu mahal secara komputasi. Oleh karena itu, pendekatan yang bergantung pada pengambilan sampel frame seragam atau sederhana tendensi untuk memecah aliran cerita, menghasilkan ringkasan yang terpecah-pecah bukan narasi yang koheren.

Sebagai gantinya, sistem baru ini terdiri dari pipa yang diatur dengan alat-alat khusus untuk mengatasi pengenalan wajah dan persistensi memori (sebagai karakter meninggalkan dan memasuki narasi film).

MovieTeller diuji melawan pendekatan sebelumnya menggunakan 60 film panjang, setara dengan 10.000 menit footage. Dalam tes ablasion kuantitatif dan studi manusia, penulis melaporkan bahwa pendekatan mereka dapat memperbaiki secara signifikan lingkungan default dan asumsi yang digunakan oleh sistem sebelumnya.

Makalah baru ini berjudul MovieTeller: Tool-augmented Movie Synopsis dengan ID Consistent Progressive Abstraction, dan berasal dari lima penulis di Zhejiang University di Hangzhou, China Media Group, dan Watch AI Group* (kedua terakhir berbasis di Beijing).

Metode

Skema MovieTeller terdiri dari tiga tahap: segmentasi adegan dan ekstraksi keyframe, yang ditangani melalui PySceneDetect proyek; Factual-Grounded Scene Description Generation melalui kustomisasi Qwen2.5-VL-7B-Instruct VLM; dan progressive abstraction, yang mengondensasikan deskripsi adegan yang terperinci menjadi ringkasan bab, dan kemudian menjadi sinopsis yang koheren – dan ini juga dilakukan oleh model Qwen2.5:

Gambaran kerangka kerja MovieTeller: film panjang pertama kali dibagi menjadi adegan dan dijadikan keyframe berkualitas tinggi; kemudian, alat pengenalan wajah eksternal menyuntikkan dasar faktual, menghubungkan nama karakter dengan kotak pembatas, yang memandu VLM dalam menghasilkan deskripsi adegan yang konsisten dengan ID.

Tahap awal menggunakan PySceneDetect untuk membagi film menjadi adegan yang terpisah, berdasarkan perubahan visual yang jelas, dengan setiap adegan diwakili oleh satu keyframe.

Namun, tidak semua frame membuat gambar ringkasan yang baik, karena momen transisi, fade-out, dan frame gelap dapat membingungkan analisis selanjutnya. Oleh karena itu, filter sederhana melakukan filter run pada frame kandidat, dengan mengukur kecerahan dan variasi visual, memastikan bahwa hanya gambar yang kaya informasi yang dipilih untuk deskripsi.

Meletakkan Wajah

Database wajah dibangun dari informasi cast yang tersedia secara publik^†, menyimpan nama setiap karakter utama bersama dengan embedding wajah numerik. Ketika wajah muncul dalam keyframe, embeddingnya dicocokkan dengan database, dan hasil yang paling dekat diterima jika melewati ambang kepercayaan. Ini menciptakan ‘dasar faktual’, menghubungkan nama dengan kotak pembatas tertentu.

Untuk tujuan ini, InsightFace digunakan, memanfaatkan ArcFace loss-based recognition head:

Dua wajah yang sangat dikenal oleh Additive Angular Margin Loss (ArcFace) inisiatif, digunakan dalam cara yang sangat mirip untuk proyek MovieTeller. Sumber

Keyframe yang telah diberi anotasi kemudian diberikan kepada model Qwen dengan prompt yang mencantumkan karakter yang terdeteksi dan posisinya:

Karena Model VLM tidak dapat menyerap seluruh film panjang sekaligus, MovieTeller awalnya memecah materi menjadi deskripsi adegan. Ini dikelompokkan menjadi blok-blok yang berurutan, yang kemudian diberikan kepada Qwen2.5, yang merangkum setiap bab, mengompresi perkembangan plot, motivasi karakter, dan titik balik, sambil mempertahankan nama karakter yang telah diverifikasi sebelumnya.

Rangkuman bab yang terkompresi kemudian dihubungkan dan dikembalikan ke model dengan prompt baru yang meminta sinopsis lengkap:

Contoh template prompt yang digunakan untuk menghasilkan deskripsi adegan, secara eksplisit menyuntikkan nama karakter yang diverifikasi dan kotak pembatas untuk membatasi VLM, dan memaksa narasi yang konsisten dengan ID.

Anggaplah proses ini berhasil, maka output akhir harus mencerminkan narasi film secara koheren. Ini adalah tugas yang sangat sulit dalam pembelajaran mesin, karena variasi kemungkinan ringkasan plot, dan gaya di mana mereka mungkin disajikan, bersama dengan panjang data poin yang diperlukan, membuatnya hampir mustahil untuk mengadopsi pendekatan ground truth yang biasa.

Data dan Pengujian

Untuk menguji sistem, penulis membuat dataset khusus (dan tidak disebutkan sumber) yang terdiri dari 100 film panjang, setara dengan 166 jam runtime. Film-film ini termasuk Iron Man 3, Farewell My Concubine, Eat Drink Man Woman, dan The Chronicles of Narnia. Peneliti memerlukan bahwa semua film yang dimasukkan harus memiliki peringkat di atas 5,0 di IMDB:

Komposisi dataset di 100 film, menunjukkan cakupan temporal yang seimbang dari 1992 hingga 2025, mayoritas judul non-Inggris, dan distribusi genre yang luas yang dipimpin oleh Drama dan Aksi, dengan perwakilan di seluruh Sci-Fi, Horor, Komedi, Romansa, dan Sejarah.

Rentang genre yang luas yang ditangani (lihat grafik di atas) dirancang untuk mencegah bias terhadap satu genre tertentu.

Dataset wajah untuk setiap film terdiri dari dua gambar aktor utama – satu dari foto film, dan satu dari foto publisitas terkait.

Diimplementasikan dalam Python, pengujian dilakukan di empat NVIDIA A40 GPU, masing-masing dengan 48GB VRAM, dan dengan model Qwen2.5 sebagai VLM utama. Studi ablasion^†† juga dilakukan dengan model state-of-the-art alternatif InternVL3-8B dan WeThink-Qwen2.5VL-7B.

Kerangka kerja baru ini diuji melawan dua varian ablasion^††: baseline No-Hint, di mana VLM menghasilkan deskripsi adegan dari keyframe saja, tanpa petunjuk tekstual tentang identitas karakter; dan pengaturan Name-Only Hint, di mana model diberikan nama karakter yang terdeteksi, tetapi tidak kotak pembatas, memungkinkan penulis untuk mengisolasi kontribusi spasial grounding terhadap konsistensi identitas dan koherensi narasi

Terhadap metrik, mengingat kesulitan yang disebutkan sebelumnya dalam menerapkan metode ground truth pada ringkasan plot yang panjang, metrik tumpang tindih n-gram standar seperti ROUGE dan BLEU dihindari demi BERTScore dengan F1 score, untuk mengukur kesamaan semantik terhadap sinopsis referensi yang diambil dari ‘ensiklopedia publik’.

Juga, Gemini 2.5 Flash digunakan untuk menilai setiap sinopsis untuk kesetiaan faktual; konsistensi ID dan kelengkapan; koherensi narasi dan aliran; dan kesingkatan, dengan skor yang diambil rata-rata di seluruh dimensi.

Akhirnya, evaluasi manusia dari 50 ringkasan yang diambil secara acak dilakukan dengan perbandingan berpasangan, memberikan pemeriksaan praktis pada penilaian otomatis.

Di bawah ini kita lihat hasil BERTScore (F1) untuk tiga model backbone: Qwen2.5-VL, InternVL3, dan WeThink. Masing-masing diuji dalam tiga konfigurasi: No-Hint, Name-Only, dan sistem MovieTeller penuh:

Perbandingan BERTScore (F1) di seluruh tiga model VLM dasar dan tiga pengaturan eksperimental, menunjukkan keuntungan konsisten dari menambahkan nama karakter dan perbaikan lebih lanjut ketika grounding spasial dimasukkan, dengan MovieTeller mencapai skor tertinggi dalam semua kasus.

Penulis mencatat bahwa pola ini konsisten di seluruh tiga model backbone: menggunakan hanya keyframe mentah menghasilkan kinerja terlemah; menambahkan nama karakter menghasilkan perbaikan yang moderat; dan menggabungkan nama dengan kotak pembatas menghasilkan hasil terkuat. Meskipun keuntungan ini inkremental dan tidak dramatis, konfigurasi yang tergrounding penuh mencapai keselarasan semantik tertinggi dengan sinopsis referensi, dalam semua pengaturan.

Terhadap evaluasi kualitas narasi berbasis LLM: seperti yang kita lihat dalam hasil di bawah, baseline No-Hint mengalami kesulitan terbesar dengan konsistensi identitas, yang menarik skor keseluruhan; tetapi memberikan nama saja menghasilkan peningkatan yang terlihat, terutama pada dimensi terkait identitas. Namun, konfigurasi MovieTeller penuh masih mencapai skor tertinggi di seluruh tiga model backbone:

Evaluasi LLM-as-a-Judge (1–5 skala) di seluruh tiga model dasar, menunjukkan bahwa menambahkan nama karakter memperbaiki konsistensi identitas dan kualitas keseluruhan, sementara kerangka kerja MovieTeller penuh mencapai skor tertinggi di seluruh dimensi kesetiaan faktual, koherensi, kesingkatan, dan peringkat akhir.

Keuntungan terkuat tampaknya ada pada konsistensi ID, dan pada skor akhir yang diambil rata-rata, menunjukkan bahwa grounding spasial membantu model untuk tetap jelas tentang siapa yang melakukan apa saat plot berkembang.

Dalam evaluasi manusia dari 50 ringkasan yang diambil secara acak, peserta ditunjukkan tiga ringkasan sekaligus, dan diminta untuk memilih yang terbaik:

Tingkat preferensi manusia dalam evaluasi perbandingan tiga arah, menunjukkan bahwa ringkasan MovieTeller yang tergrounding penuh dipilih paling sering di seluruh tiga model dasar, secara signifikan mengungguli varian No-Hint dan Name-Only.

Akhirnya, tes kualitatif dijalankan pada film The Bullet Vanishes (2012):

Kami tidak dapat mereproduksi keseluruhan gambar ini dari makalah asli, karena sangat panjang dan padat teks. Silakan merujuk ke makalah sumber sebagai gantinya.

Di sini, baseline No-Hint menghasilkan sinopsis yang samar yang mengacu pada karakter dalam istilah generik, dan mengaburkan peran mereka, membuat rantai peristiwa lebih sulit diikuti. Memberikan nama saja memperbaiki ingatan permukaan, tetapi narasi masih mengalir, dengan hubungan karakter dan motivasi yang digambarkan dengan cara yang agak ‘datar’.

Sebaliknya, versi MovieTeller yang tergrounding penuh menjaga identitas tetap stabil di seluruh sinopsis dan menghubungkan tindakan dengan karakter yang tepat, memungkinkan plot penyelidikan untuk berkembang dengan struktur sebab-akibat yang lebih jelas. Tensi dan dinamika peran khusus dipertahankan daripada diabstraksi, menghasilkan ringkasan yang membaca lebih seperti pengulangan koheren dari busur narasi film utama:

Bagian dari perbandingan akhir, yang tidak dapat kami reproduksi secara keseluruhan di sini, menunjukkan sinopsis yang diablasikan dan sinopsis MovieTeller penuh. Silakan merujuk ke makalah sumber sebagai gantinya.

Kesimpulan

Meskipun sebagian besar proyek baru seperti ini berakhir di literatur Computer Vision, ringkasan film yang dihasilkan AI mencakup banyak disiplin dan domain lainnya dalam penelitian pembelajaran mesin – dan sulit untuk mengetahui disiplin mana yang akan memberikan potongan yang hilang dari teka-teki; meskipun MovieTeller mengambil langkah ke arah yang benar, dengan membagi tugas-tugas ke berbagai modul yang sesuai, bukan berharap untuk menyelesaikannya semua dalam ruang laten, itu masih memiliki nuansa ‘terkumpul’ yang cenderung mendahului solusi yang lebih elegan kemudian.

* Saya tidak dapat mengidentifikasi lembaga ini, bahkan setelah melakukan pencarian.

^† Orang mungkin menganggap sesuatu seperti IMDB atau OMDB, tetapi sumber tidak disebutkan.

^†† Silakan merujuk ke makalah sumber untuk ablasion yang komprehensif, karena kami hanya mencakup ablasion penuh dalam kasus luar biasa. Saya akan mencatat bahwa studi ablasion yang tidak diobati yang disebutkan di sini tidak melemahkan temuan umum makalah.

Dipublikasikan pertama kali pada hari Jumat, 27 Februari 2026