Mengajar AI untuk Memberikan Kritik Video yang Lebih Baik

Sementara Model Bahasa-Visi Besar (LVLMs) dapat menjadi asisten yang berguna dalam menafsirkan beberapa submission yang lebih sulit dalam literatur visi komputer, ada satu area di mana mereka terhambat: menentukan kelebihan dan kualitas subjektif dari contoh video yang menyertainya.

Hal ini merupakan aspek yang sangat penting dari sebuah submission, karena makalah ilmiah sering kali bertujuan untuk menghasilkan kesan yang kuat melalui teks yang menarik atau visual – atau keduanya.

Namun, dalam kasus proyek yang melibatkan sintesis video, penulis harus menunjukkan output video yang sebenarnya atau risiko memiliki pekerjaan mereka ditolak; dan dalam demonstrasi ini, kesenjangan antara klaim yang berani dan kinerja dunia nyata paling sering menjadi jelas.

Saya Membaca Buku, Tapi Tidak Melihat Film

Saat ini, sebagian besar API-berbasis Model Bahasa Besar (LLMs) dan Model Bahasa-Visi Besar (LVLMs) tidak akan menganalisis konten video secara langsung, baik secara kualitatif maupun kuantitatif. Sebaliknya, mereka hanya dapat menganalisis transkrip yang terkait – dan, mungkin, thread komentar dan bahan tambahan lainnya yang berbasis teks.

Protes yang beragam dari GPT-4o, Google Gemini dan Perplexity, ketika diminta untuk menganalisis video secara langsung, tanpa menggunakan transkrip atau sumber teks lainnya.

Bagaimanapun, sebuah LLM mungkin menyembunyikan atau menyangkal ketidakmampuannya untuk benar-benar menonton video, kecuali jika Anda menantangnya:

Setelah diminta untuk memberikan evaluasi subjektif dari video yang terkait dengan makalah penelitian baru, dan setelah memalsukan pendapat yang sebenarnya, ChatGPT-4o akhirnya mengakui bahwa ia tidak dapat benar-benar menonton video secara langsung.

Model seperti ChatGPT-4o adalah multimodal, dan dapat menganalisis foto individual (seperti frame yang diekstrak dari video, lihat gambar di atas), namun ada beberapa masalah dengan ini: pertama, ada sedikit dasar untuk memberikan kredibilitas pada pendapat kualitatif LLM, terutama karena LLMs cenderung ‘memuaskan orang’ daripada melakukan diskusi yang tulus.

Kedua, banyak masalah yang dihasilkan dari video yang dihasilkan kemungkinan memiliki aspek temporal yang hilang dalam frame grab – dan sehingga pemeriksaan frame individual tidak memiliki tujuan.

Terakhir, LLM hanya dapat memberikan ‘penilaian nilai’ yang seharusnya berdasarkan pada pengetahuan teks yang telah diserap, misalnya dalam hal citra deepfake atau sejarah seni. Dalam kasus seperti itu, pengetahuan domain yang dilatih memungkinkan LLM untuk mengorelasikan kualitas visual dari gambar dengan embeddings yang dipelajari berdasarkan wawasan manusia:

Proyek FakeVLM menawarkan deteksi deepfake yang ditargetkan melalui model bahasa-visi multimodal khusus. Sumber: https://arxiv.org/pdf/2503.14905

Ini tidak berarti bahwa LLM tidak dapat memperoleh informasi langsung dari video; misalnya, dengan menggunakan sistem AI tambahan seperti YOLO, LLM dapat mengidentifikasi objek dalam video – atau dapat melakukannya secara langsung, jika dilatih untuk jumlah multimodal yang lebih tinggi.

Namun, satu-satunya cara LLM dapat menilai video secara subjektif (yaitu, ‘Itu tidak terlihat nyata bagi saya’) adalah dengan menerapkan metrik berbasis fungsi kerugian yang mencerminkan pendapat manusia dengan baik, atau yang secara langsung dipengaruhi oleh pendapat manusia.

Fungsi kerugian adalah alat matematika yang digunakan selama pelatihan untuk mengukur seberapa jauh prediksi model dari jawaban yang benar. Mereka memberikan umpan balik yang memandu proses pembelajaran model: semakin besar kesalahan, semakin tinggi kerugian. Saat pelatihan berlangsung, model menyesuaikan parameter untuk mengurangi kerugian, secara bertahap meningkatkan kemampuan untuk membuat prediksi yang akurat.

Fungsi kerugian digunakan baik untuk mengatur pelatihan model dan juga untuk mengkalibrasi algoritma yang dirancang untuk menilai output model AI (seperti evaluasi konten fotorealistik yang disimulasikan dari model video generatif).

Visi Kondisional

Salah satu metrik/kerugian yang paling populer adalah Jarak Inception Fréchet (FID), yang mengevaluasi kualitas gambar yang dihasilkan dengan mengukur kesamaan antara distribusi gambar (yang di sini berarti ‘bagaimana gambar tersebar atau dikelompokkan oleh fitur visual’) dan gambar nyata.

Secara khusus, FID menghitung perbedaan statistik, menggunakan mean dan kovariansi, antara fitur yang diekstrak dari kedua set gambar menggunakan jaringan klasifikasi Inception v3 (yang sering dikritik). Skor FID yang lebih rendah menunjukkan bahwa gambar yang dihasilkan lebih mirip dengan gambar nyata, yang berarti kualitas visual dan keragaman yang lebih baik.

Namun, FID pada dasarnya komparatif dan dapat dibilang self-referential. Untuk memperbaiki ini, pendekatan Jarak Fréchet Kondisional (CFD) yang lebih baru berbeda dari FID dengan membandingkan gambar yang dihasilkan dengan gambar nyata, dan mengevaluasi skor berdasarkan seberapa baik kedua set gambar memenuhi kondisi tambahan, seperti label kelas subjektif atau gambar input.

Dengan cara ini, CFD mempertimbangkan seberapa akurat gambar memenuhi kondisi yang dimaksud, bukan hanya realisme atau keragaman keseluruhan.

Contoh dari CFD 2021. Sumber: https://github.com/Michael-Soloveitchik/CFID/

CFD mengikuti tren baru-baru ini untuk memasukkan interpretasi kualitatif manusia ke dalam fungsi kerugian dan algoritma metrik. Meskipun pendekatan yang berpusat pada manusia ini memastikan bahwa algoritma yang dihasilkan tidak akan ‘tanpa jiwa’ atau sekadar mekanis, ini juga menimbulkan sejumlah masalah: kemungkinan bias; beban memperbarui algoritma sejalan dengan praktik baru; dan keterbatasan anggaran (kontributor manusia yang lebih sedikit akan membuat penentuan lebih spekulatif, sedangkan jumlah yang lebih besar dapat mencegah pembaruan yang berguna karena biaya).

cFreD

Ini membawa kita ke makalah baru dari AS yang tampaknya menawarkan cFreD, sebuah pendekatan baru pada CFD yang dirancang untuk lebih baik mencerminkan preferensi manusia dengan mengevaluasi kualitas visual dan keselarasan teks-gambar

Hasil parsial dari makalah baru: peringkat gambar (1–9) oleh metrik yang berbeda untuk prompt “A living room with a couch and a laptop computer resting on the couch.” Sorotan hijau menunjukkan model terbaik (FLUX.1-dev), ungu menunjukkan yang terburuk (SDv1.5). Hanya cFreD yang sesuai dengan peringkat manusia. Silakan merujuk ke makalah sumber untuk hasil lengkap, yang tidak kami miliki ruang untuk mereproduksi di sini. Sumber: https://arxiv.org/pdf/2503.21721

Para penulis berpendapat bahwa metode evaluasi yang ada untuk sintesis teks-ke-gambar, seperti Skor Inception (IS) dan FID, tidak sejalan dengan penilaian manusia karena mereka hanya mengukur kualitas gambar tanpa mempertimbangkan seberapa baik gambar memenuhi prompt:

‘Misalnya, pertimbangkan dataset dengan dua gambar: satu anjing dan satu kucing, masing-masing dipasangkan dengan prompt yang sesuai. Model teks-ke-gambar yang sempurna yang salah menghubungkan pasangan ini (yaitu, menghasilkan kucing untuk prompt anjing dan sebaliknya) akan mencapai skor FID yang hampir nol karena distribusi keseluruhan anjing dan kucing dipertahankan, meskipun tidak sesuai dengan prompt yang dimaksud.

‘Kami menunjukkan bahwa cFreD menangkap penilaian kualitas gambar yang lebih baik dan kondisi pada teks input serta menghasilkan korelasi yang lebih baik dengan preferensi manusia.’

Tes makalah menunjukkan bahwa metrik yang diusulkan oleh penulis, cFreD, secara konsisten mencapai korelasi yang lebih tinggi dengan preferensi manusia daripada FID, FDDINOv2, CLIPScore, dan CMMD pada tiga dataset benchmark (PartiPrompts, HPDv2, dan COCO).

Konsep dan Metode

Para penulis mencatat bahwa standar emas saat ini untuk mengevaluasi model teks-ke-gambar melibatkan pengumpulan data preferensi manusia melalui perbandingan yang diberi tahu, mirip dengan metode yang digunakan untuk model bahasa besar (seperti LMSys Arena).

Sebagai contoh, PartiPrompts Arena menggunakan 1.600 prompt bahasa Inggris, mempresentasikan peserta dengan pasangan gambar dari model yang berbeda dan meminta mereka untuk memilih gambar yang lebih disukai.

Demikian pula, Text-to-Image Arena Leaderboard menggunakan perbandingan pengguna dari output model untuk menghasilkan peringkat melalui skor ELO. Namun, mengumpulkan data evaluasi manusia seperti ini mahal dan lambat, menyebabkan beberapa platform – seperti PartiPrompts Arena – untuk berhenti memperbarui secara keseluruhan.

Artificial Analysis Image Arena Leaderboard, yang menempatkan pemimpin saat ini dalam AI generatif visual. Sumber: https://artificialanalysis.ai/text-to-image/arena?tab=Leaderboard

Meskipun metode alternatif yang dilatih pada data preferensi manusia sebelumnya ada, efektivitasnya untuk mengevaluasi model di masa depan tetap tidak pasti, karena preferensi manusia terus berkembang. Oleh karena itu, metrik otomatis seperti FID, CLIPScore, dan cFreD yang diusulkan oleh penulis tampaknya akan tetap menjadi alat evaluasi yang penting.

Para penulis mengasumsikan bahwa baik gambar nyata maupun gambar yang dihasilkan yang dikondisikan pada prompt mengikuti distribusi Gaussian, masing-masing didefinisikan oleh mean dan kovariansi kondisional. cFreD mengukur jarak Fréchet yang diharapkan di seluruh prompt antara distribusi kondisional ini. Ini dapat dirumuskan baik secara langsung dalam hal statistik kondisional atau dengan menggabungkan statistik tidak kondisional dengan kovariansi silang yang melibatkan prompt.

Dengan memasukkan prompt dengan cara ini, cFreD dapat menilai baik realisme gambar maupun konsistensi dengan teks yang diberikan.

Data dan Tes

Untuk menilai seberapa baik cFreD berkorelasi dengan preferensi manusia, para penulis menggunakan peringkat gambar dari beberapa model yang dipicu dengan teks yang sama. Evaluasi mereka menggunakan dua sumber: Human Preference Score v2 (HPDv2) test set, yang mencakup sembilan gambar yang dihasilkan dan satu gambar COCO ground truth per prompt; dan PartiPrompts Arena, yang berisi output dari empat model di seluruh 1.600 prompt.

Para penulis mengumpulkan poin data Arena yang tersebar menjadi satu dataset; dalam kasus di mana gambar nyata tidak menempati peringkat tertinggi dalam evaluasi manusia, mereka menggunakan gambar teratas sebagai referensi.

Untuk menguji model yang lebih baru, mereka mengambil sampel 1.000 prompt dari set pelatihan dan validasi COCO, memastikan tidak ada tumpang tindih dengan HPDv2, dan menghasilkan gambar menggunakan sembilan model dari Arena Leaderboard. Gambar asli COCO digunakan sebagai referensi dalam bagian evaluasi ini.

Pendekatan cFreD dievaluasi melalui empat metrik statistik: FID; FDDINOv2; CLIPScore; dan CMMD. Ini juga dievaluasi melawan empat metrik yang dipelajari dari data preferensi manusia: Aesthetic Score; ImageReward; HPSv2; dan MPS.

Para penulis menilai korelasi dengan penilaian manusia dari kedua perspektif peringkat dan skoring: untuk setiap metrik, skor model dilaporkan dan peringkat dihitung untuk keselarasan dengan hasil evaluasi manusia, dengan cFreD menggunakan DINOv2-G/14 untuk embeddings gambar dan OpenCLIP ConvNext-B Text Encoder untuk embeddings teks†.

Kerja sebelumnya pada pembelajaran preferensi manusia mengukur kinerja menggunakan akurasi peringkat per item, yang menghitung akurasi peringkat untuk setiap pasangan gambar-teks sebelum menghitung rata-rata hasil.

Para penulis sebagai gantinya mengevaluasi cFreD menggunakan akurasi peringkat global, yang menilai kinerja peringkat secara keseluruhan di seluruh dataset; untuk metrik statistik, mereka menghitung peringkat langsung dari skor mentah; dan untuk metrik yang dipelajari dari preferensi manusia, mereka pertama-tama menghitung rata-rata peringkat yang diberikan kepada setiap model di seluruh sampel, kemudian menentukan peringkat akhir dari rata-rata ini.

Tes awal menggunakan sepuluh kerangka kerja: GLIDE; COCO; FuseDream; DALLE 2; VQGAN+CLIP; CogView2; Stable Diffusion V1.4; VQ-Diffusion; Stable Diffusion V2.0; dan LAFITE.

Peringkat model dan skor pada set tes HPDv2 menggunakan metrik statistik (FID, FDDINOv2, CLIPScore, CMMD, dan cFreD) dan metrik yang dipelajari dari preferensi manusia (Aesthetic Score, ImageReward, HPSv2, dan MPS). Hasil terbaik ditunjukkan dalam cetak tebal, yang kedua terbaik digarisbawahi.

Dari hasil awal, para penulis berkomentar:

‘cFreD mencapai korelasi tertinggi dengan preferensi manusia, mencapai korelasi sebesar 0,97. Di antara metrik statistik, cFreD mencapai korelasi tertinggi dan setara dengan HPSv2 (0,94), model yang secara eksplisit dilatih pada preferensi manusia. Mengingat HPSv2 dilatih pada set pelatihan HPSv2, yang mencakup empat model dari set tes, dan menggunakan annotator yang sama, secara inheren mengkodekan bias preferensi manusia tertentu dari pengaturan yang sama.

‘Sebaliknya, cFreD mencapai korelasi yang setara atau lebih baik dengan evaluasi manusia tanpa pelatihan preferensi manusia. ‘

‘Hasil ini menunjukkan bahwa cFreD memberikan peringkat yang lebih dapat diandalkan di seluruh model yang beragam dibandingkan dengan metrik otomatis standar dan metrik yang dilatih secara eksplisit pada data preferensi manusia.’

Di antara semua metrik yang dievaluasi, cFreD mencapai akurasi peringkat tertinggi (91,1%), menunjukkan – menurut para penulis – keselarasan yang kuat dengan penilaian manusia.

HPSv2 mengikuti dengan 88,9%, sedangkan FID dan FDDINOv2 menghasilkan skor kompetitif sebesar 86,7%. Meskipun metrik yang dilatih pada preferensi manusia umumnya sesuai dengan evaluasi manusia, cFreD terbukti menjadi metrik yang paling kuat dan andal secara keseluruhan.

Di bawah ini kita dapat melihat hasil putaran tes kedua, kali ini pada PartiPrompts Arena, menggunakan SDXL; Kandinsky 2; Würstchen; dan Karlo V1.0.

Peringkat model dan skor pada PartiPrompt menggunakan metrik statistik (FID, FDDINOv2, CLIPScore, CMMD, dan cFreD) dan metrik yang dipelajari dari preferensi manusia (Aesthetic Score, ImageReward, dan MPS). Hasil terbaik ditunjukkan dalam cetak tebal, yang kedua terbaik digarisbawahi.

Di sini makalah menyatakan:

‘Di antara metrik statistik, cFreD mencapai korelasi tertinggi dengan evaluasi manusia (0,73), dengan FID dan FDDINOv2 mencapai korelasi sebesar 0,70. Sebaliknya, skor CLIP menunjukkan korelasi yang sangat rendah (0,12) dengan penilaian manusia. ‘

‘Dalam kategori metrik yang dipelajari dari preferensi manusia, HPSv2 memiliki korelasi tertinggi, mencapai korelasi sebesar 0,83, diikuti oleh ImageReward (0,81) dan MPS (0,65). Hasil ini menunjukkan bahwa sementara cFreD adalah metrik otomatis yang kuat, HPSv2 menonjol sebagai metrik yang paling efektif dalam menangkap tren evaluasi manusia di PartiPrompts Arena.’

Akhirnya, para penulis melakukan evaluasi pada dataset COCO menggunakan sembilan model teks-ke-gambar modern: FLUX.1[dev]; Playgroundv2.5; Janus Pro; dan varian Stable Diffusion SDv3.5-L Turbo, 3.5-L, 3-M, SDXL, 2.1, dan 1.5.

Peringkat preferensi manusia diperoleh dari Text-to-Image Leaderboard, dan diberikan dalam skor ELO:

Peringkat model pada prompt COCO yang diambil secara acak menggunakan metrik otomatis (FID, FDDINOv2, CLIPScore, CMMD, dan cFreD) dan metrik yang dipelajari dari preferensi manusia (Aesthetic Score, ImageReward, HPSv2, dan MPS). Akurasi peringkat di bawah 0,5 menunjukkan lebih banyak pasangan yang tidak sesuai daripada yang sesuai, dan hasil terbaik ditunjukkan dalam cetak tebal, yang kedua terbaik digarisbawahi.

Mengenai putaran ini, para peneliti menyatakan:

‘Di antara metrik statistik (FID, FDDINOv2, CLIP, CMMD, dan cFreD yang diusulkan), hanya cFreD yang menunjukkan korelasi yang kuat dengan preferensi manusia, mencapai korelasi sebesar 0,33 dan akurasi peringkat yang tidak trivial sebesar 66,67%. ‘Hasil ini menempatkan cFreD sebagai metrik ketiga yang paling sesuai secara keseluruhan, diungguli hanya oleh metrik yang dipelajari dari preferensi manusia, yaitu ImageReward, HPSv2, dan MPS. ‘

‘Namun, semua metrik statistik lainnya menunjukkan keselarasan yang jauh lebih lemah dengan peringkat ELO dan, sebagai hasilnya, membalik peringkat, menghasilkan Akurasi Peringkat di bawah 0,5. ‘

‘Temuan ini menekankan bahwa cFreD peka terhadap baik keaslian visual maupun konsistensi prompt, sehingga memperkuat nilainya sebagai alternatif praktis dan bebas pelatihan untuk benchmarking generasi teks-ke-gambar.’

Para penulis juga menguji Inception V3 sebagai backbone, menarik perhatian pada keumumannya dalam literatur, dan menemukan bahwa InceptionV3 berkinerja cukup baik, tetapi dikalahkan oleh backbone berbasis transformer seperti DINOv2-L/14 dan ViT-L/16, yang lebih konsisten sesuai dengan peringkat manusia – dan mereka berpendapat bahwa ini mendukung penggantian InceptionV3 dalam pengaturan evaluasi modern.

Win rates menunjukkan seberapa sering peringkat backbone gambar sesuai dengan peringkat manusia yang sebenarnya pada dataset COCO.

Kesimpulan

Jelas bahwa sementara solusi berbasis manusia adalah pendekatan optimal untuk pengembangan metrik dan fungsi kerugian, skala dan frekuensi pembaruan yang diperlukan untuk skema tersebut akan terus membuatnya tidak praktis – mungkin sampai partisipasi publik yang luas dalam evaluasi umum dimotivasi; atau, seperti yang telah terjadi dengan CAPTCHAs, dipaksakan.

Kredibilitas sistem baru para penulis masih bergantung pada keselarasan dengan penilaian manusia, meskipun pada tingkat yang lebih jauh daripada banyak pendekatan berbasis manusia baru-baru ini; dan legitimasi cFreD tetap bergantung pada data preferensi manusia (jelas, karena tanpa benchmark seperti itu, klaim bahwa cFreD mencerminkan evaluasi yang menyerupai manusia akan tidak terbukti).

Bisa dibilang, mengabadikan kriteria kami saat ini untuk ‘realisme’ dalam output generatif ke dalam fungsi metrik bisa jadi kesalahan dalam jangka panjang, karena definisi kami tentang konsep ini saat ini diserang oleh gelombang baru sistem AI generatif, dan siap untuk direvisi secara signifikan dan sering.

* Di titik ini saya biasanya akan menyertakan contoh video ilustratif, mungkin dari submission akademis baru-baru ini; tapi itu akan tidak sopan – siapa pun yang telah menghabiskan lebih dari 10-15 menit menjelajahi output AI generatif di Arxiv akan telah menemukan video pendamping yang kualitasnya subjektif buruk, menunjukkan bahwa submission terkait tidak akan dipandang sebagai makalah penting.

† Total 46 model backbone gambar digunakan dalam eksperimen, tidak semua di antaranya dipertimbangkan dalam hasil yang digambarkan. Silakan merujuk ke lampiran makalah untuk daftar lengkap; yang ditampilkan dalam tabel dan gambar telah terdaftar.

Dipublikasikan pertama kali pada hari Selasa, 1 April 2025