Mempertimbangkan Kembali Pelatihan AI Video dengan Data yang Berfokus pada Pengguna

Jenis konten yang mungkin ingin dibuat oleh pengguna menggunakan model generatif seperti Flux atau Hunyuan Video mungkin tidak selalu tersedia, bahkan jika permintaan konten cukup umum, dan seseorang mungkin mengira bahwa generator dapat menanganinya.

Salah satu contoh, yang diilustrasikan dalam sebuah makalah baru yang akan kita lihat dalam artikel ini, menunjukkan bahwa model Sora OpenAI yang semakin terlupakan memiliki beberapa kesulitan dalam merender kupu-kupu yang anatomis benar, menggunakan prompt ‘Kupu-kupu sedang bersinar di daun rumput pada malam musim panas yang tenang’:

OpenAI’s Sora memiliki pemahaman yang sedikit aneh tentang anatomi kupu-kupu. Sumber: https://arxiv.org/pdf/2503.01739

Sejak saya jarang mengambil klaim penelitian secara harfiah, saya menguji prompt yang sama pada Sora hari ini dan mendapatkan hasil yang sedikit lebih baik. Namun, Sora masih gagal merender cahaya dengan benar – bukan mengiluminasi ujung ekor kupu-kupu, di mana bioluminesensi terjadi, tetapi meletakkan cahaya di dekat kaki serangga:

Pengujian saya sendiri terhadap prompt peneliti di Sora menghasilkan hasil yang menunjukkan Sora tidak memahami dari mana cahaya kupu-kupu berasal.

Ironisnya, mesin difusi generatif Adobe Firefly, yang dilatih pada foto dan video stok yang dilindungi hak cipta perusahaan, hanya berhasil merender cahaya dengan benar dalam 1 dari 3 kasus, ketika saya mencoba prompt yang sama di fitur AI generatif Photoshop:

Hanya generasi terakhir dari tiga generasi yang diusulkan dari prompt peneliti yang menghasilkan cahaya di Adobe Firefly (Maret 2025), meskipun setidaknya cahaya berada di bagian yang benar dari anatomi serangga.

Contoh ini ditekankan oleh peneliti makalah baru untuk mengilustrasikan bahwa distribusi, penekanan, dan cakupan dalam set data pelatihan yang digunakan untuk memandu model dasar populer mungkin tidak selaras dengan kebutuhan pengguna, bahkan jika pengguna tidak meminta sesuatu yang terlalu menantang – topik yang membawa kita pada tantangan yang terlibat dalam penyesuaian dataset pelatihan hyperscale untuk hasil yang paling efisien dan berkinerja sebagai model generatif.

Para penulis menyatakan:

‘[Sora] gagal menangkap konsep kupu-kupu yang bersinar sementara berhasil menghasilkan rumput dan malam [musim panas]. Dari perspektif data, kita menyimpulkan bahwa ini terutama karena [Sora] belum dilatih pada topik terkait kupu-kupu, sementara telah dilatih pada rumput dan malam. Selanjutnya, jika [Sora] telah melihat video yang ditunjukkan di [gambar di atas], maka akan memahami seperti apa kupu-kupu yang bersinar seharusnya.’

Mereka memperkenalkan dataset baru yang dikurasi dan menyarankan bahwa metodologi mereka dapat diperbarui dalam pekerjaan masa depan untuk menciptakan koleksi data yang lebih selaras dengan harapan pengguna daripada banyak model yang ada.

Data untuk Orang-Orang

Pada dasarnya, proposal mereka menyarankan pendekatan kurasi data yang jatuh di antara data khusus untuk model seperti LoRA (dan pendekatan ini terlalu spesifik untuk penggunaan umum); dan koleksi volume tinggi yang relatif tidak diskriminatif (seperti dataset LAION yang memandu Stable Diffusion) yang tidak secara khusus selaras dengan skenario penggunaan akhir.

Pendekatan baru, baik sebagai metodologi maupun dataset baru, diberi nama Users’ FOcus in text-to-video, atau VideoUFO. Dataset VideoUFO terdiri dari 1,9 juta klip video yang mencakup 1291 topik yang berfokus pada pengguna. Topik-topik ini sendiri dikembangkan dari dataset video yang ada, dan dianalisis melalui berbagai model bahasa dan teknik Pemrosesan Bahasa Alami (NLP):

Contoh topik yang disuling dalam makalah baru.

Dataset VideoUFO menampilkan volume besar video baru yang diambil dari YouTube – ‘baru’ dalam arti bahwa video dalam kategori ini tidak ada dalam dataset video yang populer dalam literatur, dan oleh karena itu dalam banyak subset yang telah dikurasi dari mereka (dan banyak video yang sebenarnya diunggah setelah pembuatan dataset yang lebih lama yang disebutkan dalam makalah).

Faktanya, penulis menyatakan bahwa hanya 0,29% tumpang tindih dengan dataset video yang ada – demonstrasi kemampuan yang mengesankan.

Salah satu alasan untuk ini mungkin karena penulis hanya menerima video YouTube dengan lisensi Creative Commons yang kurang mungkin mempersulit pengguna lebih lanjut di masa depan: mungkin kategori video ini kurang diprioritaskan dalam pengambilan data sebelumnya dari platform dengan volume tinggi.

Kedua, video-video tersebut diminta berdasarkan kebutuhan pengguna yang telah diperkirakan sebelumnya (lihat gambar di atas), dan tidak diambil secara sembarangan. Dua faktor ini dalam kombinasi dapat menghasilkan koleksi yang sangat baru. Selain itu, peneliti memeriksa ID YouTube dari video yang diunduh melawan ID yang ditampilkan dalam dataset yang ada, yang memberikan kredibilitas pada klaim tersebut.

Meskipun tidak semua hal dalam makalah baru cukup meyakinkan, ini merupakan bacaan yang menarik yang menekankan seberapa jauh kita masih tergantung pada distribusi yang tidak merata dalam dataset, dalam hal tantangan yang dihadapi dalam pengembangan dataset.

Makalah baru ini berjudul VideoUFO: Dataset Skala Jutaan Pengguna untuk Generasi Video-ke-Teks, dan berasal dari dua peneliti, masing-masing dari University of Technology Sydney di Australia, dan Zhejiang University di Tiongkok.

Contoh-contoh dari dataset yang diperoleh.

‘Pembeli Pribadi’ untuk Data AI

Materi dan konsep yang ditampilkan dalam jumlah total gambar dan video internet tidak selalu mencerminkan apa yang pengguna akhir mungkin inginkan dari sistem generatif; bahkan ketika konten dan permintaan memang bertabrakan (seperti pornografi, yang tersedia dengan melimpah di internet dan sangat menarik bagi banyak pengguna AI), ini mungkin tidak selaras dengan niat dan standar pengembang untuk sistem generatif baru.

Di samping volume tinggi materi yang tidak pantas (NSFW) yang diunggah setiap hari, sejumlah besar materi yang tersedia di internet kemungkinan besar berasal dari pengiklan dan mereka yang berusaha memanipulasi SEO. Kepentingan komersial semacam ini membuat distribusi materi subjek jauh dari tidak memihak; lebih buruk lagi, sulit mengembangkan sistem filtering berbasis AI yang dapat menangani masalah ini, karena algoritma dan model yang dikembangkan dari data hyperscale yang bermakna dapat merefleksikan kecenderungan dan prioritas data sumber.

Oleh karena itu, penulis makalah baru telah mendekati masalah ini dengan membalikkan proposisi, dengan menentukan apa yang pengguna kemungkinan besar inginkan, dan memperoleh video yang selaras dengan kebutuhan tersebut.

Di permukaan, pendekatan ini tampaknya sama-sama mungkin memicu perlombaan semantik ke bawah seperti mencapai keseimbangan, netralitas gaya Wikipedia. Mengkalibrasi kurasi data sekitar permintaan pengguna berisiko memperkuat preferensi mayoritas sementara memarginalkan pengguna niche, karena kepentingan mayoritas akan selalu membawa bobot lebih besar.

Namun, mari kita lihat bagaimana makalah tersebut menangani tantangan ini.

Mengolah Konsep dengan Disiplin

Peneliti menggunakan dataset VidProM 2024 sebagai sumber untuk analisis topik yang kemudian akan memandu proses web scraping.

Dataset ini dipilih, menurut penulis, karena ini adalah satu-satunya dataset 1 juta+ yang tersedia secara publik ‘ditulis oleh pengguna nyata’ – dan perlu dinyatakan bahwa dataset ini sendiri dikurasi oleh dua penulis makalah baru.

Makalah tersebut menjelaskan*:

‘Pertama, kami memasukkan semua 1,67 juta prompt dari VidProM ke dalam vektor 384-dimensi menggunakan SentenceTransformers Selanjutnya, kami mengelompokkan vektor-vektor ini dengan K-means. Perlu diingat bahwa di sini kami menetapkan jumlah klaster ke nilai yang relatif besar, yaitu 2.000, dan menggabungkan klaster yang serupa pada langkah berikutnya.

‘Terakhir, untuk setiap klaster, kami meminta GPT-4o untuk menyimpulkan topik [satu atau dua kata].’

Penulis menunjukkan bahwa beberapa konsep adalah berbeda tetapi berdekatan, seperti gereja dan katedral. Kriteria yang terlalu granular untuk kasus seperti ini akan menghasilkan pemetaan konsep (misalnya) untuk setiap jenis breed anjing, bukan kata anjing; sementara kriteria yang terlalu luas dapat mengumpulkan konsep yang berlebihan ke dalam satu konsep yang terlalu penuh; oleh karena itu, makalah tersebut mencatat tindakan yang diperlukan untuk menilai kasus-kasus seperti ini.

Bentuk tunggal dan jamak digabungkan, dan kata kerja dipulihkan ke bentuk dasar (infinitif). Istilah yang terlalu luas – seperti animasi, adegan, film, dan gerakan – dihilangkan.

Dengan demikian, 1.291 topik diperoleh (dengan daftar lengkap tersedia di bagian suplemen makalah sumber).

Pemilihan Web Scraping

Selanjutnya, peneliti menggunakan API resmi YouTube untuk mencari video berdasarkan kriteria yang disuling dari dataset 2024, dengan tujuan memperoleh 500 video untuk setiap topik. Selain lisensi Creative Commons yang diperlukan, setiap video harus memiliki resolusi 720p atau lebih tinggi, dan harus lebih pendek dari empat menit.

Dengan cara ini, 586.490 video diambil dari YouTube.

Penulis membandingkan ID YouTube dari video yang diunduh dengan beberapa dataset populer: OpenVid-1M; HD-VILA-100M; Intern-Vid; Koala-36M; LVD-2M; MiraData; Panda-70M; VidGen-1M; dan WebVid-10M.

Mereka menemukan bahwa hanya 1.675 ID (0,29% yang disebutkan sebelumnya) dari klip VideoUFO yang ditampilkan dalam koleksi yang lebih lama, dan harus diakui bahwa meskipun daftar perbandingan dataset tidak lengkap, ini mencakup semua pemain utama dan paling berpengaruh dalam adegan video generatif.

Pembagian dan Penilaian

Video yang diperoleh kemudian dibagi menjadi klip yang berbeda, sesuai dengan metodologi yang diuraikan dalam makalah Panda-70M yang disebutkan di atas. Batas shot diperkirakan, perakitan dijahit, dan video yang digabungkan dibagi menjadi klip tunggal, dengan caption singkat dan terperinci disediakan.

Setiap entri data dalam dataset VideoUFO menampilkan klip, ID, waktu mulai dan akhir, serta caption singkat dan terperinci.

Caption singkat ditangani oleh metode Panda-70M, dan caption video terperinci oleh Qwen2-VL-7B, sesuai dengan pedoman yang ditetapkan oleh Open-Sora-Plan. Dalam kasus di mana klip tidak berhasil memuat konsep target yang dimaksud, caption terperinci untuk setiap klip tersebut dimasukkan ke dalam GPT-4o mini, untuk menentukan apakah klip tersebut benar-benar sesuai dengan topik. Meskipun penulis lebih memilih evaluasi melalui GPT-4o, ini akan terlalu mahal untuk jutaan klip video.

Penilaian kualitas video ditangani dengan enam metode dari proyek VBench.

Perbandingan

Penulis mengulangi proses ekstraksi topik pada dataset sebelumnya. Untuk ini, diperlukan untuk mencocokkan kategori yang diperoleh dari VideoUFO dengan kategori yang berbeda dalam koleksi lain; harus diakui bahwa proses ini hanya memberikan kategori setara yang diperkirakan, dan oleh karena itu mungkin terlalu subjektif untuk memastikan perbandingan empiris.

Meskipun demikian, pada gambar di bawah ini kita dapat melihat hasil yang diperoleh peneliti dengan metode ini:

Perbandingan atribut dasar yang diperoleh di seluruh VideoUFO dan dataset sebelumnya.

Penulis mengakui bahwa analisis mereka bergantung pada caption dan deskripsi yang ada dalam setiap dataset. Mereka mengakui bahwa mencaption ulang dataset yang lebih lama dengan metode yang sama seperti VideoUFO dapat menawarkan perbandingan yang lebih langsung. Namun, mengingat volume data yang sangat besar, kesimpulan mereka bahwa pendekatan ini akan terlalu mahal tampaknya masuk akal.

Generasi

Penulis mengembangkan benchmark untuk mengevaluasi kinerja model teks-ke-video pada konsep yang berfokus pada pengguna, yang disebut BenchUFO. Ini melibatkan pemilihan 791 kata benda dari 1.291 topik pengguna yang disuling dalam VideoUFO. Untuk setiap topik yang dipilih, sepuluh prompt teks dari VidProM dipilih secara acak.

Setiap prompt kemudian diteruskan ke model teks-ke-video, dengan Qwen2-VL-7B yang digunakan untuk mengevaluasi hasil yang dihasilkan. Dengan semua video yang dihasilkan yang telah diberi caption, SentenceTransformers digunakan untuk menghitung kesamaan kosinus untuk baik prompt input dan deskripsi output (yang diperkirakan) dalam setiap kasus.

Skema untuk proses BenchUFO.

Model generatif yang dievaluasi adalah: Mira; Show-1; LTX-Video; Open-Sora-Plan; Open Sora; TF-T2V; Mochi-1; HiGen; Pika; RepVideo; T2V-Zero; CogVideoX; Latte-1; Hunyuan Video; LaVie; dan Pyramidal.

Selain VideoUFO, MVDiT-VidGen dan MVDit-OpenVid adalah dataset pelatihan alternatif.

Hasilnya mempertimbangkan 10 topik terburuk dan terbaik yang berkinerja di seluruh arsitektur dan dataset.

Hasil kinerja model T2V publik vs. model yang dilatih oleh penulis, pada BenchUFO.

Di sini penulis mengomentari:

‘Model teks-ke-video saat ini tidak secara konsisten berkinerja baik di semua topik yang berfokus pada pengguna. Secara khusus, ada perbedaan skor yang berkisar dari 0,233 hingga 0,314 antara 10 topik teratas dan terbawah; model-model ini mungkin tidak memahami topik seperti “giant squid”, “sel hewan”, “Van Gogh”, dan “mesir kuno” karena kurangnya pelatihan pada video tersebut.

‘Model teks-ke-video saat ini menunjukkan sejumlah konsistensi dalam topik terbaik mereka. Kami menemukan bahwa sebagian besar model teks-ke-video unggul dalam menghasilkan video pada topik terkait hewan, seperti “camar”, “panda”, “lumba-lumba”, “unta”, dan “burung hantu”. Kami menyimpulkan bahwa ini sebagian karena bias terhadap hewan dalam dataset video saat ini.’

Kesimpulan

VideoUFO adalah penawaran yang luar biasa jika hanya dari sudut pandang data baru. Jika tidak ada kesalahan dalam mengevaluasi dan menghilangkan ID YouTube, dan jika dataset ini mengandung banyak materi yang baru bagi kancah penelitian, maka ini adalah proposisi yang langka dan berpotensi berharga.

Kelemahan dari ini adalah bahwa seseorang perlu memberikan kredibilitas pada metodologi inti; jika Anda tidak percaya bahwa permintaan pengguna harus memandu rumus web scraping, maka Anda akan membeli dataset yang datang dengan serangkaian bias yang mengganggu.

Lebih lanjut, utilitas topik yang disuling bergantung pada keandalan metode penyulingan yang digunakan (yang umumnya dihambat oleh keterbatasan anggaran), dan juga metode formulasi untuk dataset 2024 yang menyediakan materi sumber. Namun, VideoUFO tentu saja layak untuk penyelidikan lebih lanjut – dan tersedia di Hugging Face.

* Penggantian saya atas kutipan penulis dengan tautan.

Dipublikasikan pertama kali pada hari Rabu, 5 Maret 2025