Generative AI telah menjadi kekuatan pendorong di komunitas AI selama beberapa waktu sekarang, dan kemajuan yang telah dibuat dalam bidang pemodelan gambar generatif, terutama dengan menggunakan model difusi, telah membantu model video generatif berkembang secara signifikan tidak hanya dalam penelitian, tetapi juga dalam hal aplikasi dunia nyata. Secara konvensional, model video generatif dilatih dari awal, atau mereka sebagian atau sepenuhnya disesuaikan dari model gambar pra-dilatih dengan lapisan temporal tambahan, pada campuran dataset gambar dan video.

Mengambil kemajuan dalam model video generatif, dalam artikel ini, kita akan membahas tentang Model Difusi Video Stabil, sebuah model difusi video laten yang mampu menghasilkan konten video dengan resolusi tinggi, gambar ke video, dan teks ke video. Kita akan membahas bagaimana model difusi laten yang dilatih untuk mensintesis gambar 2D telah meningkatkan kemampuan dan efisiensi model video generatif dengan menambahkan lapisan temporal dan menyempurnakan model pada dataset kecil yang terdiri dari video berkualitas tinggi. Kita akan memiliki penelitian yang lebih dalam tentang arsitektur dan kerja dari Model Difusi Video Stabil, dan mengevaluasi kinerjanya pada berbagai metrik dan membandingkannya dengan kerangka kerja generasi video saat ini. Jadi, mari kita mulai.

Model Difusi Video Stabil dan Model Video Generatif: Pengenalan

Berkat potensinya yang hampir tidak terbatas, Generative AI telah menjadi subjek penelitian utama bagi praktisi AI dan ML selama beberapa waktu sekarang, dan beberapa tahun terakhir telah melihat kemajuan pesat baik dalam hal efisiensi dan kinerja model gambar generatif. Pembelajaran dari model gambar generatif telah memungkinkan peneliti dan pengembang untuk membuat kemajuan pada model video generatif, menghasilkan peningkatan kemampuan dan aplikasi dunia nyata. Namun, sebagian besar penelitian yang mencoba meningkatkan kemampuan model video generatif berfokus terutama pada pengaturan lapisan temporal dan spasial, dengan sedikit perhatian yang diberikan untuk menyelidiki pengaruh pemilihan data yang tepat pada hasil model generatif ini.

Berikutnya, kita akan membahas tentang Model Difusi Video Stabil, yang merupakan upaya untuk meningkatkan kemampuan model video generatif dengan memasuki wilayah yang belum dipetakan sebelumnya, dengan fokus khusus pada pemilihan data.

Model video generatif terbaru bergantung pada model difusi, dan pendekatan kondisi teks atau gambar untuk mensintesis beberapa frame video atau gambar yang konsisten. Model difusi dikenal karena kemampuan mereka untuk mempelajari cara menghilangkan noise dari sampel distribusi normal dengan mengimplementasikan proses penyempurnaan iteratif, dan mereka telah menghasilkan hasil yang diinginkan pada sintesis gambar dan teks ke gambar dengan resolusi tinggi. Dengan menggunakan prinsip yang sama, Model Difusi Video Stabil melatih model difusi video laten pada dataset video, serta menggunakan Jaringan Adversarial Generatif atau GAN, dan bahkan model autoregresif sampai batas tertentu.

Model Difusi Video Stabil mengikuti strategi unik yang belum pernah diimplementasikan oleh model video generatif lainnya, karena bergantung pada baseline difusi video laten dengan arsitektur tetap dan strategi pelatihan tetap, diikuti dengan menilai efek pengkuratan data. Model Difusi Video Stabil bertujuan untuk membuat kontribusi berikut dalam bidang pemodelan video generatif.

1. Untuk menyajikan alur kerja pengkuratan data yang sistematis dan efektif dalam upaya untuk mengubah koleksi besar sampel video yang tidak terkurator menjadi dataset berkualitas tinggi yang kemudian digunakan oleh model video generatif.
2. Untuk melatih model gambar ke video dan teks ke video yang outperform kerangka kerja yang ada.
3. Melakukan eksperimen spesifik domain untuk menyelidiki pemahaman 3D dan prior motion dari model.

Sekarang, Model Difusi Video Stabil mengimplementasikan pembelajaran dari Model Difusi Video Laten dan teknik pengkuratan data di inti fondasinya.

Model Difusi Video Laten

Model Difusi Video Laten atau Video-LDM mengikuti pendekatan melatih model generatif utama dalam ruang laten dengan kompleksitas komputasi yang berkurang, dan sebagian besar Video-LDM mengimplementasikan model teks ke gambar pra-dilatih yang dipasangkan dengan penambahan lapisan pencampuran temporal dalam arsitektur pra-pelatihan. Sebagai hasilnya, sebagian besar Model Difusi Video Laten hanya melatih lapisan temporal, atau melewati proses pelatihan secara keseluruhan, tidak seperti Model Difusi Video Stabil yang menyempurnakan keseluruhan kerangka kerja.

Pengkuratan Data

Pengkuratan data adalah komponen esensial tidak hanya dari Model Difusi Video Stabil, tetapi juga untuk model generatif secara umum, karena penting untuk melatih model besar pada dataset skala besar untuk meningkatkan kinerja di berbagai tugas, termasuk pemodelan bahasa, atau generasi teks ke gambar diskriminatif, dan banyak lagi. Pengkuratan data telah diimplementasikan dengan sukses pada model gambar generatif dengan memanfaatkan kemampuan representasi bahasa-gambar yang efisien, meskipun diskusi seperti itu belum pernah difokuskan pada pengembangan model video generatif.

Pengkuratan Data untuk Sintesis Video Berkualitas Tinggi

Seperti yang dibahas pada bagian sebelumnya, Model Difusi Video Stabil mengimplementasikan strategi pelatihan tiga tahap, yang menghasilkan hasil yang ditingkatkan dan peningkatan kinerja yang signifikan. Tahap I adalah tahap pra-pelatihan gambar yang menggunakan model difusi teks ke gambar 2D. Tahap II adalah untuk pra-pelatihan video di mana kerangka kerja dilatih pada sejumlah besar data video. Akhirnya, kita memiliki Tahap III untuk penyempurnaan video di mana model disempurnakan pada subset kecil video berkualitas tinggi dan resolusi tinggi.

Namun, sebelum Model Difusi Video Stabil mengimplementasikan tiga tahap ini, penting untuk memproses dan menandai data karena berfungsi sebagai dasar untuk Tahap II atau tahap pra-pelatihan video, dan memainkan peran kritis dalam memastikan output optimal. Untuk memastikan efisiensi maksimal, kerangka kerja pertama mengimplementasikan pipa deteksi cut yang berkaskade pada tiga tingkat FPS atau Frames Per Second yang berbeda, dan kebutuhan pipa ini ditunjukkan pada gambar berikut.

Selanjutnya, Model Difusi Video Stabil menandai setiap klip video menggunakan tiga metode penandaan sintetis yang berbeda. Tabel berikut membandingkan dataset yang digunakan dalam Kerangka Difusi Stabil sebelum dan setelah proses penyaringan.

Tahap I: Pra-Pelatihan Gambar

Tahap pertama dalam pipa tiga tahap yang diimplementasikan dalam Model Difusi Video Stabil adalah pra-pelatihan gambar, dan untuk mencapai ini, kerangka kerja Model Difusi Video Stabil awal didasarkan pada model difusi gambar pra-dilatih, yaitu model Stable Diffusion 2.1 yang memberinya representasi visual yang lebih kuat.

Tahap II: Pra-Pelatihan Video

Tahap kedua adalah Tahap Pra-Pelatihan Video, dan ini membangun pada temuan bahwa penggunaan pengkuratan data dalam model gambar generatif multimodal sering menghasilkan hasil yang lebih baik, serta efisiensi yang ditingkatkan dan generasi gambar diskriminatif yang kuat. Namun, karena kurangnya representasi yang kuat dan siap pakai untuk menyaring sampel yang tidak diinginkan untuk model video generatif, Model Difusi Video Stabil bergantung pada preferensi manusia sebagai sinyal input untuk menciptakan dataset yang sesuai untuk pra-pelatihan kerangka kerja.

Lebih spesifik, kerangka kerja menggunakan metode yang berbeda untuk mengkurasi subset dari Difusi Video Laten, dan mempertimbangkan peringkat model LVD yang dilatih pada dataset ini. Selain itu, kerangka kerja Model Difusi Video Stabil juga menemukan bahwa penggunaan dataset yang dikurasi untuk melatih kerangka kerja membantu meningkatkan kinerja kerangka kerja, serta model difusi secara umum.

Tahap III: Penyempurnaan Video Berkualitas Tinggi

Sampai Tahap II, kerangka kerja Model Difusi Video Stabil fokus pada meningkatkan kinerja sebelum penyempurnaan video, dan pada tahap ketiga, kerangka kerja ini menekankan pada optimasi atau peningkatan kinerja kerangka kerja setelah penyempurnaan video berkualitas tinggi, serta bagaimana transisi dari Tahap II ke Tahap III dicapai dalam kerangka kerja. Pada Tahap III, kerangka kerja ini menggunakan teknik pelatihan yang dipinjam dari model difusi gambar laten, dan meningkatkan resolusi contoh pelatihan.

Hasil dan Temuan

Sekarang, saatnya untuk melihat bagaimana kerangka kerja Model Difusi Video Stabil berkinerja pada tugas dunia nyata, dan bagaimana ia membandingkan dengan kerangka kerja generasi video saat ini. Kerangka kerja Model Difusi Video Stabil pertama kali menggunakan pendekatan data optimal untuk melatih model dasar, dan kemudian melakukan penyempurnaan untuk menghasilkan beberapa model yang outperform, di mana setiap model melakukan tugas tertentu.

Gambar di atas mewakili sampel gambar ke video dengan resolusi tinggi yang dihasilkan oleh kerangka kerja, sedangkan gambar berikut menunjukkan kemampuan kerangka kerja untuk menghasilkan sampel teks ke video berkualitas tinggi.

Model Dasar Pra-Dilatih

Seperti yang dibahas sebelumnya, model Model Difusi Video Stabil dibangun di atas kerangka kerja Stable Diffusion 2.1, dan berdasarkan temuan terbaru, penting bagi pengembang untuk mengadopsi jadwal noise dan meningkatkan noise untuk mendapatkan gambar dengan resolusi yang lebih baik saat melatih model difusi gambar. Berkat pendekatan ini, model dasar Model Difusi Video Stabil mempelajari representasi gerakan yang kuat, dan dalam prosesnya, outperform model baseline untuk teks ke video dalam pengaturan zero-shot, dan hasilnya ditampilkan pada tabel berikut.

Interpolasi Frame dan Generasi Multi-View

Kerangka kerja Model Difusi Video Stabil menyempurnakan model gambar ke video pada dataset multi-view untuk mendapatkan beberapa pandangan baru dari sebuah objek, dan model ini dikenal sebagai SVD-MV atau Model Difusi Video Stabil – Multi-View. Model SVD asli disempurnakan dengan bantuan dua dataset dalam cara yang kerangka kerja memasukkan sebuah gambar tunggal dan mengembalikan urutan gambar multi-view sebagai outputnya.

Seperti yang dapat dilihat pada gambar berikut, kerangka kerja Model Difusi Video Stabil – Multi-View menghasilkan kinerja yang tinggi yang setara dengan kerangka kerja Multi-View Scratch, dan hasilnya merupakan demonstrasi yang jelas dari kemampuan SVD-MV untuk memanfaatkan pembelajaran yang diperoleh dari model SVD asli untuk generasi gambar multi-view.

Pada gambar di atas, metrik ditunjukkan pada sisi kiri dan seperti yang dapat dilihat, kerangka kerja Model Difusi Video Stabil – Multi-View outperform Scratch-MV dan SD2.1 Multi-View dengan margin yang cukup. Gambar kedua menunjukkan efek dari jumlah iterasi pelatihan pada kinerja keseluruhan kerangka kerja dalam hal Skor Clip, dan kerangka kerja SVD-MV menghasilkan hasil yang berkelanjutan.

Pemikiran Akhir

Dalam artikel ini, kita telah membahas tentang Model Difusi Video Stabil, sebuah model difusi video laten yang mampu menghasilkan konten video dengan resolusi tinggi, gambar ke video, dan teks ke video. Model Difusi Video Stabil mengikuti strategi unik yang belum pernah diimplementasikan oleh model video generatif lainnya, karena bergantung pada baseline difusi video laten dengan arsitektur tetap dan strategi pelatihan tetap, diikuti dengan menilai efek pengkuratan data.

Kita telah membahas bagaimana model difusi laten yang dilatih untuk mensintesis gambar 2D telah meningkatkan kemampuan dan efisiensi model video generatif dengan menambahkan lapisan temporal dan menyempurnakan model pada dataset kecil yang terdiri dari video berkualitas tinggi. Untuk mengumpulkan data pra-pelatihan, kerangka kerja ini melakukan studi penskalaan dan mengikuti praktik pengumpulan data yang sistematis, dan pada akhirnya, mengusulkan metode untuk mengkurasi sejumlah besar data video dan mengubah video yang berisik menjadi data input yang sesuai untuk model video generatif.

Selanjutnya, kerangka kerja Model Difusi Video Stabil menggunakan tiga tahap pelatihan model video yang berbeda yang dianalisis secara independen untuk menilai dampaknya pada kinerja kerangka kerja. Kerangka kerja ini pada akhirnya menghasilkan representasi video yang cukup kuat untuk menyempurnakan model untuk sintesis video optimal, dan hasilnya setara dengan model generasi video saat ini yang sudah digunakan.