Rangkaian kerja terbaru yang mencoba teks ke video atau generasi T2V menggunakan model difusi untuk menambah stabilitas dalam proses pelatihan, dan Model Difusi Video, salah satu pelopor dalam kerangka generasi teks ke video, memperluas arsitektur difusi gambar 2D dalam upaya untuk menampung data video, dan melatih model pada video dan gambar secara bersamaan dari awal. Membangun pada hal yang sama, dan untuk mengimplementasikan generator gambar pra-dilatih yang kuat seperti Difusi Stabil, karya terbaru mengembangkan arsitektur 2D dengan menyisipkan lapisan temporal di antara lapisan 2D pra-dilatih, dan memperbarui model baru pada dataset besar yang tidak terlihat. Meskipun pendekatan mereka, model difusi teks ke video menghadapi tantangan signifikan karena ketidakjelasan deskripsi teks yang digunakan saja untuk menghasilkan sampel video sering menghasilkan model teks ke video memiliki kontrol yang lebih lemah atas generasi. Untuk mengatasi keterbatasan ini, beberapa model menyediakan bimbingan yang ditingkatkan sementara yang lain bekerja dengan sinyal presisi untuk mengontrol adegan atau gerakan manusia dalam video yang disintesis dengan presisi. Di sisi lain, ada beberapa kerangka teks ke video yang mengadopsi gambar sebagai sinyal kontrol ke generator video yang menghasilkan baik model hubungan temporal yang akurat atau kualitas video yang tinggi.

Dapat dikatakan bahwa kontrolabilitas memainkan peran kunci dalam tugas generatif gambar dan video karena memungkinkan pengguna untuk membuat konten yang mereka inginkan. Namun, kerangka yang ada sering mengabaikan kontrol kamera pose yang akurat yang berfungsi sebagai bahasa sinematik untuk mengekspresikan nuansa naratif yang lebih dalam kepada model dengan lebih baik. Untuk mengatasi keterbatasan kontrolabilitas saat ini, dalam artikel ini, kita akan membahas CameraCtrl, sebuah gagasan baru yang mencoba untuk mengaktifkan kontrol kamera pose yang akurat untuk model teks ke video. Setelah memparameterkan trajektori kamera dengan presisi, model melatih modul kamera plug and play pada model teks ke video, dan meninggalkan komponen lainnya tidak tersentuh. Selanjutnya, model CameraCtrl juga melakukan studi komprehensif tentang efek dari berbagai dataset, dan menyarankan bahwa video dengan penampilan yang mirip dan distribusi kamera yang beragam dapat meningkatkan kemampuan kontrol dan generalisasi model secara keseluruhan. Eksperimen yang dilakukan untuk menganalisis kinerja model CameraCtrl pada tugas dunia nyata menunjukkan efisiensi kerangka dalam mencapai kontrol kamera yang presisi dan adaptif domain, membuka jalan bagi pencarian generasi video yang disesuaikan dan dinamis dari pose kamera dan input teks.

Artikel ini bertujuan untuk membahas kerangka CameraCtrl secara mendalam, dan kita menjelajahi mekanisme, metodologi, arsitektur kerangka bersama dengan perbandingannya dengan kerangka yang ada. Jadi mari kita mulai.

CameraCtrl: Kontrol Kamera untuk Generasi T2V

Pengembangan dan kemajuan model difusi baru-baru ini telah memajukan generasi video yang dipandu teks secara signifikan dalam beberapa tahun terakhir, dan merevolusi alur kerja desain konten. Kontrolabilitas memainkan peran signifikan dalam aplikasi generasi video praktis karena memungkinkan pengguna untuk menyesuaikan hasil yang dihasilkan sesuai dengan kebutuhan dan persyaratan mereka. Dengan kontrolabilitas yang tinggi, model dapat meningkatkan realisme, kualitas, dan kemampuan video yang dihasilkan, dan sementara input teks dan gambar umum digunakan oleh model untuk meningkatkan kontrolabilitas secara keseluruhan, mereka sering kekurangan kontrol presisi atas gerakan dan konten. Untuk mengatasi keterbatasan ini, beberapa kerangka telah mengusulkan untuk menggunakan sinyal kontrol seperti kerangka pose, aliran optik, dan sinyal multi-modal lainnya untuk mengaktifkan kontrol yang lebih akurat untuk memandu generasi video. Keterbatasan lain yang dihadapi oleh kerangka yang ada adalah bahwa mereka kekurangan kontrol presisi atas stimulasi atau penyesuaian titik kamera dalam generasi video karena kemampuan untuk mengontrol kamera sangat penting karena tidak hanya meningkatkan realisme video yang dihasilkan, tetapi dengan memungkinkan sudut pandang yang disesuaikan, juga meningkatkan keterlibatan pengguna, fitur yang sangat penting dalam pengembangan game, realitas tambah, dan realitas virtual. Selanjutnya, mengelola gerakan kamera dengan terampil memungkinkan kreator untuk menyoroti hubungan karakter, menekankan emosi, dan memandu fokus audiens target, sesuatu yang sangat penting dalam industri film dan periklanan.

Untuk mengatasi dan mengatasi keterbatasan ini, kerangka CameraCtrl, sebuah modul kamera yang dapat dipelajari dan presisi yang dapat dihubungkan dan dapat mengontrol sudut pandang kamera untuk generasi video. Namun, mengintegrasikan kamera yang disesuaikan ke dalam pipa model teks ke video yang ada adalah tugas yang lebih mudah diucapkan daripada dilakukan, memaksa kerangka CameraCtrl untuk mencari cara untuk merepresentasikan dan menyuntikkan kamera ke dalam arsitektur model secara efektif. Pada catatan yang sama, kerangka CameraCtrl mengadopsi plucker embeddings sebagai bentuk utama dari parameter kamera, dan alasan untuk memilih plucker embeddings dapat dikreditkan kepada kemampuan mereka untuk mengkodekan deskripsi geometris dari informasi pose kamera. Selanjutnya, untuk memastikan generalisasi dan penerapan model CameraCtrl setelah pelatihan, model memperkenalkan model kontrol kamera yang hanya menerima plucker embeddings sebagai input. Untuk memastikan model kontrol kamera dilatih secara efektif, kerangka dan pengembangnya melakukan studi komprehensif untuk menyelidiki bagaimana data pelatihan yang berbeda mempengaruhi kerangka dari data sintetis ke data realistis. Hasil eksperimental menunjukkan bahwa implementasi data dengan distribusi pose kamera yang beragam dan penampilan yang mirip dengan model dasar asli mencapai perdagangan terbaik antara kontrolabilitas dan generalisasi. Pengembang kerangka CameraCtrl telah mengimplementasikan model pada atas kerangka AnimateDiff, sehingga mengaktifkan kontrol presisi dalam generasi video di berbagai konteks video yang dipersonalisasi, menunjukkan kemampuan dan utilitasnya dalam berbagai konteks pembuatan video.

Kerangka AnimateDiff mengadopsi pendekatan fine-tuning LoRA yang efisien untuk mendapatkan bobot model untuk berbagai jenis bidikan. Kerangka Direct-a-video mengusulkan untuk mengimplementasikan penyuntik kamera untuk mengontrol pose kamera selama proses generasi video, tetapi hanya mengkondisikan tiga parameter kamera, membatasi kemampuan kontrol kamera ke jenis dasar. Di sisi lain, kerangka seperti MotionCtrl merancang pengontrol gerakan yang menerima lebih dari tiga parameter input dan dapat menghasilkan video dengan pose kamera yang lebih kompleks. Namun, kebutuhan untuk memperbarui bagian dari video yang dihasilkan menghambat generalisasi model. Selanjutnya, beberapa kerangka mengintegrasikan sinyal kontrol struktural tambahan seperti peta kedalaman ke dalam proses untuk meningkatkan kontrolabilitas untuk generasi gambar dan teks. Biasanya, model memberi makan sinyal kontrol ini ke dalam encoder tambahan, dan kemudian menyuntikkan sinyal ke dalam generator menggunakan berbagai operasi.

CameraCtrl: Arsitektur Model

Sebelum kita dapat melihat arsitektur dan paradigma pelatihan untuk encoder kamera, sangat penting bagi kita untuk memahami berbagai representasi kamera. Biasanya, pose kamera merujuk pada parameter intrinsik dan ekstrinsik, dan salah satu pilihan langsung untuk membiarkan generator video mengkondisikan pose kamera adalah dengan memberikan nilai raw kamera parameter ke generator. Namun, mengimplementasikan pendekatan seperti itu mungkin tidak meningkatkan kontrol kamera yang akurat untuk beberapa alasan. Pertama, sementara matriks rotasi dikonstrain oleh ortogonalitas, vektor translasi biasanya tidak terkonstrain dalam magnitude, dan menyebabkan ketidakcocokan dalam proses pembelajaran yang dapat mempengaruhi konsistensi kontrol. Kedua, menggunakan parameter kamera raw secara langsung dapat membuat model sulit untuk menghubungkan nilai-nilai ini dengan piksel gambar, menghasilkan kontrol yang berkurang atas detail visual. Untuk menghindari keterbatasan ini, kerangka CameraCtrl memilih plucker embeddings sebagai representasi pose kamera karena plucker embeddings memiliki representasi geometris dari setiap piksel bingkai video, dan dapat memberikan deskripsi yang lebih rinci dari informasi pose kamera.

Kontrolabilitas Kamera dalam Generator Video

Karena model memparameterkan trajektori kamera ke dalam urutan plucker embedding, yaitu peta spasial, model memiliki pilihan untuk menggunakan model encoder untuk mengekstrak fitur kamera, dan kemudian menggabungkan fitur kamera ke dalam generator video. Serupa dengan adapter teks ke gambar, model CameraCtrl memperkenalkan encoder kamera yang dirancang khusus untuk video. Encoder kamera termasuk model perhatian temporal setelah setiap blok konvolusional, memungkinkan untuk menangkap hubungan temporal pose kamera di seluruh klip video. Seperti yang ditunjukkan pada gambar berikut, encoder kamera hanya menerima input plucker embedding, dan menghasilkan fitur multi-skala. Setelah mendapatkan fitur kamera multi-skala, model CameraCtrl bertujuan untuk mengintegrasikan fitur-fitur ini ke dalam arsitektur U-Net dari model teks ke video secara mulus, dan menentukan lapisan yang harus digunakan untuk menggabungkan informasi kamera secara efektif. Selanjutnya, karena sebagian besar kerangka yang ada mengadopsi arsitektur seperti U-Net yang berisi lapisan perhatian temporal dan spasial, model CameraCtrl menyuntikkan representasi kamera ke dalam blok perhatian temporal, keputusan yang didukung oleh kemampuan lapisan perhatian temporal untuk menangkap hubungan temporal, sejalan dengan sifat kausal dan berurutan dari trajektori kamera dengan lapisan perhatian spasial yang menggambarkan bingkai individual.

Pembelajaran Distribusi Kamera

Melatih komponen encoder kamera dalam kerangka CameraCtrl pada generator video memerlukan sejumlah besar video yang dilabeli dan dianotasi dengan baik, dengan model yang dapat memperoleh trajektori kamera menggunakan pendekatan struktur dari gerakan atau SfM. Kerangka CameraCtrl berusaha untuk memilih dataset dengan penampilan yang sesuai dengan data pelatihan model teks ke video dasar secara dekat, dan memiliki distribusi pose kamera yang luas. Sampel dalam dataset yang dihasilkan menggunakan mesin virtual menunjukkan distribusi kamera yang beragam karena pengembang memiliki fleksibilitas untuk mengontrol parameter kamera selama fase rendering, meskipun itu juga menderita kesenjangan distribusi dibandingkan dengan dataset yang berisi sampel dunia nyata. Ketika bekerja dengan dataset yang berisi sampel dunia nyata, distribusi kamera biasanya sempit, dan dalam kasus seperti itu, kerangka perlu menemukan keseimbangan antara keberagaman di antara trajektori kamera yang berbeda dan kompleksitas trajektori kamera individual. Kompleksitas trajektori kamera individual memastikan bahwa model belajar untuk mengontrol trajektori yang kompleks selama proses pelatihan, sementara keberagaman di antara trajektori kamera yang berbeda memastikan model tidak terlalu cocok dengan pola tertentu. Selanjutnya, untuk memantau proses pelatihan encoder kamera, kerangka CameraCtrl mengusulkan metrik penyelarasan kamera untuk mengukur kualitas kontrol kamera dengan mengkuantifikasi kesalahan antara trajektori kamera sampel yang dihasilkan dan kondisi kamera input.

CameraCtrl: Eksperimen dan Hasil

Kerangka CameraCtrl mengimplementasikan model AnimateDiff sebagai model teks ke video dasar dan alasan utama di balik ini adalah bahwa strategi pelatihan model AnimateDiff memungkinkan modul gerakannya untuk diintegrasikan dengan model teks ke gambar dasar atau model LoRA teks ke gambar untuk mengakomodasi generasi video di berbagai genre dan domain. Model menggunakan optimizer Adam untuk melatih model dengan tingkat pembelajaran konstan sebesar 1e-4. Selanjutnya, untuk memastikan model tidak mempengaruhi kemampuan generasi video model teks ke video asli secara negatif, kerangka CameraCtrl menggunakan metrik FID atau Jarak Inception Frechet untuk menilai kualitas penampilan video, dan membandingkan kualitas video yang dihasilkan sebelum dan setelah menyertakan modul kamera.

Untuk menilai kinerjanya, kerangka CameraCtrl dievaluasi melawan dua kerangka kontrol kamera yang ada: MotionCtrl dan AnimateDiff. Namun, karena kerangka AnimateDiff hanya mendukung delapan trajektori kamera dasar, perbandingan antara CameraCtrl dan AnimateDiff terbatas pada tiga trajektori dasar. Di sisi lain, untuk perbandingan melawan MotionCtrl, kerangka memilih lebih dari seribu trajektori kamera acak dari dataset yang ada, menghasilkan video menggunakan trajektori ini, dan mengevaluasinya menggunakan metrik TransErr dan RotErr.

Seperti yang dapat diamati, kerangka CameraCtrl outperforms kerangka AnimateDiff pada trajektori dasar, dan menghasilkan hasil yang lebih baik dibandingkan dengan kerangka MotionCtrl pada metrik trajektori kompleks.

Selanjutnya, gambar berikut menunjukkan efek arsitektur encoder kamera pada kualitas sampel yang dihasilkan. Baris a hingga Baris d mewakili hasil yang dihasilkan dengan encoder kamera yang diimplementasikan dalam arsitektur: ControlNet, ControlNet dengan perhatian temporal, T2I Adaptor, dan T2I adaptor dengan perhatian temporal.

Pada gambar berikutnya, dua tempat pertama menunjukkan video yang dihasilkan menggunakan kombinasi encoder RGB dari kerangka SparseCtrl dan metode yang digunakan dalam kerangka CameraCtrl.

Pemikiran Akhir

Dalam artikel ini, kita telah membahas tentang CameraCtrl, sebuah gagasan baru yang mencoba untuk mengaktifkan kontrol kamera pose yang akurat untuk model teks ke video. Setelah memparameterkan trajektori kamera dengan presisi, model melatih modul kamera plug and play pada model teks ke video, dan meninggalkan komponen lainnya tidak tersentuh. Selanjutnya, model CameraCtrl juga melakukan studi komprehensif tentang efek dari berbagai dataset, dan menyarankan bahwa video dengan penampilan yang mirip dan distribusi kamera yang beragam dapat meningkatkan kemampuan kontrol dan generalisasi model secara keseluruhan. Eksperimen yang dilakukan untuk menganalisis kinerja model CameraCtrl pada tugas dunia nyata menunjukkan efisiensi kerangka dalam mencapai kontrol kamera yang presisi dan adaptif domain, membuka jalan bagi pencarian generasi video yang disesuaikan dan dinamis dari pose kamera dan input teks.