Microsoft Mengusulkan GODIVA, Kerangka Pembelajaran Mesin Text-To-Video

Kolaborasi antara Microsoft Research Asia dan Duke University telah menghasilkan sistem pembelajaran mesin yang mampu menghasilkan video hanya dari prompt teks, tanpa menggunakan Jaringan Adversarial Generatif (GANs).

Proyek ini berjudul GODIVA (Generating Open-DomaIn Videos from nAtural Descriptions), dan membangun beberapa pendekatan yang digunakan oleh sistem sintesis gambar OpenAI’s DALL-E, yang diungkapkan sebelumnya tahun ini.

Hasil awal dari GODIVA, dengan frame dari video yang dibuat dari dua prompt. Dua contoh atas dihasilkan dari prompt ‘Bermain golf di rumput’, dan contoh ketiga dari prompt ‘Pertandingan bisbol dimainkan’. Sumber: https://arxiv.org/pdf/2104.14806.pdf

GODIVA menggunakan model Vector Quantised-Variational AutoEncoder (VQ-VAE) yang pertama kali diperkenalkan oleh peneliti dari proyek DeepMind Google pada tahun 2018, dan juga komponen penting dalam kemampuan transformasional DALL-E.

Arsitektur model VQ-VAE, dengan ruang penyematan di sebelah kanan dan encoder/decoder yang berbagi ruang dimensi untuk mengurangi kerugian selama rekonstruksi. Sumber: https://arxiv.org/pdf/1711.00937.pdf

VQ-VAE telah digunakan dalam beberapa proyek untuk menghasilkan video yang diprediksi, di mana pengguna menyediakan sejumlah frame awal dan meminta sistem untuk menghasilkan frame tambahan:

Pekerjaan sebelumnya: VQ-VAE menginfer frame dari bahan sumber yang sangat terbatas. Sumber: Bahan tambahan di https://openreview.net/forum?id=bBDlTR5eDIX

Namun, penulis makalah baru ini mengklaim bahwa GODIVA merupakan implementasi teks-ke-video (T2V) murni pertama yang menggunakan VQ-VAE daripada hasil yang lebih tidak stabil hasil yang diperoleh proyek sebelumnya dengan GANs.

Titik Benih Dalam Text-To-Video

Meskipun pengajuan ini singkat dalam detail tentang kriteria oleh mana frame awal dibuat, GODIVA tampaknya memanggil citra benih dari tidak ada sebelumnya sebelum melanjutkan untuk mengextrapolasinya menjadi frame video beresolusi rendah.

Representasi kolom dari sistem perhatian yang jarang tiga dimensi yang memungkinkan GODIVA untuk tugas teks-ke-gambar. Auto-regresi diprediksi melalui empat faktor: teks input, posisi relatif dengan frame sebelumnya (mirip dengan NVIDIA’s SPADE dan metode lain yang membangun atau berevolusi melampaui pendekatan Aliran Optik), baris yang sama pada frame yang sama, dan kolom yang sama pada kolom yang sama.

Faktanya, asalnya berasal dari label dalam data yang digunakan: GODIVA telah dipratinjau pada dataset Howto100M, yang terdiri dari 136 juta klip video yang memiliki keterangan yang disumber dari YouTube selama 15 tahun, dan menampilkan 23.000 aktivitas yang diberi label. Namun, setiap aktivitas yang mungkin ada dalam jumlah yang sangat tinggi klip, meningkat dengan generalisasi (yaitu ‘Hewan peliharaan dan hewan’ memiliki 3,5 juta klip, sedangkan ‘anjing’ memiliki 762.000 klip), dan sehingga masih ada pilihan yang besar untuk titik awal yang mungkin.

Model ini dievaluasi pada dataset MSR Video ke Teks (MSR-VTT) dari Microsoft. Sebagai tes tambahan dari arsitektur, GODIVA telah dilatih dari awal pada dataset Moving Mnist dan dataset Double Moving Mnist, keduanya berasal dari database MNIST asli, sebuah kolaborasi antara Microsoft, Google, dan Courant Institute of Mathematical Sciences di NYU.

Evaluasi Frame Dalam Sintesis Video Kontinu

Sejalan dengan IRC-GAN dari Peking University, GODIVA menambahkan empat pemeriksaan kolom tambahan ke metode MNIST asli, yang mengevaluasi frame sebelum dan sesudah dengan bergerak ke atas dan ke bawah, kemudian ke kiri dan ke kanan. IRC-GAN dan GODIVA juga mempertimbangkan frame dengan bergerak perhatian ke kiri dan ke kanan, kanan ke kiri, atas ke bawah, dan bawah ke atas.

Frame yang dihasilkan tambahan dari GODIVA.

Mengevaluasi Kualitas Video dan Kesetiaan terhadap Prompt

Untuk memahami seberapa baik generasi gambar berhasil, peneliti menggunakan dua metrik: satu berdasarkan kesamaan CLIP, dan metrik Pencocokan Relatif (RM) yang baru.

Kerangka kerja CLIP dari OpenAI dapat melakukan pencocokan gambar ke teks dengan zero-shot, serta memfasilitasi sintesis gambar dengan membalik model ini. Peneliti membagi skor yang diperoleh dari CLIP dengan kesamaan yang dihitung antara prompt teks dan video ground truth untuk mendapatkan skor RM. Dalam putaran penilaian terpisah, output dievaluasi oleh 200 orang dan hasilnya dibandingkan dengan skor programatis.

Akhirnya, GODIVA diuji melawan dua kerangka kerja sebelumnya, TFGAN dan kolaborasi Duke/NEC pada tahun 2017, T2V.

TFGAN dapat menghasilkan 128 piksel persegi dalam perbandingan dengan output 64×64 yang membatasi GODIVA dan T2V dalam contoh di atas, tetapi peneliti mencatat bahwa GODIVA menghasilkan gerakan yang lebih berani dan lebih berkomitmen, serta akan menghasilkan perubahan adegan tanpa ada prompt khusus, dan tidak ragu-ragu untuk menghasilkan shot dekat.

Dalam jalur berikutnya, GODIVA juga menghasilkan output 128x128px, dengan perubahan dalam POV:

Dalam metrik RM milik proyek, GODIVA dapat mencapai skor yang mendekati 100% dalam hal autentisitas (kualitas video) dan kesetiaan (seberapa dekat konten yang dihasilkan dengan prompt input).

Peneliti mengakui, bagaimanapun, bahwa pengembangan metrik CLIP berbasis video akan menjadi tambahan yang disambut dalam bidang sintesis gambar ini, karena akan menyediakan lapangan yang sama untuk mengevaluasi kualitas hasil tanpa harus mengandalkan over-fitting dan kurangnya generalisasi yang telah semakin dikritik dalam hal ‘standar’ tantangan penglihatan komputer selama sepuluh tahun terakhir.

Mereka juga mengamati bahwa menghasilkan video yang lebih panjang akan menjadi pertimbangan logistik dalam pengembangan sistem lebih lanjut, karena hanya 10 frame output 64x64px memerlukan 2560 token visual, yang merupakan pembengkakan pipa yang kemungkinan besar akan menjadi mahal dan tidak dapat diatur dengan cepat.