Pengeditan Video AI yang Konsisten dengan Input Teks-Guided

Sementara komunitas VFX profesional tertarik – dan terkadang merasa sedikit terancam – oleh inovasi baru dalam sintesis gambar dan video, kurangnya kontinuitas temporal dalam sebagian besar proyek pengeditan video berbasis AI mengarahkan banyak upaya tersebut ke arah ‘psikedelik’, dengan tekstur dan struktur yang berkilau dan berubah dengan cepat, efek yang tidak konsisten dan teknologi yang kasar yang mengingatkan kita pada era foto-kimia dari efek visual.

Jika Anda ingin mengubah sesuatu yang sangat spesifik dalam sebuah video yang tidak termasuk dalam kategori deepfakes (yaitu, mengenakan identitas baru pada footage yang ada dari seseorang), sebagian besar solusi saat ini beroperasi di bawah keterbatasan yang cukup parah, dalam hal presisi yang diperlukan untuk efek visual produksi berkualitas.

Salah satu pengecualian adalah pekerjaan yang sedang berlangsung dari sebuah asosiasi longgar akademisi dari Institut Sains Weizmann. Pada 2021, tiga penelitinya, dalam asosiasi dengan Adobe, mengumumkan sebuah metode baru untuk memecah video dan mengimposkan pemetaan internal yang konsisten – sebuah atlases saraf berlapis – ke dalam output yang dikomposisikan, lengkap dengan saluran alfa dan output yang kohesif secara temporal.

Dari makalah 2021: perkiraan traversal jalan lengkap di klip sumber diedit melalui jaringan saraf dalam cara yang biasanya memerlukan rotoscoping dan match-moving yang luas. Karena elemen latar belakang dan foreground ditangani oleh jaringan yang berbeda, masker benar-benar ‘otomatis’. Sumber: https://layered-neural-atlases.github.io/

Meskipun itu jatuh ke dalam ranah yang diliputi oleh aliran optik dalam pipa VFX, atlas berlapis tidak memiliki ekivalen langsung dalam alur kerja CGI tradisional, karena pada dasarnya merupakan ‘peta tekstur temporal’ yang dapat dihasilkan dan diedit melalui metode perangkat lunak tradisional. Dalam gambar kedua pada ilustrasi di atas, latar belakang permukaan jalan diwakili (secara figuratif) di seluruh runtime video. Mengubah gambar dasar (gambar ketiga dari kiri pada ilustrasi di atas) menghasilkan perubahan konsisten pada latar belakang.

Gambar ‘dibuka’ dari atlas di atas hanya mewakili bingkai yang ditafsirkan secara individual; perubahan konsisten dalam bingkai video target apa pun dipetakan kembali ke bingkai asli, mempertahankan oklusi dan efek adegan lainnya yang diperlukan, seperti bayangan atau refleksi.

Arsitektur inti menggunakan Multilayer Perceptron (MLP) untuk merepresentasikan atlas yang dibuka, saluran alfa, dan pemetaan, semua yang dioptimalkan bersama, dan sepenuhnya dalam ruang 2D, menghilangkan pengetahuan sebelumnya tentang titik geometri 3D, peta kedalaman, dan atribut CGI lainnya.

Atlas referensi dari objek individu juga dapat diubah dengan andal:

Perubahan konsisten pada objek yang bergerak di bawah kerangka kerja 2021. Sumber: https://www.youtube.com/watch?v=aQhakPFC4oQ

Secara esensial, sistem 2021 menggabungkan penyelarasan geometri, match-moving, pemetaan, re-texturizing, dan rotoscoping menjadi proses saraf diskrit.

Text2Live

Ketiga peneliti asli dari makalah 2021, bersama dengan NVIDIA Research, adalah salah satu kontributor pada inovasi baru pada teknik yang menggabungkan kekuatan atlas berlapis dengan teknologi CLIP yang dipandu teks yang telah kembali ke prominensi minggu ini dengan rilis kerangka kerja DALL-E 2 dari OpenAI.

Arsitektur baru, yang berjudul Text2Live, memungkinkan pengguna akhir untuk membuat edit lokal pada konten video aktual berdasarkan prompt teks:

Dua contoh editing foreground. Untuk resolusi dan definisi yang lebih baik, lihat video asli di https://text2live.github.io/sm/pages/video_results_atlases.html

Text2Live menawarkan editing semantik dan sangat lokal tanpa menggunakan generator pra-dilatih, dengan menggunakan database internal yang spesifik untuk klip video yang dipengaruhi.

Transformasi latar belakang dan foreground (objek) di bawah Text2Live. Sumber: https://text2live.github.io/sm/pages/video_results_atlases.html

Teknik ini tidak memerlukan masker yang disediakan pengguna, seperti alur kerja rotoscoping atau green-screen yang khas, tetapi memperkirakan peta relevansi melalui teknik bootstrapping berdasarkan penelitian 2021 dari Sekolah Ilmu Komputer Universitas Tel Aviv dan Facebook AI Research (FAIR).

Peta keluaran yang dihasilkan melalui model perhatian generik berbasis transformer.

Makalah baru berjudul Text2LIVE: Text-Driven Layered Image and Video Editing. Tim asli 2021 bergabung dengan Omer Bar-Tal dari Weizmann, dan Yoni Kasten dari NVIDIA Research.

Arsitektur

Text2Live terdiri dari generator yang dilatih pada satu gambar input dan prompt teks target. Model CLIP yang telah dilatih sebelumnya pada 400 juta pasangan teks/gambar menyediakan materi visual yang terkait yang dapat ditafsirkan dari transformasi input pengguna.

Generator menerima gambar input (bingkai) dan mengeluarkan lapisan RGBA target yang berisi informasi warna dan opasitas. Lapisan ini kemudian dikomposisikan ke dalam footage asli dengan augmentasi tambahan.

Saluran alfa dalam lapisan RGBA yang dihasilkan menyediakan fungsi komposit internal tanpa menggunakan pipa tradisional yang melibatkan perangkat lunak berbasis piksel seperti After Effects.

Dengan melatih pada gambar internal yang relevan dengan video atau gambar target, Text2Live menghindari kebutuhan untuk membalik gambar input ke ruang laten dari Jaringan Adversarial Generatif (GAN), praktik yang saat ini jauh dari cukup akurat untuk kebutuhan pengeditan video produksi, atau menggunakan model Difusi yang lebih presisi dan dapat dikonfigurasi, tetapi tidak dapat mempertahankan kesetiaan pada video target.

Suntingan transformasi berbasis prompt dari Text2Live.

Pendekatan sebelumnya telah menggunakan metode berbasis propagasi atau pendekatan berbasis aliran optik. Karena teknik-teknik ini adalah berbasis bingkai, tidak ada yang dapat menciptakan penampilan temporal yang konsisten dari perubahan dalam video output. Sebaliknya, atlas saraf berlapis menyediakan ruang tunggal untuk menangani perubahan, yang dapat tetap setia pada perubahan yang dilakukan saat video berlangsung.

Tidak ada ‘sizzling’ atau halusinasi acak: Text2Live mendapatkan interpretasi dari prompt teks ‘jeep berkarat’, dan menerapkannya sekali pada atlas saraf berlapis dari mobil dalam video, bukan memulai kembali transformasi untuk setiap bingkai yang ditafsirkan.

Alur kerja transformasi konsisten Text2Live dari Jeep menjadi bangkai yang berkarat.

Text2Live lebih dekat dengan terobosan dalam kompositing berbasis AI, daripada dalam ruang teks-ke-gambar yang telah menarik banyak perhatian minggu ini dengan rilis generasi kedua dari kerangka kerja DALL-E dari OpenAI (yang dapat mengincorporasi gambar target sebagai bagian dari proses transformasi, tetapi tetap terbatas dalam kemampuan untuk secara langsung mengintervensi sebuah foto, selain pensensoran data pelatihan sumber dan penerapan filter, dirancang untuk mencegah penyalahgunaan pengguna).

Sebaliknya, Text2Live memungkinkan pengguna akhir untuk mengekstrak atlas dan kemudian mengeditnya dalam satu langkah dalam lingkungan berbasis piksel dengan kontrol tinggi seperti Photoshop (dan secara argumentatif bahkan lebih abstrak kerangka sintesis gambar seperti NeRF), sebelum memasukkannya kembali ke dalam lingkungan yang tepat yang tidak bergantung pada estimasi 3D atau pendekatan CGI berbasis mundur.

Lebih lanjut, Text2Live, menurut klaim penulis, adalah kerangka kerja pertama yang setara untuk mencapai masking dan kompositing dalam cara yang sepenuhnya otomatis.

Dipublikasikan pertama kali pada 7 April 2022.