Pengeditan Objek Berbantuan AI dengan Google’s Imagic dan Runway’s ‘Erase and Replace’

Minggu ini, dua algoritma grafis yang digerakkan oleh AI baru, tetapi kontras, menawarkan cara baru bagi pengguna akhir untuk membuat perubahan yang sangat granular dan efektif pada objek dalam foto.

Yang pertama adalah Imagic, dari Google Research, dalam asosiasi dengan Israel’s Institute of Technology dan Weizmann Institute of Science. Imagic menawarkan pengeditan objek yang halus dan kondisional teks melalui penyetelan model difusi.

Ubah apa yang Anda suka, dan biarkan sisanya – Imagic berjanji untuk pengeditan granular dari hanya bagian yang Anda ingin ubah. Sumber: https://arxiv.org/pdf/2210.09276.pdf

Siapa pun yang pernah mencoba mengubah hanya satu elemen dalam re-render Stable Diffusion akan tahu terlalu baik bahwa untuk setiap edit yang sukses, sistem akan mengubah lima hal yang Anda sukai tepat seperti yang ada. Ini adalah kelemahan yang saat ini memiliki banyak penggemar SD yang paling berbakat secara konstan berpindah antara Stable Diffusion dan Photoshop, untuk memperbaiki kerusakan tersebut. Dari sudut pandang ini saja, pencapaian Imagic tampaknya cukup mencolok.

Pada saat penulisan, Imagic belum memiliki bahkan video promosi, dan, mengingat sikap hati-hati Google dalam merilis alat sintesis gambar yang tidak terkendali, tidak pasti seberapa besar, jika ada, kita akan mendapatkan kesempatan untuk menguji sistem.

Penawaran kedua adalah fasilitas Erase and Replace yang lebih dapat diakses dari Runway ML, sebuah fitur baru di bagian ‘AI Magic Tools’ dari suite utilitas efek visual berbasis mesin pembelajaran yang eksklusif online.

Fitur Erase and Replace dari Runway ML, sudah terlihat dalam pratinjau untuk sistem pengeditan teks-ke-video. Sumber: https://www.youtube.com/watch?v=41Qb58ZPO60

Mari kita lihat outing Runway terlebih dahulu.

Erase and Replace

Seperti Imagic, Erase and Replace hanya menangani gambar statis, meskipun Runway telah mempratinjau fungsi yang sama dalam solusi pengeditan teks-ke-video yang belum dirilis:

Meskipun siapa pun dapat menguji fitur Erase and Replace baru pada gambar, versi video belum tersedia untuk umum. Sumber: https://twitter.com/runwayml/status/1568220303808991232

Meskipun Runway ML belum merilis detail tentang teknologi di balik Erase and Replace, kecepatan di mana Anda dapat menggantikan tanaman hias dengan patung Ronald Reagan yang cukup meyakinkan menunjukkan bahwa model difusi seperti Stable Diffusion (atau, jauh lebih tidak mungkin, DALL-E 2 yang dilisensikan) adalah mesin yang mereinventasi objek pilihan Anda dalam Erase and Replace.

Menggantikan tanaman hias dengan patung The Gipper tidak secepat ini, tetapi cukup cepat. Sumber: https://app.runwayml.com/

Sistem ini memiliki beberapa batasan tipe DALL-E 2 – gambar atau teks yang memicu filter Erase and Replace akan memicu peringatan tentang kemungkinan penghapusan akun jika terjadi pelanggaran lebih lanjut – hampir merupakan salinan boilerplate dari kebijakan OpenAI untuk DALL-E 2.

Menggantikan meja rumah tangga dengan ‘meja es’ di Erase and Replace dari Runway ML.

Seperti Imagic (lihat di bawah), Erase and Replace adalah ‘berorientasi objek’ – Anda tidak bisa menghapus ‘bagian kosong’ dari gambar dan mengisi ulang dengan hasil prompt teks; dalam skenario tersebut, sistem akan menelusuri objek terdekat sepanjang garis pandang masker (seperti dinding atau televisi) dan menerapkan transformasi di sana.

Seperti yang ditunjukkan oleh nama, Anda tidak bisa menyuntikkan objek ke dalam ruang kosong di Erase and Replace. Di sini, upaya untuk memanggil lord Sith yang paling terkenal menghasilkan mural aneh yang terkait dengan Vader di TV, sekitar tempat area ‘ganti’ digambar.

Sulit untuk mengetahui apakah Erase and Replace sedang menghindari penggunaan gambar berhak cipta (yang masih sebagian besar terhalang, meskipun dengan kesuksesan yang bervariasi, di DALL-E 2), atau jika model yang digunakan di mesin rendering backend tidak dioptimalkan untuk hal seperti itu.

Mural ‘Nicole Kidman’ yang sedikit tidak pantas menunjukkan bahwa model difusi yang digunakan tidak memiliki penolakan sistematis terhadap rendering wajah realistis atau konten cabul, sementara hasil upaya untuk memanggil karya berhak cipta berkisar dari ambigu (‘xenomorph’) hingga absurd (‘the iron throne’). Di pojok kanan bawah, gambar sumber.

Menarik untuk mengetahui metode apa yang digunakan Erase and Replace untuk mengisolasi objek yang dapat digantikan. Kemungkinan besar gambar dijalankan melalui beberapa turunan dari CLIP, dengan item diskrit diindividuasi oleh pengenalan objek dan segmentasi semantik berikutnya. Tidak satu pun dari operasi ini bekerja hampir sebaik itu dalam instalasi umum dari Stable Diffusion.

Iterasi yang lebih menakutkan dari ‘Where’s Waldo’, karena Erase and Replace gagal menghasilkan alien.

Erase and Replace tampaknya merupakan sistem penggantian objek yang efektif, dengan pengisian ulang yang sangat baik. Namun, tidak bisa mengedit objek yang ada, tetapi hanya menggantinya. Untuk benar-benar mengubah konten gambar yang ada tanpa mengompromikan material sekitarnya adalah tugas yang jauh lebih sulit, yang terkait dengan perjuangan panjang sektor visi komputer menuju disentanglement dalam berbagai ruang laten dari kerangka kerja populer.

Imagic

Ini adalah tugas yang diatasi oleh Imagic. Makalah baru ini menawarkan banyak contoh edit yang berhasil memperbarui aspek individu dari foto sambil meninggalkan sisanya dari gambar tidak terganggu.

Di Imagic, gambar yang diedit tidak menderita peregangan, distorsi, dan ‘tebakan oklusi’ yang khas dari boneka deepfake, yang menggunakan prior yang terbatas yang berasal dari satu gambar.

Sistem ini menggunakan proses tiga tahap – optimasi penyematan teks; penyetelan model; dan, akhirnya, generasi gambar yang diedit.

Imagic mengkodekan prompt teks target untuk mendapatkan penyematan teks awal, dan kemudian mengoptimalkan hasilnya untuk mendapatkan gambar input. Setelah itu, model generatif disesuaikan dengan gambar sumber, menambahkan serangkaian parameter, sebelum dikenakan interpolasi yang diminta.

Tidak mengherankan, kerangka kerja ini didasarkan pada arsitektur teks-ke-video Imagen dari Google, meskipun peneliti menyatakan bahwa prinsip-prinsip sistem ini secara umum dapat diterapkan pada model difusi laten.

Sebuah kelas master dalam disentanglement: mereka yang telah mencoba mengubah sesuatu yang sederhana seperti warna objek yang dirender dalam difusi, GAN, atau model NeRF akan tahu seberapa signifikan Imagic dapat melakukan transformasi tersebut tanpa ‘menghancurkan’ konsistensi gambar lainnya.

Penyetelan kemudian dilakukan pada model dasar Imagen, selama 1500 langkah per gambar input, dikondisikan pada penyematan yang direvisi. Pada saat yang sama, lapisan sekunder 64px>256px dioptimalkan secara paralel pada gambar yang dikondisikan. Peneliti mencatat bahwa optimasi serupa untuk lapisan akhir 256px>1024px memiliki ‘sedikit atau tidak ada efek’ pada hasil akhir, dan oleh karena itu tidak diimplementasikan.

Makalah tersebut menyatakan bahwa proses optimasi memakan waktu sekitar delapan menit untuk setiap gambar pada chip TPUV4 ganda. Render akhir dilakukan di inti Imagen di bawah skema sampling DDIM.

Dalam kesamaan dengan proses penyetelan yang serupa untuk DreamBooth Google, penyematan yang dihasilkan juga dapat digunakan untuk menggerakkan gaya, serta edit fotorealistik yang mengandung informasi yang diambil dari database yang mendasari Imagen (karena, seperti yang ditunjukkan pada kolom pertama di bawah, gambar sumber tidak memiliki konten yang diperlukan untuk melakukan transformasi tersebut).

Gerakan dan edit fotorealistik yang fleksibel dapat dihasilkan melalui Imagic, sementara kode yang dihasilkan dan disentang yang diperoleh dalam proses dapat dengan mudah digunakan untuk output bergaya.

Peneliti membandingkan Imagic dengan karya sebelumnya SDEdit, sebuah pendekatan berbasis GAN dari 2021, sebuah kolaborasi antara Stanford University dan Carnegie Mellon University; dan Text2Live, sebuah kolaborasi, dari April 2022, antara Weizmann Institute of Science dan NVIDIA.

Perbandingan visual antara Imagic, SDEdit, dan Text2Live.

Jelas bahwa pendekatan sebelumnya kesulitan, tetapi di baris bawah, yang melibatkan intervensi perubahan pose besar, pendahulu gagal sepenuhnya untuk merefigurasi materi sumber, dibandingkan dengan keberhasilan yang cukup dari Imagic.

Kebutuhan sumber daya Imagic dan waktu pelatihan per gambar, meskipun singkat menurut standar seperti itu, membuatnya tidak mungkin dimasukkan dalam aplikasi pengeditan gambar lokal di komputer pribadi – dan tidak jelas seberapa besar proses penyetelan dapat dikurangi ke tingkat konsumen.

Seperti yang berdiri, Imagic adalah penawaran yang mengesankan yang lebih cocok untuk API – lingkungan yang mungkin paling nyaman bagi Google Research, yang berhati-hati dalam menghadapi kritik terkait fasilitasi deepfaking.

Sejauh mana proses penyetelan dapat dikurangi ke tingkat konsumen. Seperti yang berdiri, Imagic adalah penawaran yang mengesankan yang lebih cocok untuk API – lingkungan yang mungkin paling nyaman bagi Google Research, yang berhati-hati dalam menghadapi kritik terkait fasilitasi deepfaking. Pertama kali diterbitkan 18 Oktober 2022.