UniTune: Teknik Pengeditan Gambar Neural Alternatif Google

Penelitian Google tampaknya menyerang pengeditan gambar berbasis teks dari beberapa arah, dan, tampaknya, menunggu untuk melihat apa yang ‘berhasil’. Setelah dirilisnya makalah Imagic pada minggu ini, raksasa pencarian telah mengusulkan metode difusi laten tambahan untuk melakukan pengeditan AI yang tidak mungkin pada gambar melalui perintah teks, kali ini disebut UniTune.

Berdasarkan contoh yang diberikan dalam makalah proyek baru, UniTune telah mencapai tingkat disentanglement yang luar biasa dari pose semantik dan ide dari konten gambar yang sebenarnya:

UniTune memiliki kendali yang luar biasa atas komposisi semantik. Perhatikan bagaimana di baris atas gambar, wajah dua orang tidak terdistorsi oleh transformasi luar biasa pada sisa gambar sumber (kanan). Sumber: https://arxiv.org/pdf/2210.09477.pdf

Bagi penggemar Stable Diffusion, menerapkan pengeditan pada bagian tertentu dari gambar tanpa merusak sisa gambar dapat menjadi operasi yang sulit, terkadang mustahil. Meskipun distribusi populer seperti AUTOMATIC1111 dapat membuat masker untuk pengeditan lokal dan terbatas, prosesnya sangat sulit dan sering tidak dapat diprediksi.

Jawaban yang jelas, setidaknya bagi praktisi penglihatan komputer, adalah memasukkan lapisan segmentasi semantik yang dapat mengenali dan mengisolasi objek dalam gambar tanpa intervensi pengguna, dan, memang, telah ada beberapa inisiatif baru akhir-akhir ini sepanjang garis pemikiran ini.

Another possibility untuk mengunci operasi pengeditan gambar neural yang berantakan dan terjalin adalah dengan menggunakan modul Contrastive Language-Image Pre-training (CLIP) dari OpenAI, yang merupakan inti dari model difusi laten seperti DALL-E 2 dan Stable Diffusion, untuk bertindak sebagai filter pada titik di mana model teks-ke-gambar siap mengirimkan render yang diinterpretasikan kembali ke pengguna. Dalam konteks ini, CLIP harus bertindak sebagai sentinel dan modul kontrol kualitas, menolak render yang tidak lengkap atau tidak sesuai. Ini akan segera diterapkan (tautan Discord) di portal API DreamStudio Stability.ai.

Namun, karena CLIP secara argumentatif baik sebagai pelaku dan solusi dalam skenario seperti itu (karena pada dasarnya juga memberitahu cara gambar itu berkembang), dan karena persyaratan perangkat keras mungkin melebihi apa yang mungkin tersedia secara lokal untuk pengguna akhir, pendekatan ini mungkin tidak ideal.

Bahasa Yang Dikompresi

UniTune yang diusulkan sebagai gantinya ‘fine tune’ model difusi yang ada – dalam hal ini, Imagen milik Google, meskipun peneliti menyatakan bahwa metode ini kompatibel dengan arsitektur difusi laten lainnya – sehingga token unik dapat disuntikkan ke dalamnya yang dapat dipanggil dengan memasukkannya ke dalam prompt teks.

Pada pandangan pertama, ini terdengar seperti DreamBooth Google, saat ini obsesi di kalangan penggemar dan pengembang Stable Diffusion, yang dapat menyuntikkan karakter atau objek baru ke dalam checkpoint yang ada, seringkali dalam waktu kurang dari satu jam, berdasarkan beberapa gambar sumber; atau seperti Textual Inversion, yang membuat file ‘sidecar’ untuk checkpoint, yang kemudian dianggap sebagai jika mereka awalnya dilatih ke dalam model, dan dapat memanfaatkan sumber daya model yang sangat besar dengan memodifikasi pengklasifikasi teks, menghasilkan file yang sangat kecil (dibandingkan dengan checkpoint yang dipangkas minimal 2GB dari DreamBooth).

Faktanya, peneliti menyatakan, UniTune menolak kedua pendekatan ini. Mereka menemukan bahwa Textual Inversion menghilangkan terlalu banyak detail penting, sedangkan DreamBooth ‘performa lebih buruk dan lebih lama’ daripada solusi yang akhirnya mereka setujui.

Meskipun demikian, UniTune menggunakan pendekatan ‘metaprompt’ semantik yang sama dengan DreamBooth, dengan perubahan yang dilatih dipanggil dengan kata-kata unik yang dipilih oleh pelatih, yang tidak akan bertentangan dengan istilah yang ada dalam model rilis publik yang dilatih dengan hati-hati.

‘Untuk melakukan operasi pengeditan, kami mengambil sampel dari model yang telah difine-tune dengan prompt “[rare_tokens] edit_prompt” (misalnya “beikkpic dua anjing di restoran” atau “beikkpic seorang minion”).’

Proses

Meskipun membingungkan mengapa dua makalah yang hampir identik, dalam hal fungsionalitas akhir, harus datang dari Google dalam seminggu, ada setidaknya satu perbedaan yang jelas antara UniTune dan Imagic – yang terakhir menggunakan prompt bahasa alami ‘tidak terkompresi’ untuk memandu operasi pengeditan gambar, sedangkan UniTune melatih token unik dalam gaya DreamBooth.

Oleh karena itu, jika Anda mengedit dengan Imagic dan ingin melakukan transformasi seperti ini…

Dari makalah UniTune – UniTune memposisikan diri melawan kerangka kerja pengeditan neural saingan Google, SDEdit. Hasil UniTune ada di sebelah kanan, sedangkan masker yang diestimasi terlihat di gambar kedua dari kiri.

.. di Imagic, Anda akan memasukkan ‘orang ketiga, duduk di latar belakang, sebagai monster yang imut dan berbulu’.

Perintah UniTune yang setara akan menjadi ‘Orang di belakang sebagai [x]’, di mana x adalah kata aneh dan unik yang terikat dengan konsep yang telah difine-tune yang terkait dengan karakter monster yang berbulu.

Di mana sejumlah gambar dimasukkan ke dalam DreamBooth atau Textual Inversion dengan tujuan menciptakan abstraksi gaya deepfake yang dapat dipanggil ke dalam banyak pose, baik UniTune maupun Imagic memasukkan gambar tunggal ke dalam sistem – gambar asli yang murni.

Ini mirip dengan cara kerja banyak alat pengeditan berbasis GAN selama beberapa tahun terakhir – dengan mengubah gambar input menjadi kode laten di ruang laten GAN dan kemudian mengalamatkan kode tersebut dan mengirimkannya ke bagian lain dari ruang laten untuk modifikasi (yaitu, memasukkan gambar seseorang yang muda dan berambut gelap dan memproyeksikannya melalui kode laten yang terkait dengan ‘tua’ atau ‘pirang’, dll.).

Namun, hasilnya, dalam model difusi, dan dengan metode ini, sangat akurat dan tidak ambigu:

Proses Pemfine-tuning

Metode UniTune pada dasarnya mengirim gambar asli melalui model difusi dengan serangkaian instruksi tentang bagaimana gambar tersebut harus dimodifikasi, menggunakan repositori data yang tersedia yang dilatih ke dalam model. Secara efektif, Anda dapat melakukan ini sekarang dengan fungsi img2img Stable Diffusion – tetapi tidak tanpa mengubah atau mengubah bagian gambar yang Anda inginkan untuk dipertahankan.

Selama proses UniTune, sistem difine-tune, yaitu UniTune memaksa model untuk melanjutkan pelatihan, dengan sebagian besar lapisannya tidak dibekukan (lihat di bawah). Dalam kebanyakan kasus, fine-tuning akan menurunkan nilai kesalahan umum model yang telah dilatih dengan baik demi menyuntikkan atau memperbaiki aspek lain yang diinginkan untuk dibuat atau ditingkatkan.

Namun, dengan UniTune tampaknya model salinan yang diaktifkan, meskipun mungkin memiliki ukuran beberapa gigabyte atau lebih, akan dianggap sebagai ‘kulit’ yang dapat dibuang, dan dibuang di akhir proses, setelah melakukan satu tujuan. Jenis tonase data yang santai ini menjadi krisis penyimpanan sehari-hari bagi penggemar DreamBooth, yang modelnya sendiri, bahkan ketika dipangkas, tidak kurang dari 2GB per subjek.

Seperti halnya Imagic, penyetelan utama pada UniTune terjadi pada dua lapisan terbawah dari tiga lapisan di Imagen (base 64px, 64px>256px, dan 256px>1024px). Tidak seperti Imagic, peneliti melihat beberapa potensi nilai dalam mengoptimalkan penyetelan juga untuk lapisan super-resolusi terbesar (meskipun mereka belum mencobanya).

Untuk lapisan 64px terendah, model ini bias towards gambar dasar selama pelatihan, dengan beberapa pasang gambar/teks yang dimasukkan ke dalam sistem untuk 128 iterasi dengan ukuran batch 4, dan dengan Adafactor sebagai fungsi kesalahan, beroperasi pada tingkat pembelajaran 0,0001. Meskipun pengkode T5 saja dibekukan selama fine-tuning ini, juga dibekukan selama pelatihan utama Imagen

Operasi di atas kemudian diulangi untuk lapisan 64>256px, menggunakan prosedur augmentasi noise yang sama yang digunakan dalam pelatihan asli Imagen.

Pengambilan Sampel

Terdapat beberapa metode pengambilan sampel yang mungkin untuk mengeluarkan perubahan yang dilakukan, termasuk Classifier Free Guidance (CFG), yang juga merupakan andalan Stable Diffusion. CFG pada dasarnya mendefinisikan seberapa besar model dapat ‘mengikuti imajinasi’ dan menjelajahi kemungkinan rendering – atau, pada pengaturan yang lebih rendah, seberapa besar model harus mempertahankan data sumber input, dan membuat perubahan yang kurang luas atau dramatis.

Seperti Textual Inversion (sedikit kurang dengan DreamBooth), UniTune dapat menerapkan gaya grafis yang berbeda pada gambar asli, serta pengeditan yang lebih fotorealistik.

Peneliti juga bereksperimen dengan teknik ‘awal yang lambat’ SDEdit, di mana sistem didorong untuk mempertahankan detail asli dengan hanya sebagian ‘noise’ dari awal, tetapi lebih mempertahankan karakteristik esensialnya. Meskipun peneliti hanya menggunakannya pada lapisan terendah (64px), mereka percaya bahwa ini bisa menjadi teknik pengambilan sampel yang berguna di masa depan.

Peneliti juga memanfaatkan prompt-ke-prompt sebagai teknik teks tambahan untuk mengkondisikan model:

‘Dalam pengaturan “prompt ke prompt”, kami menemukan bahwa teknik yang kami sebut Prompt Guidance sangat membantu untuk menyetel fidelitas dan ekspresivitas.

‘Prompt Guidance mirip dengan Classifier Free Guidance kecuali bahwa baseline-nya adalah prompt yang berbeda bukan model yang tidak terkondisi. Ini memandu model menuju delta antara dua prompt.’

Prompt-ke-prompt di UniTune, secara efektif mengisolasi area untuk diubah.

Namun, bimbingan prompt, menurut penulis, hanya diperlukan secara terkadang dalam kasus di mana CFG gagal untuk mendapatkan hasil yang diinginkan.

Metode pengambilan sampel baru lainnya yang ditemukan selama pengembangan UniTune adalah interpolasi, di mana area gambar cukup berbeda sehingga gambar asli dan yang diubah sangat mirip dalam komposisi, memungkinkan interpolasi yang lebih ‘naif’ digunakan.

Interpolasi dapat membuat proses UniTune yang lebih sulit menjadi tidak perlu dalam kasus di mana area yang akan diubah adalah diskrit dan terpisahkan.

Penulis menyarankan bahwa interpolasi dapat bekerja sangat baik, untuk sejumlah besar gambar sumber target, sehingga dapat digunakan sebagai pengaturan default, dan mengamati juga bahwa ini memiliki kekuatan untuk melakukan transformasi luar biasa dalam kasus di mana oklusi kompleks tidak perlu dinegosiasikan oleh metode yang lebih intensif.

UniTune dapat melakukan pengeditan lokal dengan atau tanpa masker edit, tetapi juga dapat memutuskan secara sepihak di mana untuk memposisikan pengeditan, dengan kombinasi unik dari kekuatan interpretatif dan esensialisasi data input sumber yang kuat:

Di gambar teratas di kolom kedua, UniTune, yang ditugaskan untuk menyisipkan ‘kereta merah di latar belakang’, telah menempatkannya di posisi yang tepat dan autentik. Perhatikan di contoh lain bagaimana integritas semantik ke gambar sumber dipertahankan bahkan di tengah-tengah perubahan luar biasa dalam konten piksel dan gaya inti gambar.

Latensi

Meskipun iterasi pertama dari sistem baru akan menjadi lambat, dan meskipun mungkin bahwa keterlibatan komunitas atau komitmen perusahaan (ini tidak biasanya keduanya) akan akhirnya mempercepat dan mengoptimalkan rutinitas yang berat sumber daya, baik UniTune maupun Imagic melakukan beberapa manuver pembelajaran mesin yang cukup besar untuk menciptakan pengeditan yang luar biasa, dan pertanyaan tentang seberapa besar proses yang sangat berat sumber daya ini bisa pernah dikurangi menjadi penggunaan domestik, bukan akses yang digerakkan oleh API (meskipun yang terakhir mungkin lebih diinginkan oleh Google).

Saat ini, perjalanan pulang dari input ke hasil sekitar 3 menit pada GPU T4, dengan sekitar 30 detik tambahan untuk inferensi (seperti pada setiap rutinitas inferensi). Penulis mengakui bahwa ini adalah latensi yang tinggi, dan hampir tidak memenuhi syarat sebagai ‘interaktif’, tetapi mereka juga mencatat bahwa model tetap tersedia untuk pengeditan lebih lanjut sekali difine-tune, sampai pengguna selesai dengan proses, yang mengurangi waktu per pengeditan.

Dipublikasikan pertama kali pada 21 Oktober 2022.