Pemotongan Gambar AI yang Memahami Adegan

Di dokumenter tambahan yang menyertai rilis DVD tahun 2003 dari Alien³ (1992), legenda efek visual Richard Edlund mengingat dengan teror “sumo wrestling” dari ekstraksi matte foto-kimia yang mendominasi pekerjaan efek visual antara akhir 1930-an dan akhir 1980-an. Edlund menjelaskan sifat hit-and-miss dari proses tersebut sebagai “sumo wrestling”, dibandingkan dengan teknik layar biru/hijau digital yang mengambil alih pada awal 1990-an (dan dia telah kembali ke metafor tersebut sejak saat itu).

Mengambil elemen foreground (seperti orang atau model pesawat) dari latar belakang, sehingga gambar yang dipotong dapat disusun menjadi pelat latar belakang, awalnya dicapai dengan merekam objek foreground melawan latar belakang biru atau hijau yang seragam.

Proses ekstraksi foto-kimia yang melelahkan untuk efek visual oleh ILM untuk ‘Return of the Jedi’ (1983). Sumber: https://www.youtube.com/watch?v=qwMLOjqPmbQ

Di footage yang dihasilkan, warna latar belakang kemudian diisolasi secara kimia dan digunakan sebagai template untuk mencetak ulang objek foreground (atau orang) di optical printer sebagai objek “mengambang” di sel film yang transparan.

Proses ini dikenal sebagai overlay pemisahan warna (CSO) – meskipun istilah ini kemudian menjadi lebih terkait dengan efek video “Chromakey” yang kasar di televisi dengan anggaran rendah pada 1970-an dan 1980-an, yang dicapai dengan cara analog bukan kimia atau digital.

Demonstrasi Color Separation Overlay pada 1970 untuk acara anak-anak Inggris ‘Blue Peter’. Sumber: https://www.bbc.co.uk/archive/blue_peter_noakes_CSO/zwb9vwx

Bagaimanapun, footage yang diekstrak dapat dimasukkan ke dalam footage lain.

Meskipun proses natrium-vapor yang lebih mahal dan milik Disney (yang mengunci pada warna kuning, khususnya, dan juga digunakan untuk film horor Alfred Hitchcock tahun 1963 The Birds) memberikan definisi yang lebih baik dan matte yang lebih tajam, ekstraksi foto-kimia tetap melelahkan dan tidak dapat diandalkan.

Proses ekstraksi natrium-vapor milik Disney memerlukan latar belakang dekat dengan ujung spektrum kuning. Di sini, Angela Lansbury digantung dengan kawat selama produksi urutan efek visual untuk ‘Bedknobs and Broomsticks’ (1971). Sumber

Di Luar Pemotongan Digital

Pada 1990-an, revolusi digital menghilangkan kimia, tetapi tidak menghilangkan kebutuhan akan layar hijau. Sekarang, memungkinkan untuk menghapus latar belakang hijau (atau warna lain) hanya dengan mencari piksel dalam rentang toleransi warna tersebut, di perangkat lunak pengeditan piksel seperti Photoshop, dan generasi baru suite komposisi video yang dapat secara otomatis menghilangkan latar belakang berwarna. Hampir semalam, enam puluh tahun industri pencetakan optik dikirim ke sejarah.

Sepuluh tahun terakhir penelitian visi komputer yang dipercepat GPU membawa ekstraksi matte ke usia ketiga, menugaskan peneliti untuk mengembangkan sistem yang dapat mengekstrak matte berkualitas tinggi tanpa kebutuhan layar hijau. Di Arxiv saja, makalah terkait inovasi dalam ekstraksi foreground berbasis pembelajaran mesin adalah fitur mingguan.

Memasukkan Kita ke Dalam Gambar

Fokus akademis dan industri ini pada ekstraksi AI telah mempengaruhi ruang konsumen: implementasi kasar tetapi dapat digunakan dalam bentuk Zoom dan Skype filter yang dapat menggantikan latar belakang ruang tamu kita dengan pulau tropis, dll., dalam panggilan konferensi video.

Namun, matte terbaik masih memerlukan layar hijau, seperti Zoom catat minggu lalu.

Kiri, seorang pria di depan layar hijau, dengan rambut yang diekstrak dengan baik melalui fitur Latar Belakang Virtual Zoom. Kanan, seorang wanita di depan adegan rumah tangga biasa, dengan rambut diekstrak secara algoritmik, kurang akurat, dan dengan kebutuhan komputasi yang lebih tinggi. Sumber: https://support.zoom.us/hc/en-us/articles/210707503-Changing-your-Virtual-Background-image

Sebuah posting lebih lanjut dari Platform Dukungan Zoom memperingatkan bahwa ekstraksi non-layar hijau juga memerlukan daya komputasi yang lebih besar di perangkat penangkap.

Keperluan untuk Memotong

Perbaikan kualitas, portabilitas, dan ekonomi sumber daya untuk sistem ekstraksi matte “di alam liar” (yaitu, mengisolasi orang tanpa kebutuhan layar hijau) relevan dengan sektor dan upaya lain selain hanya filter konferensi video.

Untuk pengembangan dataset, pengenalan wajah, kepala, dan tubuh yang lebih akurat menawarkan kemungkinan untuk memastikan bahwa elemen latar belakang yang tidak diinginkan tidak dilatih ke dalam model visi komputer subjek manusia; isolasi yang lebih akurat akan sangat meningkatkan segmentasi semantik teknik yang dirancang untuk membedakan dan mengasimilasi domain (yaitu ‘kucing’, ‘orang’, ‘perahu’), dan meningkatkan VAE dan transformer-based sistem sintesis gambar seperti OpenAI baru DALL-E 2; dan algoritma ekstraksi yang lebih baik akan mengurangi kebutuhan akan rotoscoping manual yang mahal di pipa VFX yang mahal.

Sebenarnya, supremasi multimodal (biasanya teks/gambar) metodologi, di mana domain seperti ‘kucing’ dienkripsi baik sebagai gambar dan dengan teks referensi terkait, sudah memasuki pemrosesan gambar. Salah satu contoh baru-baru ini adalah arsitektur Text2Live, yang menggunakan pelatihan multimodal (teks/gambar) untuk membuat video dari, antara lain, angsa kristal dan jerapah kaca.

Pemotongan AI yang Sadar Adegan

Sejumlah penelitian tentang pemotongan otomatis AI telah fokus pada pengenalan batas dan evaluasi kelompok piksel dalam gambar atau bingkai video. Namun, penelitian baru dari Cina menawarkan pipeline ekstraksi yang meningkatkan pembatasan dan kualitas matte dengan menggunakan deskripsi teks dari adegan (pendekatan multimodal yang telah mendapatkan traksi di sektor penelitian visi komputer selama 3-4 tahun terakhir), yang mengklaim telah meningkatkan metode sebelumnya dalam beberapa cara.

Contoh ekstraksi SPG-IM, dibandingkan dengan metode sebelumnya. Sumber: https://arxiv.org/pdf/2204.09276.pdf

Tantangan yang diajukan untuk sub-sektor penelitian ekstraksi adalah menghasilkan aliran kerja yang memerlukan annotasi manual dan intervensi manusia yang minimal – idealnya, tidak ada. Selain implikasi biaya, peneliti paper baru tersebut mengamati bahwa anotasi dan segmentasi manual yang dilakukan oleh pekerja crowdsource di berbagai budaya dapat menyebabkan gambar dilabeli atau bahkan disegmentasi dengan cara yang berbeda, menghasilkan algoritma yang tidak konsisten dan tidak memuaskan.

Salah satu contoh adalah interpretasi subjektif tentang apa yang membedakan “objek foreground”:

Dari paper baru: metode sebelumnya LFM dan MODNet (‘GT’ menunjukkan Ground Truth, hasil ‘ideal’ yang sering dicapai secara manual atau dengan metode non-algoritmik), memiliki pendekatan yang berbeda dan efektif terhadap definisi konten foreground, sedangkan metode SPG-IM baru lebih efektif dalam membedakan ‘konten dekat’ melalui konteks adegan.

Untuk mengatasi ini, peneliti telah mengembangkan pipeline dua tahap yang disebut Situational Perception Guided Image Matting (SPG-IM). Arsitektur encoder/decoder dua tahap ini terdiri dari Situational Perception Distillation (SPD) dan Situational Perception Guided Matting (SPGM).

Arsitektur SPG-IM.

Pertama, SPD melakukan pra-pelatihan transformasi fitur visual-ke-teks, menghasilkan keterangan yang sesuai dengan gambar terkait. Setelah itu, prediksi masker foreground diaktifkan dengan menghubungkan pipeline ke teknik prediksi saliensi baru.

Kemudian SPGM menghasilkan matte alfa yang diestimasi berdasarkan input gambar RGB mentah dan masker yang dihasilkan pada modul pertama.

Tujuannya adalah untuk memandu persepsi situasional, di mana sistem memiliki pemahaman kontekstual tentang apa yang terdiri dari gambar, memungkinkan untuk membingkai – misalnya – tantangan ekstraksi rambut kompleks dari latar belakang melawan karakteristik tugas spesifik tersebut.

Di bawah, SPG-IM memahami bahwa kabel-kabel tersebut inheren dengan ‘parasut’, di mana MODNet gagal mempertahankan dan mendefinisikan detail tersebut. Begitu juga di atas, struktur lengkap peralatan playground hilang secara sewenang-wenang di MODNet.

Paper baru ini berjudul Situational Perception Guided Image Matting, dan berasal dari peneliti di OPPO Research Institute, PicUp.ai, dan Xmotors.

Mattes Otomatis yang Cerdas

SPG-IM juga menawarkan Jaringan Pemurnian Transformasi Fokus Adaptif (AFT) yang dapat memproses detail lokal dan konteks global secara terpisah, memfasilitasi ‘mattes cerdas’.

Memahami konteks adegan, dalam hal ini ‘gadis dengan kuda’, dapat membuat ekstraksi foreground lebih mudah daripada metode sebelumnya.

Paper tersebut menyatakan:

‘Kami percaya bahwa representasi visual dari tugas visual-ke-teks, misalnya pembuatan keterangan gambar, fokus pada sinyal yang lebih komprehensif secara semantik antara a) objek ke objek dan b) objek ke lingkungan sekitar untuk menghasilkan deskripsi yang dapat mencakup informasi global dan detail lokal. Selain itu, dibandingkan dengan anotasi piksel yang mahal dari pemotongan gambar, label teks dapat dikumpulkan dengan biaya yang sangat rendah.’

Paper tersebut juga menyatakan:

‘Metode kami mempertahankan detail halus (misalnya, situs ujung rambut, tekstur transparan, dan batas) tanpa bimbingan trimap. Selain itu, dibandingkan dengan model trimap-bebas lainnya, SPG-IM kami dapat mempertahankan keutuhan semantik global yang lebih baik.’

Dipublikasikan pertama kali pada 24 April 2022.