Membuat ‘Tubuh yang Lebih Baik’ dengan AI

Penelitian baru dari akademi Alibaba DAMO menawarkan kerangka kerja yang digerakkan oleh AI untuk mengotomatisasi perubahan bentuk gambar tubuh – upaya yang jarang dilakukan di sektor penglihatan komputer yang saat ini didominasi oleh manipulasi berbasis wajah seperti deepfakes dan pengeditan wajah berbasis GAN.

Inset di kolom ‘hasil’, peta perhatian yang dihasilkan yang menentukan area yang akan diubah. Sumber: https://arxiv.org/pdf/2203.04670.pdf

Arsitektur peneliti menggunakan estimasi pose kerangka untuk menangani kompleksitas yang lebih besar yang dihadapi oleh sistem sintesis dan pengeditan gambar dalam memahami dan memparameterkan gambar tubuh yang ada, setidaknya pada tingkat granularitas yang memungkinkan pengeditan yang bermakna dan selektif.

Peta kerangka yang diestimasi membantu untuk membedakan dan memfokuskan perhatian pada area tubuh yang kemungkinan akan diedit, seperti area lengan atas.

Sistem ini pada akhirnya memungkinkan pengguna untuk menetapkan parameter yang dapat mengubah penampilan berat, massa otot, atau distribusi berat pada foto penuh atau setengah panjang orang, dan dapat menghasilkan transformasi arbitrer pada bagian tubuh yang berpakaian atau tidak berpakaian.

Kiri, gambar input; tengah, peta perhatian yang dihasilkan; kanan, gambar yang diubah.

Motivasi untuk pekerjaan ini adalah pengembangan alur kerja yang otomatis yang dapat menggantikan manipulasi digital yang melelahkan yang dilakukan oleh fotografer dan seniman grafis produksi di berbagai cabang media, dari mode hingga output gaya majalah dan bahan promosi.

Secara umum, penulis mengakui, transformasi ini biasanya diterapkan dengan teknik ‘warp’ di Photoshop dan editor bitmap tradisional lainnya, dan hampir secara eksklusif digunakan pada gambar perempuan. Akibatnya, dataset khusus yang dikembangkan untuk memfasilitasi proses baru ini sebagian besar terdiri dari gambar subjek perempuan:

‘Karena penyuntingan tubuh sebagian besar diinginkan oleh perempuan, sebagian besar koleksi kami adalah foto perempuan, mempertimbangkan keanekaragaman usia, ras (Afrika:Asia:Eropa = 0,33:0,35:0,32), pose, dan pakaian.’

Makalah ini berjudul Structure-Aware Flow Generation for Human Body Reshaping, dan berasal dari lima penulis yang berafiliasi dengan akademi DAMO global Alibaba.

Pengembangan Dataset

Seperti biasa, arsitektur proyek ini memerlukan dataset pelatihan yang disesuaikan. Penulis menugaskan tiga fotografer untuk menghasilkan manipulasi Photoshop standar dari gambar yang sesuai dari situs fotografi stok Unsplash, yang menghasilkan dataset – berjudul BR-5K* – dari 5.000 gambar berkualitas tinggi dengan resolusi 2K.

Peneliti menekankan bahwa tujuan dari pelatihan pada dataset ini bukan untuk menghasilkan fitur ‘ideal’ dan umum yang terkait dengan indeks kecantikan atau penampilan yang diinginkan, tetapi untuk mengekstrak pemetaan fitur sentral yang terkait dengan manipulasi profesional gambar tubuh.

Namun, mereka mengakui bahwa manipulasi tersebut pada akhirnya mencerminkan proses transformasi yang memetakan kemajuan dari ‘nyata’ ke konsep ‘ideal’ yang telah ditetapkan:

‘Kami mengundang tiga seniman profesional untuk menyunting tubuh menggunakan Photoshop secara independen, dengan tujuan mencapai bentuk yang ramping yang memenuhi estetika populer, dan memilih yang terbaik sebagai acuan.’

Karena kerangka kerja ini tidak menangani wajah sama sekali, wajah tersebut diburamkan sebelum dimasukkan ke dalam dataset.

Arsitektur dan Konsep Inti

Alur kerja sistem ini melibatkan memasukkan potret resolusi tinggi, menskalakan ke resolusi yang lebih rendah yang dapat masuk ke dalam sumber daya komputasi yang tersedia, dan mengekstrak peta kerangka yang diestimasi (kedua dari kiri di gambar di bawah), serta Bidang Afiliasi Bagian (PAF), yang ditemukan inovatif pada tahun 2016 oleh The Robotics Institute at Carnegie Mellon University (lihat video yang disematkan langsung di bawah).

Bidang Afiliasi Bagian membantu untuk menentukan orientasi anggota tubuh dan asosiasi umum dengan kerangka yang lebih luas, memberikan proyek baru dengan alat perhatian/lokalitas tambahan.

Dari makalah Bidang Afiliasi Bagian 2016, PAF yang diprediksi mengkodekan orientasi anggota tubuh sebagai bagian dari vektor 2D yang juga mencakup posisi umum anggota tubuh. Sumber: https://arxiv.org/pdf/1611.08050.pdf

Meskipun tampaknya tidak relevan dengan penampilan berat, peta kerangka berguna dalam mengarahkan proses transformasi akhir ke bagian tubuh yang akan diubah, seperti lengan atas, belakang, dan paha.

Setelah ini, hasilnya diberikan kepada Struktur Afiliasi Perhatian Mandiri (SASA) di bottleneck sentral proses (lihat gambar di bawah).

SASA mengatur konsistensi generator aliran yang mengisi proses, hasilnya kemudian diberikan kepada modul perubahan (kedua dari kanan di gambar di atas), yang menerapkan transformasi yang dipelajari dari pelatihan pada revisi manual yang termasuk dalam dataset.

Modul Perhatian Mandiri Afiliasi Struktur (SASA) mengalokasikan perhatian ke bagian tubuh yang relevan, membantu untuk menghindari transformasi yang tidak perlu atau tidak relevan.

Gambar output kemudian dinaikkan kembali ke resolusi asli 2K, menggunakan proses yang tidak jauh berbeda dari arsitektur deepfake standar 2017 yang dari mana paket populer seperti DeepFaceLab telah dihasilkan; proses penskalaan juga umum dalam kerangka pengeditan GAN.

Jaringan perhatian untuk skema ini dimodelkan setelah Compositional De-Attention Networks (CODA), kolaborasi akademis AS/Singapura 2019 dengan Amazon AI dan Microsoft.

Pengujian

Kerangka kerja berbasis aliran diuji melawan metode berbasis aliran sebelumnya FAL dan Animating Through Warping (ATW), serta arsitektur terjemahan gambar Pix2PixHD dan GFLA, dengan SSIM, PSNR dan LPIPS sebagai metrik evaluasi.

Hasil pengujian awal (arah panah di header menunjukkan apakah angka yang lebih rendah atau lebih tinggi lebih baik).

Berdasarkan metrik yang diadopsi, sistem penulis outperform arsitektur sebelumnya.

Hasil yang dipilih. Silakan merujuk ke PDF asli yang terkait dengan artikel ini untuk perbandingan resolusi yang lebih tinggi.

Selain metrik otomatis, peneliti melakukan studi pengguna (kolom terakhir tabel hasil yang digambarkan sebelumnya), di mana 40 peserta masing-masing diberikan 30 pertanyaan yang dipilih secara acak dari kumpulan 100 pertanyaan yang terkait dengan gambar yang dihasilkan melalui metode yang berbeda. 70% responden lebih menyukai teknik baru sebagai lebih ‘menarik secara visual’.

Tantangan

Makalah baru ini merupakan upaya langka ke dalam manipulasi tubuh berbasis AI. Sektor sintesis gambar saat ini jauh lebih tertarik baik pada menghasilkan tubuh yang dapat diedit melalui metode seperti Neural Radiance Fields (NeRF), atau else terfokus pada menjelajahi ruang laten GAN dan potensi autoencoder untuk manipulasi wajah.

Inisiatif penulis saat ini terbatas pada menghasilkan perubahan dalam berat yang dirasakan, dan mereka belum mengimplementasikan teknik inpainting yang dapat mengembalikan latar belakang yang terungkap ketika Anda menipiskan gambar seseorang.

Namun, mereka mengusulkan bahwa pemotongan potret dan pencampuran latar belakang melalui inferensi tekstur dapat dengan mudah menyelesaikan masalah mengembalikan bagian dunia yang tersembunyi di gambar oleh ‘ketidaksempurnaan’ manusia.

Solusi yang diusulkan untuk mengembalikan latar belakang yang terungkap oleh pengurangan lemak AI.

* Meskipun makalah ini merujuk pada materi tambahan yang memberikan lebih banyak detail tentang dataset, serta contoh lebih lanjut dari proyek, lokasi materi ini tidak tersedia di makalah, dan penulis yang sesuai belum merespons permintaan kami untuk akses.

Mula-mula diterbitkan 10 Maret 2022.