Penelitian Disney Menawarkan Kompresi Gambar Berbasis AI yang Ditingkatkan – Tetapi Mungkin Mengalami Halusinasi Detail

Penelitian Disney menawarkan metode baru untuk mengompresi gambar, memanfaatkan model Stable Diffusion V1.2 sumber terbuka untuk menghasilkan gambar yang lebih realistis pada bitrate yang lebih rendah dibandingkan dengan metode lain.

Metode kompresi Disney dibandingkan dengan pendekatan sebelumnya. Penulis mengklaim pemulihan detail yang ditingkatkan, sementara menawarkan model yang tidak memerlukan ratusan ribu dolar untuk pelatihan, dan yang beroperasi lebih cepat daripada metode kompetitor terdekat. Sumber: https://studios.disneyresearch.com/app/uploads/2024/09/Lossy-Image-Compression-with-Foundation-Diffusion-Models-Paper.pdf

Pendekatan baru (didefinisikan sebagai ‘codec’ meskipun kompleksitasnya yang meningkat dibandingkan dengan codec tradisional seperti JPEG dan AV1) dapat beroperasi di atas Latent Diffusion Model (LDM) mana pun. Dalam pengujian kuantitatif, metode ini outperforms metode sebelumnya dalam hal akurasi dan detail, dan memerlukan pelatihan dan biaya komputasi yang jauh lebih rendah.

Intuisi kunci dari penelitian baru ini adalah bahwa quantization error (proses sentral dalam semua kompresi gambar) mirip dengan noise (proses sentral dalam model difusi).

Oleh karena itu, gambar yang dikuantisasi secara “tradisional” dapat dianggap sebagai versi yang berisik dari gambar asli, dan digunakan dalam proses denoising LDM sebagai gantinya dari noise acak, untuk merekonstruksi gambar pada bitrate target.

Perbandingan lebih lanjut dari metode Disney baru (ditandai dengan warna hijau), dibandingkan dengan pendekatan saingan.

Penulis mengklaim:

‘[Kami] merumuskan penghapusan kesalahan kuantisasi sebagai tugas denoising, menggunakan difusi untuk memulihkan informasi yang hilang dalam gambar laten yang dikirim. Pendekatan kami memungkinkan kami untuk melakukan kurang dari 10% dari proses generatif difusi penuh dan tidak memerlukan perubahan arsitektur pada model difusi, sehingga memungkinkan penggunaan model dasar sebagai prior yang kuat tanpa fine-tuning tambahan pada backbone.

‘Codec yang kami usulkan outperforms metode sebelumnya dalam metrik realisme kuantitatif, dan kami memverifikasi bahwa rekonstruksi kami lebih disukai oleh pengguna akhir, bahkan ketika metode lain menggunakan bitrate dua kali lipat.’

Namun, seperti proyek lain yang mencoba memanfaatkan kemampuan kompresi model difusi, output mungkin mengalami halusinasi detail. Sebaliknya, metode lossy seperti JPEG akan menghasilkan area detail yang jelas terdistorsi atau terlalu halus, yang dapat dikenali sebagai keterbatasan kompresi oleh pengguna biasa.

Metode

Metode baru ini menggunakan VAE untuk mengkodekan gambar ke dalam representasi laten yang dikompresi. Pada tahap ini, gambar input terdiri dari fitur yang dihasilkan – representasi vektor berbasis rendah. Embedding laten kemudian dikuantisasi kembali menjadi bitstream, dan kembali ke ruang piksel.

Gambar yang dikuantisasi ini kemudian digunakan sebagai template untuk noise yang biasanya memicu gambar berbasis difusi, dengan jumlah langkah denoising yang bervariasi (di mana sering ada trade-off antara langkah denoising yang lebih banyak dan akurasi yang lebih tinggi, versus latensi yang lebih rendah dan efisiensi yang lebih tinggi).

Skema untuk metode kompresi Disney baru.

Baik parameter kuantisasi dan jumlah total langkah denoising dapat dikontrol di bawah sistem baru, melalui pelatihan jaringan saraf yang memprediksi variabel yang relevan dengan aspek-aspek pengkodean ini. Proses ini disebut adaptive quantization, dan sistem Disney menggunakan kerangka Entroformer sebagai model entropi yang memungkinkan prosedur ini.

Penulis menyatakan:

‘Intuitively, metode kami belajar untuk mengabaikan informasi (melalui transformasi kuantisasi) yang dapat disintesis selama proses difusi. Karena kesalahan yang diperkenalkan selama kuantisasi mirip dengan menambahkan [noise] dan model difusi adalah model denoising fungsional, mereka dapat digunakan untuk menghapus noise kuantisasi yang diperkenalkan selama pengkodean.’

Stable Diffusion V2.1 adalah backbone difusi untuk sistem ini, dipilih karena keseluruhan kode dan bobot dasar tersedia secara terbuka. Namun, penulis menekankan bahwa skema mereka dapat diterapkan pada sejumlah model yang lebih luas.

Sangat penting untuk ekonomi proses ini adalah timestep prediction, yang mengevaluasi jumlah langkah denoising optimal – sebuah keseimbangan antara efisiensi dan kinerja.

Prediksi langkah denoising, dengan jumlah langkah denoising optimal yang ditandai dengan bingkai merah. Silakan merujuk ke PDF sumber untuk resolusi yang akurat.

Jumlah noise dalam embedding laten perlu dipertimbangkan saat membuat prediksi untuk jumlah langkah denoising yang optimal.

Data dan Pengujian

Model ini dilatih pada dataset Vimeo-90k. Gambar-gambar dipotong secara acak menjadi 256x256px untuk setiap epoch (yaitu, setiap penggunaan dataset yang diperbarui oleh arsitektur pelatihan model).

Model ini dioptimalkan untuk 300.000 langkah pada tingkat pembelajaran 1e-4. Ini adalah yang paling umum di antara proyek-proyek penglihatan komputer, dan juga nilai terendah dan paling halus yang umumnya dapat dipraktekan, sebagai kompromi antara generalisasi yang luas dari konsep dan karakteristik dataset, dan kapasitas untuk reproduksi detail halus.

Penulis mengomentari beberapa pertimbangan logistik untuk sistem yang ekonomis dan efektif*:

‘Selama pelatihan, sangat mahal untuk membalikkan gradien melalui beberapa jalur model difusi saat berjalan selama DDIM sampling. Oleh karena itu, kami hanya melakukan satu iterasi sampling DDIM dan langsung menggunakan [ini] sebagai data yang sepenuhnya didekompresi.’

Dataset yang digunakan untuk menguji sistem adalah Kodak; CLIC2022; dan COCO 30k. Dataset ini diproses sesuai dengan metodologi yang diuraikan dalam penawaran Google 2023 Multi-Realism Image Compression with a Conditional Generator.

Metri yang digunakan adalah Peak Signal-to-Noise Ratio (PSNR); Learned Perceptual Similarity Metrics (LPIPS); Multiscale Structural Similarity Index (MS-SSIM); dan Fréchet Inception Distance (FID).

Kerangka prior yang diuji dibagi antara sistem lama yang menggunakan Jaringan Adversarial Generatif (GAN), dan penawaran lebih baru yang berbasis pada model difusi. Sistem GAN yang diuji adalah High-Fidelity Generative Image Compression (HiFiC); dan ILLM (yang menawarkan beberapa perbaikan pada HiFiC).

Sistem berbasis difusi yang diuji adalah Lossy Image Compression with Conditional Diffusion Models (CDC) dan High-Fidelity Image Compression with Score-based Generative Models (HFD).

Hasil kuantitatif melawan kerangka prior di berbagai dataset.

Untuk hasil kuantitatif (yang divisualisasikan di atas), penulis menyatakan:

‘Metode kami menetapkan standar baru dalam realisme gambar yang direkonstruksi, outperforms semua baseline dalam kurva FID-bitrate. Dalam beberapa metrik distorsi (khususnya, LPIPS dan MS-SSIM), kami outperforms semua codec berbasis difusi sambil tetap kompetitif dengan codec generatif yang berkinerja tertinggi.

‘Seperti yang diharapkan, metode kami dan metode generatif lainnya menderita ketika diukur dalam PSNR karena kami memfavoritkan rekonstruksi yang menyenangkan secara perseptual daripada replikasi detail yang tepat.’

Untuk studi pengguna, metode two-alternative-forced-choice (2AFC) digunakan, dalam konteks turnamen di mana gambar yang dipilih akan melanjutkan ke babak selanjutnya. Studi ini menggunakan sistem peringkat Elo yang awalnya dikembangkan untuk turnamen catur.

Oleh karena itu, peserta akan melihat dan memilih gambar terbaik dari dua gambar yang disajikan 512x512px di berbagai metode generatif. Eksperimen tambahan dilakukan di mana semua perbandingan gambar dari pengguna yang sama dievaluasi, melalui simulasi Monte Carlo selama 10.000 iterasi, dengan skor median yang disajikan dalam hasil.

Peringkat Elo yang diestimasi untuk studi pengguna, menampilkan turnamen Elo untuk setiap perbandingan (kiri) dan juga untuk setiap peserta, dengan nilai yang lebih tinggi lebih baik.

Di sini penulis mengomentari:

‘Seperti yang dapat dilihat dalam skor Elo, metode kami secara signifikan outperforms semua metode lain, bahkan dibandingkan dengan CDC, yang menggunakan rata-rata dua kali lipat bitrate metode kami. Ini tetap benar terlepas dari strategi turnamen Elo yang digunakan.’

Dalam makalah asli, serta suplemen PDF, penulis menyediakan perbandingan visual lebih lanjut, salah satunya ditampilkan sebelumnya dalam artikel ini. Namun, karena granularitas perbedaan antara sampel, kami merujuk pembaca ke PDF sumber, sehingga hasil ini dapat dihakimi dengan adil.

Makalah ini menyimpulkan dengan mencatat bahwa metode yang diusulkan beroperasi dua kali lebih cepat daripada CDC saingan (3,49 vs 6,87 detik, masing-masing). Ini juga mengamati bahwa ILLM dapat memproses gambar dalam 0,27 detik, tetapi sistem ini memerlukan pelatihan yang berat.

Kesimpulan

Peneliti ETH/Disney jelas, pada kesimpulan makalah, tentang potensi sistem mereka untuk menghasilkan detail palsu. Namun, tidak ada contoh yang disajikan dalam materi yang memfokuskan pada masalah ini.

Secara adil, masalah ini tidak terbatas pada pendekatan Disney baru, tetapi merupakan efek sampingan yang tidak terhindarkan dari menggunakan model difusi – arsitektur yang inventif dan interpretatif – untuk mengompresi gambar.

Menariknya, hanya lima hari yang lalu dua peneliti lain dari ETH Zurich memproduksi makalah berjudul Conditional Hallucinations for Image Compression, yang mengeksplorasi kemungkinan ‘tingkat halusinasi yang optimal’ dalam sistem kompresi AI.

Penulis membuat kasus untuk keinginan halusinasi di mana domainnya cukup generik (dan, bisa dibilang, ‘tidak berbahaya’) enough:

‘Untuk konten seperti tekstur, seperti rumput, bintik-bintik, dan dinding batu, menghasilkan piksel yang realistis sesuai dengan tekstur tertentu lebih penting daripada merekonstruksi nilai piksel yang tepat; menghasilkan sampel apa pun dari distribusi tekstur umumnya sudah cukup.’

Dengan demikian, makalah kedua ini membuat kasus untuk kompresi yang optimal ‘kreatif’ dan representatif, bukan merekonstruksi dengan akurat detail inti dan ciri-ciri gambar asli yang tidak terkompresi.

Seseorang bertanya-tanya apa yang akan dipikirkan oleh komunitas fotografi dan kreatif tentang definisi ulang ‘kompresi’ yang cukup radikal ini.

*Konversi saya dari kutipan inline penulis ke tautan.

Dipublikasikan pertama kali pada hari Rabu, 30 Oktober 2024