Mengatasi Masalah Artefak JPEG dalam Dataset Penglihatan Komputer

Sebuah studi baru dari Universitas Maryland dan Facebook AI telah menemukan ‘penalty kinerja yang signifikan’ untuk sistem pembelajaran dalam yang menggunakan gambar JPEG yang sangat terkompresi dalam dataset mereka, dan menawarkan beberapa metode baru untuk mengurangi efek dari ini.

Studi tersebut, yang berjudul Menganalisis dan Mengurangi Kerusakan Kompresi JPEG dalam Pembelajaran Dalam, mengklaim sebagai ‘lebih komprehensif’ daripada studi sebelumnya tentang efek artefak dalam dataset penglihatan komputer. Makalah tersebut menemukan bahwa ‘[kompresi JPEG yang berat hingga sedang] mengakibatkan penalty kinerja yang signifikan pada metrik standar’, dan bahwa jaringan saraf mungkin tidak sekuat yang diperkirakan terhadap gangguan tersebut.

Foto anjing dari dataset MobileNetV2 2018. Pada kualitas 10 (kiri), sistem klasifikasi gagal mengidentifikasi breed yang benar ‘Pembroke Welsh Corgi’, dan malah menebak ‘Norwich terrier’ (sistem sudah tahu ini adalah foto anjing, tetapi tidak breednya); kedua dari kiri, versi gambar yang telah dikoreksi artefak JPEG gagal mengidentifikasi breed yang benar; kedua dari kanan, koreksi artefak yang ditargetkan memulihkan klasifikasi yang benar; dan kanan, foto asli, yang diklasifikasikan dengan benar. Sumber: https://arxiv.org/pdf/2011.08932.pdf

Artefak Kompresi sebagai ‘Data’

Kompresi JPEG yang ekstrem kemungkinan akan menciptakan batas atau ‘ringing’ yang terlihat atau semi-terlihat di sekitar blok 8×8 yang digunakan untuk menyusun gambar JPEG menjadi grid piksel. Ketika artefak ini muncul, mereka kemungkinan akan disalahartikan oleh sistem pembelajaran mesin sebagai elemen dunia nyata dari subjek gambar, kecuali jika beberapa kompensasi dilakukan untuk ini.

Di atas, sistem pembelajaran mesin penglihatan komputer akan mengekstrak gambar gradien ‘bersih’ dari gambar berkualitas baik. Di bawah, artefak ‘blocking’ pada gambar dengan kualitas lebih rendah mengaburkan fitur subjek, dan mungkin akan ‘menginfeksi’ fitur yang dihasilkan dari himpunan gambar, terutama dalam kasus di mana gambar dengan kualitas tinggi dan rendah terdapat dalam dataset, seperti dalam koleksi yang diambil dari web dan hanya dibersihkan secara umum. Sumber: http://www.cs.utep.edu/ofuentes/papers/quijasfuentes2014.pdf

Seperti yang terlihat pada gambar pertama di atas, artefak tersebut dapat mempengaruhi tugas klasifikasi gambar, dengan implikasi juga untuk algoritma pengenalan teks, yang mungkin gagal mengidentifikasi karakter yang terkena artefak dengan benar.

Dalam kasus sistem pelatihan sintesis gambar (seperti perangkat lunak deepfake atau sistem generasi gambar berbasis GAN), ‘blok’ gambar dengan kualitas rendah yang terkompresi dengan berat dalam dataset mungkin akan menarik kualitas median reproduksi ke bawah, atau malah akan diserap dan diabaikan oleh jumlah fitur yang lebih besar yang diekstrak dari gambar dengan kualitas lebih baik dalam himpunan. Dalam kedua kasus, data yang lebih baik diinginkan – atau, setidaknya, data yang konsisten.

JPEG – Biasanya ‘Cukup Baik’

Kompresi JPEG adalah codec yang tidak dapat dipulihkan yang dapat diterapkan pada berbagai format gambar, meskipun sebagian besar diterapkan pada format file JFIF. Meskipun demikian, format JPEG (.jpg) dinamai berdasarkan metode kompresinya, bukan wrapper JFIF untuk data gambar.

Arsitektur pembelajaran mesin yang lengkap telah muncul dalam beberapa tahun terakhir yang termasuk mitigasi artefak JPEG sebagai bagian dari rutinitas penggunaan kembali/peningkatan AI, dan penghapusan artefak kompresi berbasis AI sekarang telah dimasukkan ke dalam sejumlah produk komersial, seperti suite gambar/video Topaz, dan fitur neural dari versi terbaru Adobe Photoshop.

Sejak skema JPEG 1986 yang saat ini umum digunakan sebagian besar dikunci pada awal 1990-an, tidak mungkin untuk menambahkan metadata ke gambar yang menunjukkan tingkat kualitas (1-100) gambar JPEG disimpan – setidaknya, tidak tanpa memodifikasi lebih dari tiga puluh tahun sistem perangkat lunak konsumen, profesional, dan akademis yang tidak mengharapkan metadata tersebut tersedia.

Karena itu, tidak umum untuk menyesuaikan rutinitas pelatihan pembelajaran mesin dengan kualitas gambar JPEG yang dievaluasi atau diketahui, seperti yang dilakukan oleh peneliti untuk makalah baru (lihat di bawah). Dalam ketiadaan entri metadata ‘kualitas’, saat ini perlu untuk mengetahui detail tentang bagaimana gambar dikompresi (yaitu, dikompresi dari sumber lossless), atau memperkirakan kualitas melalui algoritma perseptual atau klasifikasi manual.

Kompromi Ekonomis

JPEG bukanlah satu-satunya metode kompresi lossy yang dapat mempengaruhi kualitas dataset pembelajaran mesin; pengaturan kompresi dalam file PDF juga dapat membuang informasi dengan cara ini, dan dapat diatur ke tingkat kualitas yang sangat rendah untuk menghemat ruang disk untuk keperluan arsip lokal atau jaringan.

Hal ini dapat dilihat dengan mengambil sampel berbagai file PDF di archive.org, beberapa di antaranya telah dikompresi dengan sangat berat sehingga menjadi tantangan yang signifikan bagi sistem pengenalan gambar atau teks. Dalam banyak kasus, seperti buku yang dilindungi hak cipta, kompresi yang intens ini tampaknya telah diterapkan sebagai bentuk DRM yang murah, sama seperti pemegang hak cipta mungkin memilih untuk menurunkan resolusi video YouTube yang diunggah oleh pengguna yang mereka pegang IP-nya, meninggalkan video ‘blocky’ sebagai token promosi untuk menginspirasi pembelian ‘resolusi penuh’, bukan menghapusnya.

Dalam banyak kasus lain, resolusi atau kualitas gambar rendah hanya karena data sangat tua, dan berasal dari era ketika penyimpanan lokal dan jaringan lebih mahal, dan ketika kecepatan jaringan yang terbatas memfavoritkan gambar yang dioptimalkan dan portabel daripada reproduksi kualitas tinggi.

Telah dinyatakan bahwa JPEG, meskipun tidak solusi terbaik sekarang, telah ‘dienkripsikan’ sebagai infrastruktur legacy yang tidak dapat dihilangkan yang pada dasarnya terkait dengan fondasi internet.

Beban Legacy

Meskipun inovasi kemudian seperti JPEG 2000, PNG, dan (paling baru) format.webp menawarkan kualitas yang lebih baik, menyimpan kembali dataset pembelajaran mesin yang lebih tua dan sangat populer dengan kualitas yang lebih tinggi akan ‘mereset’ kontinuitas dan sejarah tantangan penglihatan komputer tahunan di komunitas akademis – sebuah hambatan yang juga akan berlaku dalam kasus menyimpan kembali gambar dataset PNG dengan pengaturan kualitas yang lebih tinggi. Ini bisa dianggap sebagai jenis utang teknis.

Sebagian besar perpustakaan pengolahan gambar server-side yang terhormat seperti ImageMagick mendukung format yang lebih baik, termasuk.webp, tetapi persyaratan transformasi gambar sering terjadi dalam sistem legacy yang tidak diatur untuk apa pun selain JPG atau PNG (yang menawarkan kompresi lossless, tetapi dengan biaya latensi dan ruang disk). Bahkan WordPress, CMS yang memuat hampir 40% dari semua situs web, hanya menambahkan dukungan.webp tiga bulan yang lalu.

PNG adalah entri terlambat (mungkin terlalu lambat) dalam sektor format gambar, muncul sebagai solusi sumber terbuka pada akhir 1990-an sebagai respons terhadap deklarasi 1995 oleh Unisys dan CompuServe bahwa royalti akan dibayarkan pada format kompresi LZW yang digunakan dalam file GIF, yang umum digunakan saat itu untuk logo dan elemen warna datar, bahkan jika kebangkitan pada awal 2010-an berpusat pada kemampuannya untuk menyediakan konten animasi berbasis rendah, ironisnya, animasi PNG tidak pernah mendapatkan popularitas atau dukungan yang luas, dan bahkan dilarang dari Twitter pada 2019.

Meskipun kekurangannya, kompresi JPEG cepat, efisien dalam ruang, dan sangat tertanam dalam sistem semua jenis – dan oleh karena itu tidak mungkin menghilang sepenuhnya dari adegan pembelajaran mesin dalam waktu dekat.

Membuat yang Terbaik dari Detente AI/JPEG

Sejauh ini, komunitas pembelajaran mesin telah menyesuaikan diri dengan kelemahan kompresi JPEG: pada 2011, Masyarakat Radiologi Eropa (ESR) menerbitkan studi tentang ‘Ketergunaan kompresi gambar yang tidak dapat dipulihkan dalam pencitraan radiologis’, yang memberikan pedoman untuk ‘kerugian yang dapat diterima’; ketika dataset pengenalan teks MNIST yang terhormat (yang data gambar awalnya disediakan dalam format biner yang baru) dipindahkan ke format gambar ‘reguler’, JPEG, bukan PNG, dipilih; dan kolaborasi sebelumnya (2020) dari penulis makalah baru menawarkan ‘arsitektur baru’ untuk mengkalibrasi sistem pembelajaran mesin ke kelemahan kualitas gambar JPEG yang bervariasi, tanpa kebutuhan untuk model dilatih pada setiap pengaturan kualitas JPEG – fitur yang digunakan dalam pekerjaan baru.

Memang, penelitian tentang utilitas data JPEG yang bervariasi kualitas adalah bidang yang relatif berkembang dalam pembelajaran mesin. Proyek 2016 yang tidak terkait dari Pusat Penelitian Otomasi di Universitas Maryland sebenarnya berfokus pada domain DCT (di mana artefak JPEG terjadi pada pengaturan kualitas rendah) sebagai rute untuk ekstraksi fitur dalam. Proyek lain dari 2019 berkonsentrasi pada pembacaan byte-level data JPEG tanpa kebutuhan untuk mendekompresi gambar (yaitu, membukanya pada titik tertentu dalam alur kerja otomatis); dan studi dari Prancis pada 2019 secara aktif menggunakan kompresi JPEG dalam rangka rutinitas pengenalan objek.

Pengujian dan Kesimpulan

Untuk kembali ke studi terbaru dari UoM dan Facebook, peneliti berusaha untuk menguji kemampuan JPEG dan utilitasnya pada gambar yang dikompresi antara 10-90 (di bawah mana, gambar tersebut terlalu terganggu, dan di atas mana itu setara dengan kompresi lossless). Gambar yang digunakan dalam pengujian telah dikompresi sebelumnya pada setiap nilai dalam rentang kualitas target, yang melibatkan setidaknya delapan sesi pelatihan.

Model dilatih pada gradien stokastik turun di empat metode: baseline, di mana tidak ada mitigasi tambahan yang ditambahkan; penyesuaian halus yang diawasi, di mana set pelatihan memiliki keuntungan dari bobot pra-dilatih dan data yang dilabeli (meskipun peneliti mengakui bahwa ini sulit untuk direplikasi dalam aplikasi tingkat konsumen); perbaikan artefak, di mana augmentasi/perbaikan dilakukan pada gambar yang dikompresi sebelum pelatihan; dan perbaikan artefak yang ditargetkan, di mana jaringan koreksi artefak diperhalus pada kesalahan yang dikembalikan.

Pelatihan terjadi pada berbagai dataset yang sesuai, termasuk beberapa varian ResNet, FastRCNN, MobileNetV2, MaskRCNN dan Keras’ InceptionV3.

Hasil kerugian sampel setelah perbaikan artefak yang ditargetkan divisualisasikan di bawah (lebih rendah = lebih baik).

Tidak mungkin untuk memasuki detail hasil yang diperoleh dalam studi, karena temuan peneliti terbagi antara tujuan untuk mengevaluasi artefak JPEG dan metode baru untuk mengurangi ini; pelatihan diulang per-kualitas lebih dari banyak dataset; dan tugas yang termasuk beberapa tujuan seperti deteksi objek, segmentasi, dan klasifikasi. Pada dasarnya, laporan baru ini menempatkan diri sebagai karya referensi komprehensif yang menangani beberapa masalah.

Bagaimanapun, makalah tersebut secara umum menyimpulkan bahwa ‘kompresi JPEG memiliki penalty yang curam di seluruh papan untuk pengaturan kompresi yang berat hingga sedang’. Ini juga menyatakan bahwa strategi mitigasi tidak berlabel yang baru mencapai hasil yang lebih baik di antara pendekatan serupa; bahwa, untuk tugas yang kompleks, metode yang diawasi oleh peneliti juga mengungguli rekan-rekannya, meskipun tidak memiliki akses ke label truth; dan bahwa metodologi baru ini memungkinkan penggunaan kembali model, karena bobot yang diperoleh dapat dipindahkan antara tugas.

Dalam hal tugas klasifikasi, makalah tersebut menyatakan secara eksplisit bahwa ‘JPEG merusak kualitas gradien serta menyebabkan kesalahan lokalisasi’.

Penulis berharap untuk memperluas studi masa depan untuk mencakup metode kompresi lain seperti JPEG 2000, WebP, HEIF dan BPG. Mereka lebih lanjut menyarankan bahwa metodologi mereka dapat diterapkan pada penelitian analog tentang algoritma kompresi video.

Karena metode perbaikan artefak yang ditargetkan telah terbukti sangat sukses dalam studi, penulis juga menandakan niat mereka untuk merilis bobot yang dilatih selama proyek, dengan antisipasi bahwa ‘[banyak] aplikasi akan mendapat manfaat dari menggunakan bobot TTAC kami tanpa modifikasi.’

n.b. Sumber gambar untuk artikel ini berasal dari thispersondoesnotexist.com