Menggunakan Kompresi JPEG untuk Meningkatkan Pelatihan Jaringan Saraf

Sebuah makalah penelitian baru dari Kanada telah mengusulkan kerangka yang secara sengaja memperkenalkan kompresi JPEG ke dalam skema pelatihan jaringan saraf, dan berhasil mendapatkan hasil yang lebih baik – dan lebih tahan terhadap serangan adversarial.

Ini adalah ide yang cukup radikal, karena kebijaksanaan umum saat ini adalah bahwa artefak JPEG, yang dioptimalkan untuk penglihatan manusia, dan tidak untuk pembelajaran mesin, umumnya memiliki efek merusak pada jaringan saraf yang dilatih pada data JPEG.

Contoh perbedaan kejelasan antara gambar JPEG yang dikompresi pada nilai kerugian yang berbeda (kerugian yang lebih tinggi memungkinkan ukuran file yang lebih kecil, dengan biaya penurunan dan pita pada gradien warna, di antara jenis artefak lainnya). Sumber: https://forums.jetphotos.com/forum/aviation-photography-videography-forums/digital-photo-processing-forum/1131923-how-to-fix-jpg-compression-artefacts?p=1131937#post1131937

Laporan 2022 dari Universitas Maryland dan Facebook AI menyatakan bahwa kompresi JPEG ‘mengakibatkan penalti kinerja yang signifikan’ dalam pelatihan jaringan saraf, meskipun penelitian sebelumnya yang mengklaim jaringan saraf relatif tahan terhadap artefak kompresi gambar.

Setahun sebelumnya, sebuah pemikiran baru telah muncul dalam literatur: bahwa kompresi JPEG sebenarnya dapat dimanfaatkan untuk hasil yang lebih baik dalam pelatihan model.

Namun, meskipun penulis makalah tersebut dapat mendapatkan hasil yang lebih baik dalam pelatihan gambar JPEG dengan kualitas yang berbeda, model yang mereka usulkan sangat kompleks dan berat, sehingga tidak praktis. Selain itu, penggunaan pengaturan optimasi JPEG default (kuantifikasi) terbukti sebagai hambatan bagi efikasi pelatihan.

Proyek lain (2023 JPEG Compliant Compression for DNN Vision) bereksperimen dengan sistem yang mendapatkan hasil yang sedikit lebih baik dari gambar JPEG yang dikompresi dengan menggunakan model jaringan saraf dalam (DNN) yang dibekukan. Namun, membekukan bagian dari model selama pelatihan cenderung mengurangi kelenturan model, serta ketahanannya yang lebih luas terhadap data baru.

JPEG-DL

Sebagai gantinya, penelitian baru, berjudul JPEG Inspired Deep Learning, menawarkan arsitektur yang jauh lebih sederhana, yang bahkan dapat diterapkan pada model yang ada.