Menggunakan Kompresi JPEG untuk Meningkatkan Pelatihan Jaringan Saraf

Sebuah makalah penelitian baru dari Kanada telah mengusulkan sebuah kerangka yang secara sengaja memperkenalkan kompresi JPEG ke dalam skema pelatihan jaringan saraf, dan berhasil mendapatkan hasil yang lebih baik – dan lebih tahan terhadap serangan adversarial.

Ini adalah ide yang cukup radikal, karena kebijaksanaan umum saat ini adalah bahwa artefak JPEG, yang dioptimalkan untuk penglihatan manusia, dan tidak untuk pembelajaran mesin, umumnya memiliki efek yang merugikan pada jaringan saraf yang dilatih pada data JPEG.

Contoh perbedaan kejelasan antara gambar JPEG yang dikompresi pada nilai kerugian yang berbeda (kerugian yang lebih tinggi memungkinkan ukuran file yang lebih kecil, dengan biaya delineasi dan banding pada gradien warna, di antara jenis artefak lainnya). Sumber: https://forums.jetphotos.com/forum/aviation-photography-videography-forums/digital-photo-processing-forum/1131923-how-to-fix-jpg-compression-artefacts?p=1131937#post1131937

Laporan tahun 2022 dari Universitas Maryland dan Facebook AI menyatakan bahwa kompresi JPEG ‘mengakibatkan penalti kinerja yang signifikan’ dalam pelatihan jaringan saraf, meskipun penelitian sebelumnya yang menyatakan bahwa jaringan saraf relatif tahan terhadap artefak kompresi gambar.

Setahun sebelumnya, sebuah pemikiran baru telah muncul dalam literatur: bahwa kompresi JPEG dapat digunakan untuk meningkatkan hasil dalam pelatihan model.

Namun, meskipun penulis makalah tersebut dapat mendapatkan hasil yang lebih baik dalam pelatihan gambar JPEG dengan kualitas yang berbeda, model yang mereka usulkan sangat kompleks dan berat, sehingga tidak praktis. Selain itu, penggunaan pengaturan optimasi JPEG default (kuantifikasi) membuktikan sebagai hambatan untuk efisiensi pelatihan.

Proyek lain (2023’s JPEG Compliant Compression for DNN Vision) bereksperimen dengan sistem yang mendapatkan hasil yang sedikit lebih baik dari gambar JPEG yang dikompresi dengan menggunakan model jaringan saraf dalam (DNN) yang dibekukan. Namun, membekukan bagian dari model selama pelatihan cenderung mengurangi kemampuan model dan ketahanannya terhadap data baru.

JPEG-DL

Sebagai gantinya, penelitian baru ini, yang berjudul JPEG Inspired Deep Learning, menawarkan arsitektur yang jauh lebih sederhana, yang bahkan dapat diterapkan pada model yang sudah ada.

Para peneliti dari Universitas Waterloo menyatakan:

‘Hasil menunjukkan bahwa JPEG-DL secara signifikan dan konsisten outperforms standar DL di berbagai arsitektur DNN, dengan peningkatan kompleksitas model yang dapat diabaikan.

‘Secara khusus, JPEG-DL meningkatkan akurasi klasifikasi hingga 20,9% pada beberapa dataset klasifikasi fine-grained, sementara menambahkan hanya 128 parameter yang dapat dilatih ke dalam pipa DL. Selain itu, superioritas JPEG-DL atas standar DL lebih lanjut dibuktikan oleh ketahanan adversarial yang ditingkatkan dari model yang dipelajari dan ukuran file input gambar yang berkurang.’

Para penulis berpendapat bahwa tingkat kualitas kompresi JPEG yang optimal dapat membantu jaringan saraf membedakan subjek sentral dari gambar. Dalam contoh di bawah, kita melihat hasil baseline (kiri) yang menggabungkan burung ke latar belakang ketika fitur diperoleh oleh jaringan saraf. Sebaliknya, JPEG-DL (kanan) berhasil membedakan dan menggambar subjek foto.

Tes terhadap metode baseline untuk JPEG-DL. Sumber: https://arxiv.org/pdf/2410.07081

‘Fenomena ini,’ mereka menjelaskan, ‘yang disebut “kompresi membantu” dalam makalah [2021], dibenarkan oleh fakta bahwa kompresi dapat menghilangkan noise dan fitur latar belakang yang mengganggu, sehingga meningkatkan objek utama dalam gambar, yang membantu DNN membuat prediksi yang lebih baik.’

Metode

JPEG-DL memperkenalkan kuantifier lunak yang dapat dibedakan, yang menggantikan operasi kuantifikasi yang tidak dapat dibedakan dalam rutinitas optimasi JPEG standar.

Hal ini memungkinkan optimasi berbasis gradien dari gambar. Ini tidak mungkin dalam pengkodean JPEG konvensional, yang menggunakan kuantifier seragam dengan operasi pembulatan yang mendekati koefisien terdekat.

Kediferensialan skema JPEG-DL memungkinkan optimasi bersama dari parameter model pelatihan dan kuantifikasi JPEG (kompresi). Optimasi bersama berarti bahwa model dan data pelatihan disesuaikan dengan satu sama lain dalam proses end-to-end, dan tidak perlu membekukan lapisan.

Secara esensial, sistem ini menyesuaikan kompresi JPEG dari dataset (raw) untuk sesuai dengan logika proses generalisasi.

Skema konseptual untuk JPEG-DL.

Orang mungkin menganggap bahwa data raw adalah makanan ideal untuk pelatihan; setelah semua, gambar sepenuhnya dikompresi ke dalam ruang warna penuh yang sesuai ketika dijalankan dalam batch; jadi apa perbedaan yang dimiliki format asli?

Ya, karena kompresi JPEG dioptimalkan untuk penglihatan manusia, itu membuang area detail atau warna dengan cara yang sesuai dengan tujuan ini. Diberikan gambar danau di bawah langit biru, tingkat kompresi yang lebih tinggi akan diterapkan pada langit, karena tidak ada ‘detail penting’.

Di sisi lain, jaringan saraf tidak memiliki filter yang tidak biasa yang memungkinkan kita untuk fokus pada subjek sentral. Sebaliknya, itu cenderung mempertimbangkan artefak banding dalam langit sebagai data yang valid untuk diserap ke dalam ruang latennya.

Meskipun manusia akan mengabaikan banding dalam langit, dalam gambar yang dikompresi berat (kiri), jaringan saraf tidak memiliki ide bahwa konten ini harus dibuang, dan memerlukan gambar dengan kualitas yang lebih tinggi (kanan). Sumber: https://lensvid.com/post-processing/fix-jpeg-artifacts-in-photoshop/

Oleh karena itu, satu tingkat kompresi JPEG tidak mungkin sesuai dengan seluruh isi dataset pelatihan, kecuali itu mewakili domain yang sangat spesifik. Gambar kerumunan akan memerlukan kompresi yang jauh lebih sedikit daripada gambar fokus sempit dari seekor burung, misalnya.

Para penulis mengamati bahwa mereka yang tidak familiar dengan tantangan kuantifikasi, tetapi familiar dengan dasar-dasar arsitektur transformer, dapat mempertimbangkan proses ini sebagai operasi perhatian, secara umum.

Data dan Tes

JPEG-DL dievaluasi terhadap arsitektur berbasis transformer dan jaringan saraf konvolusi (CNN). Arsitektur yang digunakan adalah EfficientFormer-L1; ResNet; VGG; MobileNet; dan ShuffleNet.

Versi ResNet yang digunakan adalah spesifik untuk dataset CIFAR: ResNet32, ResNet56, dan ResNet110. VGG8 dan VGG13 dipilih untuk tes VGG.

Untuk CNN, metode pelatihan berasal dari karya 2020 Contrastive Representation Distillation (CRD). Untuk EfficientFormer-L1 (berbasis transformer), metode pelatihan dari karya 2023 Initializing Models with Larger Ones digunakan.

Untuk tugas fine-grained yang ditampilkan dalam tes, empat dataset digunakan: Stanford Dogs; Universitas Oxford Flowers; CUB-200-2011 (CalTech Birds); dan Pets (‘Kucing dan Anjing’, kolaborasi antara Universitas Oxford dan Hyderabad di India).

Untuk tugas fine-grained pada CNN, penulis menggunakan PreAct ResNet-18 dan DenseNet-BC. Untuk EfficientFormer-L1, metode yang digunakan adalah metode yang sama dengan Initializing Models with Larger Ones.

Di seluruh CIFAR-100 dan tugas fine-grained, magnitudo yang berbeda dari Transformasi Kosinus Diskrit (DCT) dalam pendekatan kompresi JPEG ditangani dengan optimizer Adam, untuk menyesuaikan laju pembelajaran untuk lapisan JPEG di seluruh model yang diuji.

Di tes ImageNet-1K, di seluruh eksperimen, penulis menggunakan PyTorch, dengan SqueezeNet, ResNet-18, dan ResNet-34 sebagai model inti.

Untuk evaluasi optimasi lapisan JPEG, peneliti menggunakan Stochastic Gradient Descent (SGD) sebagai gantinya Adam, untuk kinerja yang lebih stabil. Namun, untuk tes ImageNet-1K, metode dari makalah 2019 Learned Step Size Quantization digunakan.

Di atas, akurasi validasi top-1 untuk baseline vs. JPEG-DL pada CIFAR-100, dengan standar dan deviasi rata-rata selama tiga kali jalankan. Di bawah, akurasi validasi top-1 pada tugas klasifikasi gambar fine-grained yang beragam, di seluruh arsitektur model, juga rata-rata dari tiga kali jalankan.

Komentar tentang hasil awal yang ditampilkan di atas, penulis menyatakan:

‘Di seluruh tujuh model yang diuji untuk CIFAR-100, JPEG-DL secara konsisten memberikan peningkatan, dengan keuntungan hingga 1,53% dalam akurasi top-1. Dalam tugas fine-grained, JPEG-DL menawarkan peningkatan kinerja yang signifikan, dengan peningkatan hingga 20,90% di seluruh dataset menggunakan dua model yang berbeda.’

Hasil untuk tes ImageNet-1K ditampilkan di bawah:

Hasil akurasi validasi top-1 pada ImageNet di seluruh kerangka kerja.

Di sini makalah menyatakan:

‘Dengan peningkatan kompleksitas yang sepele (menambahkan 128 parameter), JPEG-DL mencapai keuntungan 0,31% dalam akurasi top-1 untuk SqueezeNetV1.1 dibandingkan dengan baseline menggunakan satu putaran operasi kuantifikasi.

‘Dengan meningkatkan jumlah putaran kuantifikasi hingga lima, kami mengamati peningkatan tambahan sebesar 0,20%, yang menghasilkan keuntungan total sebesar 0,51% dibandingkan dengan baseline.’

Peneliti juga menguji sistem menggunakan data yang dikompromikan oleh serangan adversarial Fast Gradient Signed Method (FGSM) dan Projected Gradient Descent (PGD).

Serangan tersebut dilakukan pada CIFAR-100 di seluruh dua model:

Hasil tes untuk JPEG-DL, melawan dua kerangka kerja serangan adversarial standar.

Penulis menyatakan:

‘Model JPEG-DL secara signifikan meningkatkan ketahanan adversarial dibandingkan dengan model DNN standar, dengan peningkatan hingga 15% untuk FGSM dan 6% untuk PGD.’

Selain itu, seperti yang ditunjukkan sebelumnya dalam artikel ini, penulis melakukan perbandingan peta fitur yang diekstrak menggunakan GradCAM++ – sebuah kerangka kerja yang dapat menyoroti fitur yang diekstrak dalam bentuk visual.

Ilustrasi GradCAM++ untuk baseline dan klasifikasi gambar JPEG-DL, dengan fitur yang diekstrak disoroti.

Makalah tersebut menyatakan bahwa JPEG-DL menghasilkan hasil yang lebih baik, dan bahwa dalam satu contoh, itu bahkan dapat mengklasifikasikan gambar yang baseline gagal identifikasi. Mengenai gambar yang ditampilkan sebelumnya yang menampilkan burung, penulis menyatakan:

‘Jelas bahwa peta fitur dari model JPEG-DL menunjukkan kontras yang jauh lebih baik antara informasi foreground (burung) dan latar belakang dibandingkan dengan peta fitur yang dihasilkan oleh model baseline.

‘Secara khusus, objek foreground dalam peta fitur JPEG-DL dikelilingi oleh kontur yang jelas, membuatnya dapat dibedakan secara visual dari latar belakang.

‘Sebaliknya, peta fitur model baseline menunjukkan struktur yang lebih tercampur, di mana foreground mengandung energi yang lebih tinggi dalam frekuensi rendah, menyebabkannya tercampur lebih lancar dengan latar belakang.’

Kesimpulan

JPEG-DL dimaksudkan untuk digunakan dalam situasi di mana data raw tersedia – tetapi akan sangat menarik untuk melihat apakah beberapa prinsip yang ditampilkan dalam proyek ini dapat diterapkan pada pelatihan dataset konvensional, di mana konten mungkin memiliki kualitas yang lebih rendah (seperti yang sering terjadi dengan dataset hyperscale yang diambil dari internet).

Sebagaimana adanya, itu sebagian besar masih menjadi masalah anotasi, meskipun telah ditangani dalam pengenalan gambar berbasis lalu lintas, dan tempat lain.

Dipublikasikan pertama kali pada hari Kamis, 10 Oktober 2024