Kompresi JPEG Meningkatkan Tingkat Kesalahan Pengenalan Wajah untuk Wajah Non-Kaukasus, Temuan Studi

Sebuah studi baru dari Inggris telah menyimpulkan bahwa teknik kompresi lossy pada gambar JPEG dapat memiliki pengaruh negatif pada efektivitas sistem pengenalan wajah, membuat sistem tersebut lebih cenderung mengidentifikasi secara salah seseorang yang bukan berkulit putih.

Makalah tersebut menyatakan:

‘Melalui sebuah rangkaian eksperimental yang luas, kami menunjukkan bahwa pendekatan kompresi gambar lossy yang umum memiliki dampak negatif yang lebih besar pada kinerja pengenalan wajah untuk kategori fenotip ras tertentu seperti warna kulit yang lebih gelap (hingga 34,55%).’

Hasilnya juga menunjukkan bahwa chroma subsampling, yang mengurangi informasi warna (bukan kecerahan) di seluruh bagian gambar wajah, meningkatkan Tingkat Kesalahan Pencocokan (FMR) di seluruh dataset yang diuji, banyak di antaranya adalah repositori standar untuk penglihatan komputer.

Operasi chroma subsampling pada gambar sumber, dengan tingkat yang bervariasi, memiliki efek yang jelas pada seberapa besar detail yang dipertahankan, dan seberapa besar sub-tones hanya ‘tercampur’ menjadi satu, mengorbankan detail dan menentukan fitur. Perlu diingat bahwa gambar ini sendiri mungkin telah dikompresi, dan silakan merujuk ke makalah sumber untuk resolusi yang akurat. Sumber: https://arxiv.org/pdf/2208.07613.pdf

Chroma subsampling diterapkan sebagai langkah ekonomi tambahan dalam kompresi JPEG karena orang kurang dapat membedakan pengurangan kompleksitas dan rentang warna-band dibandingkan dengan sistem penglihatan komputer, yang mengambil ‘agregasi’ tersebut jauh lebih literal daripada kita.

Peneliti untuk studi baru ini menemukan bahwa menghilangkan chroma subsampling dari proses kompresi mengurangi efek negatif ini hingga 15,95%, meskipun tidak sepenuhnya menghilangkan masalah.

Studi ini juga menyatakan bahwa pelatihan pada data yang tidak terkompresi (atau kurang terkompresi) tidak akan menyelesaikan masalah jika gambar pada waktu inferensi terkompresi. Secara efektif, ini berarti bahwa melatih model pengenalan wajah pada citra yang kurang terkompresi tidak akan menyelesaikan bias jika model produksi akhir diberi gambar yang memiliki masalah kompresi yang disebutkan.

Para penulis melaporkan*:

‘[Penggunaan] kompresi gambar lossy selama inferensi secara negatif mempengaruhi kinerja pendekatan pengenalan wajah kontemporer pada subset kelompok fenotip ras (yaitu warna kulit yang lebih gelap, bentuk mata monolid) dan bahwa efeknya ada terlepas dari apakah citra terkompresi digunakan untuk pelatihan model.’

Makalah tersebut menekankan konsekuensi dari kompresi gambar pada sektor penelitian penglihatan komputer, yang dijelaskan secara rinci dalam sebuah studi 2021 dari Universitas Maryland dan Facebook AI.

Ini adalah masalah yang sulit untuk diatasi; bahkan jika masalah penyimpanan dan bandwidth yang membuat kompresi diperlukan dihilangkan dalam semalam, dan bahkan jika semua gambar berkualitas rendah yang memenuhi dua dekade dataset di sektor ini tiba-tiba dikompresi ulang dengan tingkat yang lebih baik dari sumber berkualitas tinggi, itu akan mewakili ‘reset’ dari kontinuitas alat benchmark akademis selama beberapa dekade terakhir. Komunitas CV telah, secara efektif, terbiasa dengan masalah ini, sampai titik di mana itu mewakili utang teknis yang signifikan.

Bias rasial dalam pengenalan wajah (FR) telah menjadi topik media yang hangat dalam beberapa tahun terakhir, memicu upaya terkoordinasi dalam komunitas penelitian untuk menghilangkannya dari sistem yang terkena. Namun, ketergantungan pada tubuh penelitian global pada jumlah dataset ‘standar emas’ yang terlalu terbatas, banyak di antaranya tidak seimbang secara rasial atau diberi label yang buruk dalam hal ini, memperburuk tantangan.

Para peneliti dari makalah baru ini juga mencatat inkonsistensi antara standar akuisisi gambar dan standar yang ditetapkan oleh sebagian besar benchmark pengenalan wajah, dengan menyatakan*:

‘[Standar] akuisisi gambar yang ada untuk sistem pengenalan wajah seperti ISO/IEC 19794-5 dan ICAO 9303 mengusulkan standar kualitas berbasis gambar (yaitu iluminasi, oklusi) dan standar kualitas berbasis subjek (yaitu pose, ekspresi, aksesori) untuk memastikan kualitas gambar wajah. ‘

‘Oleh karena itu, gambar wajah juga harus disimpan menggunakan standar kompresi gambar lossy seperti JPEG atau JPEG2000; dan dapat diidentifikasi untuk jenis kelamin, warna mata, warna rambut, ekspresi, properti (yaitu kacamata), sudut pose (yaw, pitch, dan roll), dan posisi landmark. ‘

‘Namun, benchmark pengenalan wajah yang umum tidak sesuai dengan standar ISO/IEC 19794-5 dan ICAO 9303. Selain itu, sampel in-the-wild sering diperoleh di bawah kondisi kamera dan lingkungan yang bervariasi untuk menantang solusi yang diusulkan. ‘

‘Namun, sebagian besar sampel gambar wajah dalam dataset tersebut dikompresi melalui kompresi JPEG lossy.’

Para penulis makalah baru ini menyatakan bahwa upaya mereka di masa depan akan menyelidiki dampak kuantisasi gambar lossy pada kerangka pengenalan wajah yang beragam, dan menawarkan metode yang mungkin untuk meningkatkan keadilan sistem tersebut.

Makalah baru ini berjudul Apakah kompresi gambar lossy mempengaruhi bias rasial dalam pengenalan wajah?, dan berasal dari tiga peneliti di Imperial College London, bersama dengan satu dari perpustakaan analisis wajah deep InsightFace library.

Data dan Metode

Untuk eksperimen mereka, para peneliti menggunakan perpustakaan sumber terbuka ImageMagick dan libjpeg untuk membuat versi gambar data sumber pada berbagai tingkat kompresi.

Untuk gambaran awal dari efek kompresi, para penulis mempelajari efek Rasio Sinyal-ke-Noise Puncak (PSNR) pada empat tingkat kompresi JPEG yang berbeda pada dataset Racial Faces in-the-Wild (RFW).

Skor PSNR untuk dataset Racial Faces-in-the-Wild, menunjukkan seberapa besar kompresi dapat mempengaruhi kemampuan pengenalan untuk gambar terkompresi.

Di antara tes lainnya, mereka melakukan penelitian pada dataset yang tidak seimbang secara rasial, dan yang lain yang seimbang. Untuk dataset yang seimbang, mereka menggunakan fungsi ArcFace dengan ResNet101v2, pada dataset benchmark asli VGGFace2, yang berisi 3,3 juta gambar yang menampilkan 8631 subjek yang tidak seimbang secara rasial.

Untuk pengujian, para peneliti menggunakan dataset RFW. Sistem tersebut dilatih empat kali, pada empat tingkat kompresi yang berbeda, menghasilkan empat model ArcFace.

Untuk dataset yang seimbang, kerangka yang sama digunakan pada dataset benchmark asli BUPT-Balanced, yang berisi 28.000 wajah yang seimbang di seluruh empat kelompok Afrika, Asia, India, dan Kaukasus, masing-masing ras diwakili oleh 7000 gambar. Seperti dataset yang tidak seimbang, empat model ArcFace diperoleh dengan cara ini.

Selain itu, para peneliti mereproduksi efek dari pelatihan terkompresi dan tidak terkompresi dengan menghilangkan chroma subsampling, untuk mengukur efeknya pada kinerja.

Hasil

Tingkat Kesalahan Pencocokan (FMR) di seluruh dataset yang dihasilkan kemudian dipelajari. Kriteria yang dicari oleh para peneliti adalah fenotip yang telah ditentukan sebelumnya yang terkait dengan karakteristik ras Jenis Kulit (1, 2, 3, 4, 5 atau 6), Jenis Kelopak Mata (Monolid/Lainnya), Bentuk Hidung (Lebar/Sempit), Bentuk Bibir (Penuh/Kecil), Jenis Rambut (Lurus/Gelombang/Keriting/Botak), dan Warna Rambut – metrik yang diambil dari makalah 2019 Mengukur Bias Tersembunyi dalam Pengenalan Wajah melalui Fenotip Ras.

Makalah tersebut menyatakan:

‘Kami mengamati bahwa untuk semua tingkat kompresi yang dipilih q = {5, 10, 15, 95}, FMR meningkat ketika kompresi lossy tambahan diterapkan, menunjukkan bahwa tingkat kompresi 5 (tingkat kompresi tertinggi) menghasilkan penurunan kinerja FMR yang paling signifikan, sedangkan tingkat kompresi 95 (tingkat kompresi terendah) tidak menghasilkan perbedaan kinerja FMR yang signifikan.’

Sebuah contoh dari bagan hasil makalah yang luas, yang terlalu besar dan banyak untuk direproduksi di sini – silakan lihat makalah sumber untuk resolusi yang lebih baik dan hasil lengkap. Di sini, kita melihat kisaran kinerja FMR di seluruh gambar wajah yang semakin rusak/terkompresi untuk VGGFace2, dalam kisaran yang mencakup kualitas tidak terkompresi atau sedikit terkompresi.

Makalah tersebut menyimpulkan:

‘Secara keseluruhan, evaluasi kami menemukan bahwa menggunakan sampel gambar wajah lossy terkompresi pada waktu inferensi menurunkan kinerja lebih signifikan pada fenotip tertentu, termasuk warna kulit yang lebih gelap, hidung yang lebar, rambut yang keriting, dan mata monolid di seluruh fitur fenotipik lainnya. ‘

‘Namun, penggunaan citra terkompresi selama pelatihan membuat model yang dihasilkan lebih tahan dan membatasi penurunan kinerja yang ditemukan: kinerja yang lebih rendah di antara sub-grup yang sejalan dengan ras tertentu masih ada. Selain itu, menghilangkan chroma subsampling meningkatkan FMR untuk kategori fenotip tertentu yang lebih terpengaruh oleh kompresi lossy.’

* Konversi saya dari kutipan inline penulis ke tautan.

Publikasi pertama 22 Agustus 2022.