Anderson’un Açısı
Araştırma: JPEG Sıkıştırması Beyaz Olmayan Yüzlerde Tanıma Hatalarını Artırıyor

Öne çıkan noktalarJPEG sıkıştırması, daha koyu cilt tonları için yanlış eşleşme oranlarını %34,55'e kadar…
Daha fazla göster
- JPEG sıkıştırması, daha koyu cilt tonları için yanlış eşleşme oranlarını %34,55'e kadar artırır.
- Renk alt örneklemesinin kaldırılması, yüz tanıma önyargısı üzerindeki olumsuz etkiyi %15,95 oranında azaltır.
- Sıkıştırılmamış verilerle eğitim, çıkarım görüntüleri sıkıştırılmış kaldığında önyargıyı düzeltmez.
İngiltere’den yapılan yeni bir çalışmaya göre, JPEG resimlerinde kullanılan kayıplı sıkıştırma teknikleri, yüz tanıma sistemlerinin etkinliğini olumsuz yönde etkileyerek, özellikle beyaz olmayan kişilerde yanlış tanıma olasılığını artırabilir.
Makalede şöyle deniyor:
‘Geniş bir deneysel kurulum aracılığıyla, yüz tanıma performansında belirli ırksal fenotip kategorileri (örneğin daha koyu cilt tonları, %34,55’e kadar) için ortak kayıplı resim sıkıştırma yaklaşımlarının daha belirgin bir olumsuz etki olduğunu gösteriyoruz.’
Sonuçlar ayrıca, kroma alt örneklemenin, yüz resimlerinde renk bilgisi (parlaklık bilgisi değil) azaltarak, test edilen veri setleri genelinde Yanlış Eşleştirme Oranını (FMR) artırdığını gösteriyor. Bu veri setlerinin birçoğu bilgisayar vizyonu için standart depolar.

Kaynak resim üzerinde çeşitli oranlarda kroma alt örnekleme işlemleri, ayrıntı korunması ve alt tonların birbirine karışması açısından net bir etkiye sahiptir; renk tonları birbirine karışırken ayrıntılar ve ayırt edici özellikler kaybolur. Lütfen bu resmin kendisinin sıkıştırma altında olabileceğini unutmayın ve doğru çözünürlük için kaynak makaleye başvurun. Kaynak: https://arxiv.org/pdf/2208.07613.pdf
Kroma alt örnekleme, insanların renk bantlarının karmaşıklığı ve aralığını azaltmaya karşı daha az duyarlı olduğu için JPEG sıkıştırmasında ekonomik bir önlem olarak uygulanır; bilgisayar vizyonu sistemleri ise bu ‘toplamaları’ çok daha literal olarak alır.
Araştırmacılar, sıkıştırma işleminden kroma alt örneklemenin çıkarılmasının olumsuz etkiyi yüzde 15,95’e kadar azalttığını, ancak sorunu tamamen ortadan kaldırmadığını buldu.
Çalışma ayrıca, sıkıştırılmamış (veya daha az sıkıştırılmış) verilerle eğitimin, çıkarım aşamasındaki görüntüler sıkıştırılmışsa sorunu çözmeyeceğini belirtiyor. Yani, yüz tanıma modelini daha az sıkıştırılmış görsellerle eğitmek, final üretim modeline sıkıştırılmış görüntüler verildiğinde oluşan önyargıyı gidermez.
Yazarlar rapor veriyor:
‘[Kayıplı] resim sıkıştırmasının, çağdaş yüz tanıma yaklaşımlarının performansını, özellikle belirli ırksal fenotip grupları (örneğin daha koyu cilt tonları, monolid göz şekli) üzerinde olumsuz etkilediğini ve bu etkisinin, model eğitiminde sıkıştırılmış görsellerin kullanılıp kullanılmamasından bağımsız olarak mevcut olduğunu gösteriyoruz.’
Bu makale, bilgisayar vizyonu araştırma alanındaki görüntü sıkıştırmasının sonuçlarını vurguluyor; bu sonuçlar, University of Maryland ve Facebook AI’nin 2021 çalışmasında detaylı olarak açıklanmıştı.
Bu sorun çözülmesi zor bir mesele; sıkıştırmayı gerekli kılan depolama ve bant genişliği sorunları bir gecede ortadan kalksa bile ve son yirmi yılı aşkın süredir biriken düşük kaliteli resimlerin birdenbire yüksek kaliteli kaynaklardan yeniden sıkıştırılmış olsalar bile, bu, akademik benchmarking araçlarının sürekliliğinde bir ‘sıfırlama’ anlamına gelirdi. Aslında, CV topluluğu, bu sorunu kabul etmiş ve bu, önemli bir teknik borç haline gelmiştir.
Yüz tanıma (FR) sistemlerindeki ırksal önyargı, son yıllarda geniş yer bulan bir medya konusu olarak yer almış ve araştırmacıların bu sistemlerden önyargıyı ortadan kaldırmak için bir çaba sarf etmelerine yol açmıştır. Ancak, küresel araştırma topluluğunun, sayıca aşırı sınırlı ‘altın standart’ veri setlerine bağımlılığı – ki bu setlerin birçoğu ırksal olarak dengeli değil veya bu açıdan kötü etiketlenmiş – bu zorluğu daha da artırıyor.
Araştırmacılar ayrıca, yüz tanıma sistemleri için mevcut görüntü edinme standartları ile genel yüz tanıma benchmark’lerinin standartları arasındaki uyumsuzluğu vurguluyor:
‘Mevcut yüz tanıma sistemleri için görüntü edinme standartları, örneğin ISO/IEC 19794-5 ve ICAO 9303, hem görüntü tabanlı (örneğin aydınlatma, örtme) hem de konu tabanlı (örneğin poz, ifade, aksesuarlar) kalite standartlarını önerir.’
‘Buna göre, yüz resimleri de JPEG veya JPEG2000 gibi kayıplı resim sıkıştırma standartlarına göre depolanmalıdır ve cinsiyet, göz rengi, saç rengi, ifade, özellikler (örneğin gözlük), yaw, pitch ve roll açıları ve landmark konumları açısından tanımlanabilir olmalıdır.’
‘Ancak, ortak yüz tanıma benchmark’ları, ISO/IEC 19794-5 ve ICAO 9303 standartlarına uymaz. Ayrıca, doğal koşullardan toplanan örnekler, çeşitli kamera ve çevre koşullarında elde edilir ve önerilen çözümleri zorlar.’
‘Bununla birlikte, bu veri setlerindeki çoğu yüz resmi, kayıplı JPEG sıkıştırması ile sıkıştırılır.’
Yeni çalışmanın yazarları, gelecekteki çalışmalarının, kayıplı resim kuantizasyonunun çeşitli yüz tanıma çerçevelerindeki etkisini incelemeyi ve bu sistemlerin adilliğini iyileştirmek için olası yöntemler sunmayı amaçladıklarını belirtiyorlar.
Yeni makale, Kayıplı Resim Sıkıştırması Yüz Tanımadaki Irksal Önyargıyı Etkiler Mi? başlığını taşıyor ve Imperial College London’dan üç araştırmacı ile InsightFace derin yüz analizi kütüphanesinden bir araştırmacı tarafından gerçekleştirildi.
Veri ve Yöntem
Deneyleri için araştırmacılar, ImageMagick ve libjpeg açık kaynak kütüphanelerini kullandılar ve kaynak veri resimlerinin çeşitli sıkıştırma seviyelerinde sürümlerini oluşturdular.
Öncelikle, yazarlar dört farklı JPEG sıkıştırma seviyesinde Peak Sinyal-Gürültü Oranının (PSNR) etkilerini Racial Faces in-the-Wild (RFW) veri seti üzerinde incelediler.
Araştırmacılar, ırksal olarak dengeli bir veri seti üzerinde de araştırma yaptılar. Dengeli set için, Additive Angular Margin Loss (ArcFace) fonksiyonunu ResNet101v2 ile birlikte, 3.3 milyon resmi ve ırksal dağılımı dengesiz 8631 kişi içeren orijinal VGGFace2 benchmark veri seti üzerinde kullandılar.
Test için RFW veri seti kullanıldı. Sistem, dört farklı sıkıştırma seviyesinde dört kez eğitildi ve dört ArcFace modeli oluşturuldu.
Irksal olarak dengeli set için, aynı çerçeveler orijinal hizalanmış BUPT-Balanced benchmark veri seti üzerinde kullanıldı. Bu veri seti, her biri 7000 resimden oluşan Afrika, Asya, Hindistan ve Kaukasya olmak üzere dört gruba bölünmüş 28.000 yüz içerir. Irksal olarak dengesiz veri setinde olduğu gibi dört ArcFace modeli elde edildi.
Araştırmacılar ayrıca, sıkıştırma ve sıkıştırma olmadan eğitim etkilerini yeniden üretmek için kroma alt örnekleme çıkardılar.
Sonuçlar
Oluşturulan veri setlerindeki Yanlış Eşleştirme Oranları (FMR) incelendi. Araştırmacılar, önceden tanımlanmış fenotip kriterlerine baktı; bu kriterler ırksal özelliklerle ilgiliydi: Cilt Tipi (1, 2, 3, 4, 5 veya 6), Göz Kapağı Tipi (Monolid/Diğer), Burun Şekli (Geniş/Dar), Dudak Şekli (Dolgun/Küçük), Saç Tipi (Düz/Dalgalı/Kıvırcık/Kel), Saç Rengi – bu metrikler 2019 makalesinden Yüz Tanımada Gizli Önyargıları Irksal Fenotipler Aracılığıyla Ölçme alındı.
Makalede şöyle deniyor:
‘Tüm seçilen sıkıştırma seviyeleri için (q = {5, 10, 15, 95}), ek kayıplı sıkıştırma uygulanmasının FMR’yi artırdığını, en yüksek sıkıştırma oranının (seviye 5) en önemli FMR performans düşüşüne yol açtığını ve en düşük sıkıştırma oranının (seviye 95) herhangi bir önemli FMR performans farkı yaratmadığını gözlemliyoruz.’

VGGFace2 için artan bozulma/sıkıştırma altındaki yüz resimlerinin FMR performansının örnek bir görünümü. Grafikler burada bütünüyle gösterilemeyecek kadar büyük ve çoktur; daha iyi çözünürlük ve tam sonuçlar için kaynak makaleye başvurun. Görüntüler sıkıştırılmamış veya az sıkıştırılmış kaliteyi de kapsar.
Makale şöyle diyor:
‘Genel olarak, değerlendirmemiz, kayıplı sıkıştırılmış yüz resimlerinin, özellikle koyu cilt tonu, geniş burun, kıvırcık saç ve monolid göz gibi belirli fenotipler üzerinde yüz tanıma performansını daha önemli ölçüde azalttığını gösteriyor.’
‘Ancak, eğitim sırasında sıkıştırılmış görüntülerin kullanılması, oluşan modellerin daha dayanıklı olmasını sağlar ve performans bozulmasını sınırlar: belirli ırksal alt gruplar arasında daha düşük performans kalır. Ayrıca, kroma alt örnekleme çıkarılması, kayıplı sıkıştırma tarafından daha fazla etkilenen fenotip kategorileri için FMR’yi iyileştirir.’
* Yazarların inline alıntılarının hyperlinklere dönüştürülmesi.
İlk olarak 22 Ağustos 2022’de yayımlandı.













