Bilgisayarlı Görüntü Veri Setlerinde JPEG Hatası Problemini Çözme

Maryland Üniversitesi ve Facebook AI’den yeni bir çalışmada, derin öğrenme sistemlerinin yüksek olarak sıkıştırılmış JPEG görüntülerini veri setlerinde kullanmasının önemli bir performans cezasına neden olduğu ve bu etkileri azaltmak için yeni yöntemler önerdiği bulundu.

Rapor, Derin Öğrenmede JPEG Sıkıştırma Hatalarının Analizi ve Azaltılması başlığını taşıyor ve önceki çalışmalara göre daha kapsamlı olduğu iddia ediliyor. Makale, “[ağır] veya orta düzeyde JPEG sıkıştırmasının standart ölçütlere göre önemli bir performans cezasına neden olduğu” ve sinir ağlarının böyle pertürbasyonlara karşı önceki çalışmalarda önerildiğinden daha az dayanıklı olabileceğini belirtiyor.

2018 MobileNetV2 veri setinden bir köpek fotoğrafı. Kalite 10’da (solda), bir sınıflandırma sistemi doğru ırkı ‘Pembroke Welsh Corgi’ olarak tanımlayamaz, bunun yerine ‘Norwich terrier’ diye tahmin eder (sistem zaten bir köpek fotoğrafı olduğunu bilir, ancak ırkını bilmez); ikinci soldan, bir JPEG hata düzeltme sürümünde yine doğru ırkı tanımlayamaz; ikinci sağdan, hedefe yönelik hata düzeltme doğru sınıflandırma sağlar; ve sağda, orijinal fotoğrafın doğru sınıflandırması. Kaynak: https://arxiv.org/pdf/2011.08932.pdf

Sıkıştırma Hataları ‘Veri’ Olarak

Aşırı JPEG sıkıştırması, 8×8 blokların etrafında görünür veya yarı-görünür sınırlar oluşturabilir. Bu bloklama veya ‘zil’ hataları, makine öğrenimi sistemleri tarafından gerçek dünya öğeleri olarak yanlış yorumlanabilir, eğer buna karşı bir telafi yapılmazsa.

Üstte, bir bilgisayar görüntüsü makine öğrenimi sistemi, iyi kaliteli bir resimden ‘temiz’ bir gradyan görüntüsü çıkarır. Altta, düşük kaliteli bir resimdeki ‘bloklama’ hataları, konunun özelliklerini gizler ve özellikle yüksek ve düşük kaliteli resimlerin birlikte bulunduğu veri setlerinde, örneğin genel veri temizleme uygulanan web tarama koleksiyonlarında, özellikleri çıkarılan görüntü kümesinde ‘bulaşabilir’. Kaynak: http://www.cs.utep.edu/ofuentes/papers/quijasfuentes2014.pdf

Görüldüğü gibi, bu hatalar görüntü sınıflandırma görevlerini etkileyebilir ve metin tanıma algoritmaları için de benzer etkileri olabilir.

Görüntü sentezleme eğitim sistemlerinde (örneğin deepfake yazılımları veya GAN tabanlı görüntü oluşturma sistemleri), düşük kaliteli, yüksek olarak sıkıştırılmış bir resim bloğu, yamedian kaliteyi düşürür ya da daha iyi resimlerden çıkarılan özelliklerle ezilir. Her iki durumda da, daha iyi veri istenen ya da en azından tutarlı veri.

JPEG – Genellikle ‘Yeterince İyi’

JPEG sıkıştırması, çeşitli görüntü formatlarına uygulanabilen geri dönüştürülemez bir kayıp kodlama yöntemidir, ancak principalmente JFIF görüntü dosyası sarmalayıcı için uygulanır. Buna rağmen, JPEG (.jpg) formatı, adını ilişkili sıkıştırma yönteminden değil, JFIF sarmalayıcıdan almıştır.

Son yıllarda, JPEG benzeri hata azaltma yöntemlerini içeren makine öğrenimi mimarileri ortaya çıktı ve AI tabanlı sıkıştırma hata giderme, Topaz görüntü/video süiti ve Adobe Photoshop’un neural özellikleri gibi ticari ürünlerde entegre edildi.

1986’da kullanılan JPEG şeması, esas olarak 1990’ların başlarında kilidini aldı ve bu nedenle, bir JPEG görüntüsünün hangi kalite düzeyinde (1-100) kaydedildiğini gösteren meta verileri eklemek mümkün değildir – en azından, 30 yılı aşkın bir süredir tüketici, profesyonel ve akademik yazılımların böyle meta verilere sahip olmasını beklemeyen bir değişiklik olmadan.

Sonuç olarak, makine öğrenimi eğitim rutinlerini JPEG görüntü verilerinin değerlendirilen veya bilinen kalitesine göre uyarlamak yaygın bir uygulamadır. Kalite meta verisi girişi yoksa, ya resmin nasıl sıkıştırıldığını (örneğin, kayıpsız bir kaynaktan sıkıştırıldı) bilmek ya da algısal algoritmalar veya manuel sınıflandırma yoluyla kaliteyi tahmin etmek gerekir.

Ekonomik Bir Uyum

JPEG, makine öğrenimi veri setlerinin kalitesini etkileyen tek kayıp sıkıştırma yöntemi değildir; PDF dosyalarındaki sıkıştırma ayarları da bu şekilde bilgiyi atabilir ve yerel veya ağ arşivi için disk alanı tasarrufu sağlamak amacıyla çok düşük kalite seviyelerine ayarlanabilir.

Bu, archive.org’daki çeşitli PDF’leri örnekleyerek görülebilir; bazıları o kadar çok sıkıştırılmıştır ki, görüntü veya metin tanıma sistemleri için önemli bir zorluk oluşturur. Çoğu durumda, özellikle telifli kitaplar için, bu yoğun sıkıştırma, ucuz bir DRM biçimi olarak uygulanmış gibi görünmektedir; telif hakkı sahipleri, tam çözünürlüklü satın almaları teşvik etmek için kullanıcı tarafından yüklenen YouTube videolarının çözünürlüğünü düşürmeyi tercih edebilir.

Çok sayıda durumda, çözünürlük veya görüntü kalitesi düşük çünkü veri çok eskidir ve yerel ve ağ depolaması daha pahalı, ağ hızları ise optimize edilmiş ve taşınabilir görüntülere yüksek kaliteli yeniden üretimden daha fazla öncelik veriyordu.

JPEG’nin, şu anda en iyi çözüm olmasa da, “kutsanmış” bir miras altyapısı olarak kabul edildiği ve internetin temelleriyle iç içe geçtiği savunulmaktadır.

Miras Yükü

Daha sonraki yenilikler gibi JPEG 2000, PNG ve (en son).webp formatı daha iyi kalite sunar, ancak daha eski, popüler makine öğrenimi veri setlerini yeniden örneklemek, akademik toplulukta yıllık bilgisayar görüntüsü zorluklarının sürekliliğini ve tarihini “sıfırlamak” ile eşanlamlı olabilir – bu, PNG veri seti görüntülerini daha yüksek kalite ayarlarına yeniden kaydetme durumunda da geçerli olur. Bu, bir tür teknik borç olarak düşünülebilir.

İmajMagick gibi server tarafında çalışan görüntü işleme kütüphaneleri,.webp gibi daha iyi formatları destekler, ancak görüntü dönüştürme gereksinimleri thường olarak JPG veya PNG (kaybedilen sıkıştırma, ancak gecikme ve disk alanı pahasına) için ayarlanmış eski sistemlerde ortaya çıkar. Hatta WordPress, neredeyse tüm web sitelerinin %40’ını güçlendirerek,.webp desteğini yalnızca üç ay önce ekledi.

PNG, 1990’ların sonlarında GIF dosyalarında kullanılan LZW sıkıştırma formatı için royalties ödenmesi gerektiğine ilişkin 1995 tarihli bir bildirinin ardından, açık kaynaklı bir çözüm olarak ortaya çıktı. GIF dosyaları o zamanlar logoslar ve düz renkli öğeler için yaygın olarak kullanılıyordu, ancak GIF’lerin 2010’ların başlarında canlanması, düşük bant genişliği, hızlı animasyon içeriği sunma yeteneğine odaklandı (ironik olarak, animasyonlu PNG’ler hiçbir zaman popülerlik kazanmadı veya geniş destek görmedi ve 2019’da Twitter tarafından yasaklandı).

JPEG sıkıştırmasının eksikliklerine rağmen, hızlı, yer tasarruflu ve her tür sistemde derinlemesine gömülü olması nedeniyle, makine öğrenimi sahnesinden yakın zamanda tamamen kaybolması muhtemel görünmüyor.

AI/JPEG Uzlaşması En İyisini Yapmak

Makine öğrenimi topluluğu, JPEG sıkıştırmasının tuhaflıklarına kısmen uyum sağlamıştır: 2011’de Avrupa Radyoloji Topluluğu (ESR), “Radyolojik Görüntülemede Geri Dönüştürülemez Görüntü Sıkıştırmasının Kullanılabilirliği” üzerine bir çalışma yayınladı ve “kabul edilebilir” kaybı için rehberlik sundu; ünlü MNIST metin tanıma veri seti (orijinal olarak ikili bir formatta sunulan görüntü verisiyle) “normal” bir görüntü formatına dönüştürüldüğünde, JPEG, PNG değil, tercih edilen format olarak seçildi; ve bu makalenin yazarlarının daha önceki (2020) bir işbirliği, değişen JPEG görüntü kalitesinin eksikliklerine karşı makine öğrenimi sistemlerini kalibre etmek için ‘yeni bir mimari’ sundu – bu, yeni çalışmada kullanılan bir özellik.

Aslında, değişken JPEG kalitesine sahip veri kullanımının faydasına ilişkin araştırmalar, makine öğreniminde nispeten canlı bir alandır. Bir (ilgili olmayan) 2016 projesi, Maryland Üniversitesi’ndeki Otomasyon Araştırma Merkezi’nden, DCT alanını (JPEG hataları düşük kalite ayarlarında ortaya çıkar) derin özelliklerin çıkarılması için bir yol olarak ele alır; 2019’da bir başka proje, JPEG verilerini zaman alıcı bir şekilde açmak zorunda kalmadan bayt düzeyinde okumaya odaklanır; ve 2019’da Fransa’dan bir çalışma, nesne tanıma rutinleri hizmetinde JPEG sıkıştırmasını aktif olarak kullanır.

Testler ve Sonuçlar

En son çalışmaya dönersek, araştırmacılar, 10-90 arasında sıkıştırılmış görüntülerin JPEG anlaşılabilirliğini ve faydasını test etmeyi amaçladı (aşağıda bu değerlerin altında, görüntü imkansız derecede bozulur ve üstünde ise kayıpsız sıkıştırmaya eşit olur). Testlerde kullanılan görüntüler, her hedef kalite değerinde önceden sıkıştırıldı, bu da en az sekiz eğitim seansını gerektirir.

Modeller, dört yöntem boyunca stokastik gradient inişine göre eğitildi: temel, ek telafi olmadan; gözetimli ince ayar, eğitim setinin önceden eğitilmiş ağırlıklar ve etiketli verilerle avantajı (araştırmacılar, bu durumun tüketici düzeyindeki uygulamalarda yeniden üretilemeyeceğini kabul ediyor); hata düzeltme, eğitimden önce sıkıştırılmış görüntülere iyileştirme/augmantasyon uygulanması; ve hedefe yönelik hata düzeltme, hata düzeltme ağı, döndürülen hatalara göre ince ayarlanır.

Eğitim, çeşitli veri setleri üzerinde gerçekleşti, bunlar arasında birden fazla ResNet varyasyonu, FastRCNN, MobileNetV2, MaskRCNN ve Keras’in InceptionV3 bulunur.

Örnek kayıp sonuçları, hedefe yönelik hata düzeltme sonrasında görselleştirilir (daha düşük, daha iyi).

Çalışmadaki sonuçların ayrıntılarına derinlemesine girmek mümkün değildir, çünkü araştırmacıların bulguları, JPEG hatalarının değerlendirilmesi ve bunları hafifletmek için yeni yöntemler arasında bölünmüştür; eğitim, birçok veri seti üzerinde çoklu görevler için tekrarlanmıştır. Temel olarak, yeni rapor, multiple konulara hitap eden kapsamlı bir referans çalışması olarak kendini konumlandırıyor.

Bununla birlikte, makale, genel olarak, “JPEG sıkıştırmasının, ağır ila orta düzeyde sıkıştırma ayarları için tüm boardda önemli bir ceza olduğuna” hükmeder. Ayrıca, yeni, etiketsiz hafifletme stratejilerinin benzer yaklaşımlar arasında üstün sonuçlar elde ettiğini; karmaşık görevlerde, gözetimli yöntemin de benzerlerine göre daha iyi performans gösterdiğini (etkin bir şekilde, ground truth etiketlerine erişimi olmadan); ve bu yeni metodolojilerin model yeniden kullanımına izin verdiğini, çünkü elde edilen ağırlıkların görevler arasında transfer edilebileceğini belirtir.

Sınıflandırma görevleri açısından, makale, “JPEG’nin gradyan kalitesini bozar ve ayrıca lokalizasyon hatalarına neden olur” diye açıkça belirtir.

Araştırmacılar, gelecekteki çalışmalarını, JPEG 2000, WebP, HEIF ve BPG gibi diğer sıkıştırma yöntemlerini kapsayacak şekilde genişletmeyi umuyorlar. Ayrıca, metodolojilerinin video sıkıştırma algoritmalarına benzer araştırmalara uygulanabileceğini öneriyorlar.

Çalışmada, hedefe yönelik hata düzeltme yönteminin bu kadar başarılı olması nedeniyle, araştırmacılar, projede eğitilen ağırlıkları yayınlamayı planlıyorlar ve “[çoğu] uygulamanın, hiçbir değişiklik yapmadan TTAC ağırlıklarımızı kullanabileceğini” öngörüyorlar.

Not: Makaledeki kaynak görüntü thispersondoesnotexist.com’dan alınmıştır.