JPEG AI Gerçek ve Sentetik Arasındaki Sınırı Bulanıklaştırıyor

Şubat ayında, JPEG AI uluslararası standardı birkaç yıl süren makine öğrenimi tekniklerini kullanarak daha küçük ve daha kolay iletilen ve depolanan bir görüntü kodeki oluşturmak amacıyla yayınlandı ve bu, algısal kalitede bir kayba neden olmadı.

JPEG AI’nin resmi yayın akışından, Piksel Sinyal-Gürültü Oranı (PSNR) ile JPEG AI’nin ML-augmented yaklaşımı arasındaki karşılaştırma. Kaynak: https://jpeg.org/jpegai/documentation.html

Bu gelişmenin neden az sayıda başlıkta yer aldığından biri, bu duyurunun temel PDF’lerinin (ironik olarak) ücretsiz erişim portalları gibi Arxiv’de bulunmamasıdır. Bununla birlikte, Arxiv zaten JPEG AI’nin çeşitli yönlerini inceleyen bir dizi çalışmayı sunmuştu, bunların arasında yöntemin alışılmadık sıkıştırma kalıntıları ve adli tıp için önemi de vardı.

Bir çalışmada, daha önceki bir JPEG AI taslağı da dahil olmak üzere sıkıştırma kalıntıları karşılaştırıldı ve yeni yöntemin metinleri bulanıklaştırma eğiliminde olduğu bulundu. Kaynak: https://arxiv.org/pdf/2411.06810

Çünkü JPEG AI, sentetik görüntü üreticilerinin kalıntılarına benzeyen şekilde görüntüleri değiştirir, mevcut adli tıp araçları gerçek ve sahte görüntüleri ayırt etmekte zorlanıyor:

Mart 2025’te yayınlanan bir makaleye göre, JPEG AI sıkıştırması之后, en gelişmiş algoritmalar artık yerellemeye haritalama中的 gerçek içeriği manipüle edilmiş bölgelerden güvenilir bir şekilde ayırt edemez. Kaynak: https://arxiv.org/pdf/2412.03261

Bunun bir nedeni, JPEG AI’nin, adli tıp araçlarının tespit etmeye çalıştığı generatif sistemlere benzer bir model mimarisi kullanmasıdır:

Yeni bir makale, AI destekli görüntü sıkıştırma ve gerçek AI tarafından üretilen görüntüler arasındaki metodolojik benzerliği gösteriyor. Kaynak: https://arxiv.org/pdf/2504.03191

Bu nedenle, her iki model de bazı benzer altta yatan görsel özellikler üretebilir, adli tıp açısından bakıldığında.

Quantization

Bu çakışma, her iki mimariye de ortak olan quantization nedeniyle ortaya çıkar ve bu, makine öğreniminde sürekli verileri ayrık veri noktalarına dönüştürme yöntemi olarak ve ayrıca eğitilmiş bir modelin dosya boyutunu önemli ölçüde azaltabilen bir optimizasyon tekniği olarak kullanılır (resim sentezleme meraklıları, resmi bir model sürümünün yerel donanımda çalışabilen topluluk tarafından oluşturulan bir quantized sürümünün çıkması arasındaki bekleme süresini bilir).

Bu bağlamda, quantization, görüntünün latent temsilinin sürekli değerlerinin sabit, ayrık adımlara dönüştürülmesi sürecini ifade eder. JPEG AI, görüntüyü depolamak veya iletmek için gereken veri miktarını azaltmak amacıyla bu süreci kullanır ve internal numerik temsilini basitleştirir.

Quantization, kodlamayı daha verimli hale getirse de, aynı zamanda generatif modellerin bıraktığı kalıntılara benzeyen yapısal regularities uygular – algıdan kaçmak için yeterli ince, ancak adli tıp araçlarını bozmak için yeterli.

Buna karşılık, yeni bir çalışma titled Three Forensic Cues for JPEG AI Images, JPEG AI sıkıştırmasını tespit etmek, bir görüntünün yeniden sıkıştırılıp sıkıştırılmadığını belirlemek ve sıkıştırılmış gerçek görüntüleri tamamen AI tarafından üretilen görüntülerden ayırt etmek için yorumlanabilir, non-neural teknikler önerir.

Yöntem

Renk Korelasyonu

Makale, JPEG AI görüntüleri için üç ‘adli ipucu’ önerir: renk kanalı korelasyonu, JPEG AI’nin ön işleme adımları sırasında tanımlanan; görüntü kalitesindeki ölçülebilir bozulmalar, tekrarlanan sıkıştırmalar boyunca görüntüyü ortaya çıkaran yeniden sıkıştırma olaylarını ortaya çıkaran; ve latent-uzay quantization desenleri, sıkıştırılmış gerçek görüntüleri AI modelleri tarafından üretilen görüntülerden ayırmaya yardımcı olan.

Renk korelasyonu tabanlı yaklaşım ile ilgili olarak, JPEG AI’nin ön işleme pipeline’sı, görüntünün renk kanalları arasında istatistiksel bağımlılıklar oluşturur, bu da bir adli ipucu olarak hizmet verebilecek bir imza oluşturur.

JPEG AI, RGB görüntülerini YUV renk uzayına dönüştürür ve 4:2:0 kroma alt örnekleme gerçekleştirir, bu da sıkıştırma öncesi krominance kanallarının aşağı örneklenmesini içerir. Bu işlem, kırmızı, yeşil ve mavi kanalların yüksek frekanslı artıkları arasında ince korelasyonlara yol açar – bunlar, sıkıştırılmamış görüntülerde mevcut değildir ve geleneksel JPEG sıkıştırması veya sentetik görüntü üreticileri tarafından üretilenlerden farklıdır.

JPEG AI sıkıştırmasının görüntülerdeki renk korelasyonlarını nasıl değiştirdiğini gösteren bir karşılaştırma.

Üstte, makaleden bir karşılaştırma görüyoruz, JPEG AI sıkıştırmasının görüntülerdeki renk korelasyonlarını nasıl değiştirdiğini gösteriyor, kırmızı kanalı bir örnek olarak kullanıyor.

Panel A, sıkıştırılmamış görüntüleri JPEG AI sıkıştırılmış görüntülerle karşılaştırıyor ve sıkıştırmanın inter-kanal korelasyonunu önemli ölçüde artırdığını gösteriyor; panel B, yalnızca renk dönüşümü ve alt örnekleme effectini izole ediyor ve bu adımın da korelasyonu önemli ölçüde artırdığını gösteriyor; panel C, geleneksel JPEG sıkıştırmasının da korelasyonu biraz artırdığını, ancak aynı düzeyde olmadığını gösteriyor; ve panel D, sentetik görüntüleri inceliyor ve Midjourney-V5 ve Firefly’nin moderate korelasyon artışları sergilediğini, diğerlerinin ise sıkıştırılmamış seviyelere daha yakın kaldığını gösteriyor.

Hız-Karışıklık

Hız-karışıklık ipucu, görüntü kalitesinin, Piksel Sinyal-Gürültü Oranı (PSNR) ile ölçülerek, tekrarlanan sıkıştırmalar boyunca nasıl bir desen içinde azaldığını takip ederek JPEG AI yeniden sıkıştırmasını tespit eder.

Araştırma, JPEG AI ile bir görüntüyü tekrar tekrar sıkıştırmak, her sıkıştırma geçişinde dần dần daha küçük, ancak masih ölçülebilir, görüntü kalitesi kayıplarına yol açar, bu da yeniden sıkıştırma olaylarını tespit etmek için bir adli ipucu oluşturur.

Geleneksel JPEG’den farklı olarak, burada earlier yöntemler spesifik görüntü bloklarındaki değişiklikleri izler, JPEG AI’nin nöral sıkıştırma mimarisi nedeniyle farklı bir yaklaşım gerekir; bu nedenle yazarlar, her sıkıştırma geçişinde hem bitrate hem de PSNR’nin nasıl değiştiğini izlemeyi önerir. Her sıkıştırma turu, bir öncekinden daha az değişiklik yapar ve bu azalan değişiklik (bitrate’ye karşı grafikleştirildiğinde) bir görüntünün birden fazla sıkıştırma aşamasından geçip geçmediğini ortaya koyabilir:

Farklı kodekler boyunca tekrarlanan sıkıştırmanın görüntü kalitesini nasıl etkilediğini gösteren bir illüstrasyon.

Üstteki resimde, farklı kodekler boyunca tekrarlanan sıkıştırmanın görüntü kalitesini nasıl etkilediğini gösteren bir grafik görüyoruz; JPEG AI ve bir nöral codec, her ek sıkıştırma ile PSNR’de sürekli bir azalma gösterir, düşük bit oranlarında bile. Buna karşılık, geleneksel JPEG sıkıştırması, yüksek bit oranlarında değilse, birden fazla sıkıştırma boyunca nispeten稳il bir kalite gösterir. Bu davranış, AI tabanlı kodeklerde yeniden sıkıştırmadan kaynaklanan ölçülebilir bir iz oluşturur.

Tekrarlanan sıkıştırma turundaki bitrate ve görüntü kalitesinin nasıl değiştiğini analiz ederek, yazarlar, bir görüntünün yeniden sıkıştırılıp sıkıştırılmadığını belirlemek için bir adli ipucu oluşturdu. Bu hız-karışıklık özellikleri, geleneksel piksel tabanlı yöntemlerin kolayca erişemediği metriklere erişim sağlar.

Quantization

Önceki gibi, JPEG AI’nin sentetik görüntülere görsel benzerliği, bir zorlu adli sorun oluşturur. Her iki sistem de, sıkıştırılmış bir latent uzayda görüntü işleyen kodlayıcı-dekodlayıcı mimarilerini kullanır ve genellikle upsampling kalıntıları bırakır.

Bu paylaşılan özellikler dedektörleri karıştırabilir – hatta JPEG AI görüntülerine yeniden eğitilenler bile. Ancak, bir ana yapısal fark kalır: JPEG AI, verimli sıkıştırmaya reasonu olarak latent değerleri ayrık seviyelere yuvarlar, oysa ki generatif modeller genellikle bunu yapmaz.

Yeni makale, bu farklılığa dayanarak, JPEG AI sıkıştırmalı görüntüleri tamamen sentetik olanlardan ayırt etmek için bir adli ipucu tasarlar. Yöntem, bir görüntünün latent temsilinin yuvarlama karşısındaki tepkisini analiz eder, varsayımla eğer bir görüntü zaten quantize edilmişse, latent yapısı yuvarlanmış değerlerle ölçülebilir bir hizalama gösterecektir.

Bu desenler, gözle görünmez olsa da, sıkıştırılmış gerçek görüntüleri tamamen sentetik olanlardan ayırmaya yardımcı olan istatistiksel farklılıklar oluşturur.

Ortalama Fourier spektrumları, hem JPEG AI sıkıştırılmış görüntülerin hem de Midjourney-V5 ve Stable Diffusion XL gibi difüzyon modelleri tarafından üretilen görüntülerin, upsampling ile ilgili olduğu bilinen regular grid-like desenleri frekans alanında sergilediğini gösterir.

Önemlisi, yazarlar bu ipucunun farklı generatif modellerde etkili olduğunu ve hatta sıkıştırmaların latent uzayının bazı bölümlerini sıfıra indirgeyecek kadar güçlü olduğu durumlarda bile etkili kaldığını gösterirler. Buna karşılık, sentetik görüntüler bu yuvarlama testine çok daha zayıf tepki verir, bu da iki tür arasında pratik bir ayrım sağlar.

Sonuç, sıkıştırma ve üretime arasındaki temel farka odaklanan, hafif ve yorumlanabilir bir araç olarak tasarlanmıştır, yüzey özelliklerine değil.

Veri ve Testler

Sıkıştırma

Yazarlar, renk korelasyon ipucunun JPEG AI sıkıştırmayı güvenilir bir şekilde tespit edip edemeyeceğini değerlendirmek için, RAISE verisetindeki yüksek kaliteli sıkıştırılmamış görüntüleri çeşitli bit oranlarında sıkıştırdılar ve JPEG AI referans uygulamasını kullandılar.

Bir rastgele orman modelini, özellikle her kanalın artıklarının diğerleriyle nasıl hizalandığını gösteren istatistiksel desenlere dayalı olarak eğittiler ve bunu, görüntü piksellerine doğrudan eğitilen bir ResNet50 sinir ağıyla karşılaştırdılar.

Farklı bit oranlarında renk korelasyon özelliklerini kullanarak JPEG AI sıkıştırmayı tespit etme doğruluğu.

ResNet50, test verilerinin eğitim koşullarına yakın olduğu durumlarda daha yüksek doğruluk elde etti, ancak farklı sıkıştırma seviyelerine genellemekte zorluk çekti. Korelasyon tabanlı yaklaşım, daha basit olmasına rağmen, bit oranları boyunca daha tutarlıydı, özellikle de JPEG AI’nin ön işlemenin daha güçlü bir etkiye sahip olduğu düşük sıkıştırma oranlarında.

Bu sonuçlar, derin öğrenme olmadan bile, istatistiksel ipuçlarını kullanarak JPEG AI sıkıştırmayı tespit etmenin mümkün olduğunu gösteriyor.

Yeniden Sıkıştırma

Yazarlar, JPEG AI yeniden sıkıştırmayı güvenilir bir şekilde tespit edip edemeyeceğini değerlendirmek için, farklı bit oranlarında sıkıştırılmış bir dizi görüntüyü test ettiler – bazıları sadece bir kez ve diğerleri JPEG AI ile ikinci kez sıkıştırıldı.

Bu yöntem, 17 boyutlu bir özellikler vektörünü çıkarmayı içeriyordu, bu da görüntünün bitrate ve PSNR’nin üç sıkıştırma geçişi boyunca nasıl değiştiğini izliyordu. Bu özellik kümesi, her adımda nasıl bir kalite kaybı yaşandığını ve latent ve hiper önsel oranlarının nasıl davrandığını yakaladı – geleneksel piksel tabanlı yöntemlerin kolayca erişemediği metriklere erişim sağlar.

Araştırmacılar, bu özelliklere dayalı olarak bir rastgele orman modeli eğittiler ve performansını, görüntü parçalarına eğitilen bir ResNet50 modeliyle karşılaştırdılar:

Hız-karışıklık özelliklerine dayalı olarak bir JPEG AI görüntüsünün yeniden sıkıştırıldığını sınıflandırma doğruluğu.

Rastgele orman modeli, ilk sıkıştırmanın güçlü olduğu durumlarda (yani, düşük bit oranlarında) özellikle etkiliydi, tek ve çift sıkıştırılmış görüntüler arasında net farklılıklar ortaya koydu. Önceki ipucu gibi, ResNet50 modeli genellemekte zorluk çekti, özellikle de eğitim sırasında görmediği sıkıştırma seviyelerinde.

Hız-karışıklık özellikleri, geniş bir senaryo yelpazesi boyunca istikrarlı kaldı. Önemlisi, bu yaklaşımın JPEG AI’nin ötesinde, başka bir AI tabanlı kodekte de genellemesi anlamına geliyordu.

JPEG AI ve Sentetik Görüntüler

Son test turu için, yazarlar, quantization tabanlı özelliklerinin JPEG AI sıkıştırılmış görüntüleri ve Midjourney, Stable Diffusion, DALL-E 2, Glide ve Adobe Firefly gibi modeller tarafından üretilen tamamen sentetik görüntüler arasında ayrım yapabileceğini test etti.

Bunun için, Synthbuster verisetinin bir alt kümesini kullandılar, RAISE veritabanından gerçek fotoğrafları, çeşitli difüzyon ve GAN tabanlı modellerle üretilen görüntülerle birleştirdiler.

Synthbuster’dan sentetik görüntülerin örnekleri. Kaynak: https://ieeexplore.ieee.org/document/10334046

Gerçek görüntüler, çeşitli bit oranlarında JPEG AI ile sıkıştırıldı ve sınıflandırma, ya JPEG AI’ye karşı belirli bir üretici ya da belirli bir bit oranı karşı Stable Diffusion XL olarak tanımlanıyordu.

Quantization özellikleri (latent temsilinden çıkarılan korelasyonlar), sabit bir 256×256 bölgeden hesaplandı ve bir rastgele orman sınıflandırıcıya beslendi. Karşılaştırma olarak, aynı verilerden piksel parçalarına eğitilen bir ResNet50 modeli kullanıldı.

Quantization özelliklerini kullanarak JPEG AI sıkıştırılmış görüntüleri sentetik görüntülerden ayırt etme sınıflandırma doğruluğu.

Çoğu durumda, quantization tabanlı yaklaşım, özellikle düşük bit oranlarında sıkıştırma kalıntıları daha güçlü olduğunda, ResNet50 modelini aştı.

Yazarlar şöyle diyor:

‘Referans ResNet50, Glide görüntülerinde %66,1’lik bir doğrulukla en iyi performansı gösterir, ancak diğer durumlarda daha kötü genellemeye sahiptir. Quantization özellikleri, sıkıştırma güçleri ve üretici türleri boyunca iyi bir genellemeye sahiptir.

‘Quantization’a tabi tutulan katsayıların öneminin, sınırlı [özelliklerin] saygın performansında görüldüğü gibi, birçok durumda ResNet50 sınıflandırıcıya benzer bir performans sergilediği gösterildi.

‘Ancak, tam tampon vektörünü kullanan quantization özellikleri, hala daha iyi bir performans sergiliyor. Bu sonuçlar, quantization sonrasında sıfıra quantize edilen katsayıların, AI-sıkıştırılmış ve AI-üretimli görüntüleri ayırt etmede önemli bir ipucu olduğunu doğruluyor.

‘Bununla birlikte, aynı zamanda diğer faktörlerin de katkıda bulunabileceğini gösteriyor. JPEG AI için tam vektörün doğruluğu, tüm bit oranları için %91,0’ın üzerindedir ve daha güçlü sıkıştırma, daha yüksek doğruluklara yol açar.’

UMAP kullanarak özellik uzayının bir projeksiyonu, JPEG AI ve sentetik görüntüler arasında net bir ayrım gösterdi, düşük bit oranları sınıflar arasındaki mesafeyi artırdı. Glide, görüntülerinin farklı bir şekilde kümelendiği ve test edilen tüm üreticiler arasında en düşük tespit doğruluğuna sahip olduğu için tutarlı bir aykırı olarak kaldı.

Quantization özelliklerine dayalı olarak JPEG AI sıkıştırılmış ve sentetik görüntülerin iki boyutlu UMAP görselleştirilmesi.

Son olarak, yazarlar, bu özelliklerin tipik post-işlemler altında, örneğin JPEG yeniden sıkıştırması veya görüntü yeniden boyutlandırması altında nasıl dayanıklılık gösterdiğini değerlendirdiler. Performans, daha ağır işlemler altında düşse de, düşüş gradual oldu, bu da yaklaşımın bozulmuş koşullar altında bile bazı dayanıklılığa sahip olduğunu gösterdi.

Quantization özelliklerinin post-işlem altında dayanıklılığını değerlendirme.

Sonuç

JPEG AI’nin geniş bir şekilde benimsenmesi garantisi yok. Birincisi, herhangi bir yeni kodek için already mevcut altyapı borcu, benimseme üzerinde sürtünme oluşturabilir; ve hatta bir ‘geleneksel’ kodek, AV1 gibi, fine bir geçmişe ve değerine ilişkin geniş bir uzlaşma ile, kurulu yöntemleri yerinden etmek için zor bir zaman geçirebilir.

JPEG AI’nin potansiyel olarak AI üreticileri ile olan çatışmasıyla ilgili olarak, mevcut AI görüntü dedektörlerinin yardımına gelen karakteristik quantization kalıntıları, gelecekteki sistemlerde azaltılabilir veya yerini farklı izler alabilir (AI üreticilerinin her zaman adli ipuçları bıraktığı kesin değildir).

Bu, JPEG AI’nin kendi quantization özelliklerinin, belki de bu makalede tanımlanan diğer ipuçları ile birlikte, gelecekteki en etkili yeni generatif AI sistemlerinin adli izi ile çarpışmayabileceği anlamına gelir.

Eğer jedoch JPEG AI, gerçek ve üretilen görüntüler arasındaki ayrımı önemli ölçüde bulanıklaştıran bir ‘AI yıkama’ olarak çalışmaya devam ederse, benimseme için ikna edici bir durum yapmak zor olacaktır.

İlk olarak 8 Nisan 2025 Salı günü yayınlandı