AI Değiştirmeden Önce Kameranızın Yakaladığı Görüntüyü Geri Getirmek

Bir ham fotoğraf, kameranın içinde zaten otomatik olarak AI ile işlenmişken onu AI müdahalesinden nasıl koruyabilirsiniz? Yeni bir araştırma, “gerçek” sensör verilerini geri yüklemeye çalışıyor – ve bunu da AI ile yapıyor!

AI görsellerinin yaklaşık son bir yılda giderek daha gerçekçi hale gelmesi, birçok grup ve bireyin fotoğrafçılıkta bundan kaynaklanan tepkiyi örgütlemesine ve güven erozyonuna karşı çıkmasına neden oldu.

Aynı dönemde, İçerik Kökeni ve Orijinallik Koalisyonu (C2PA) bir yarı-kriptografik standardı yayınlamaya çalıştı ve bu standart, bir görüntüye, desteklenen bir kamera veya cihaz tarafından yakalandığı anda meta veri tabanlı köken bilgisini ekliyor ve böylece bu “orijinal” resimler üzerinde daha sonra gerçekleştirilen üretken AI kullanımını ortaya çıkarmayı amaçlıyor:

C2PA sistemindeki köken şeması: çekim anında yazılan meta verilere bir günlük gibi eklemeler yapılabilir. Parlaklık ve kontrast gibi olağan ayarlamalara izin verilirken büyük değişiklikler kaydedilir; böylece AI ile büyük ölçüde değiştirilmiş bir görüntü, sistemi destekleyen medya kuruluşlarında bu niteliğiyle tanınır. Kaynak

Standartın benimsenmesi umulduğu kadar yaygın olmadı ve şu anda sadece 14 kamera kamera içinde orijinallik bilgisini yazıyor.

C2PA’nın bir fotoğrafa “pasaport” verme fikri ilginç, ancak bu fikir çok geç olabilir – çünkü kamera üreticileri artık AI işlemlerini kameranın içine yerleştiriyorlar:

2024 yılındaki ‘Kamera Çekilmiş Görüntülerin Piksel Düzeyinde Kimlik Doğrulamasını Savunma’ adlı makaleden: modern kamera boru hatlarının yakalama zamanında hayal edilen içeriği nasıl tanıttığını ve piksel düzeyinde kimlik doğrulama meta verilerinin bunu nasıl ortaya çıkardığını gösteren bir illüstrasyon. (A) bir akıllı telefon sensör görüntüsünü ISP işler, burada AI modülleri dijital zum veya pozlama düzeltmesi sırasında detaylar uydurabilir, gerçekçi görüntüler oluşturur ve hatalar gibi yanlış okunan plaka numaraları üretir. (B) bir kimlik doğrulama maskesi meta veri olarak gömülür ve daha sonra görüntünün üzerine bindirilerek özgün olmayan bölgeler ortaya çıkarılır; böylece kullanıcıların orijinal verileri AI tarafından değiştirilmiş piksellerden ayırt etmelerine olanak tanır. Kaynak

Aslında, kameranın sensöründen “ham” verilerin AI tarafından müdahale görmesi, sonunda hüküm süren süreç haline gelebilir.

Bu tür post-işleme, kamera içinde fotoğrafları değiştirme trendiyle aynı değildir, burada bir telefon uygulaması veya kamera uygulaması, fotoğrafı cihazdan indirmeden önce dilediğiniz gibi değiştirmenize olanak tanır.

Bunun yerine işleme, kameranın Görüntü Sinyal İşlemcisi (ISP) içindeki bir “kara kutu” rutininde, genellikle ham sensör verilerini göstermeyen veya erişime açmayan özel bir çalışma ortamında gerçekleşir. Üstelik sözde “saf” kamera RAW formatının da o kadar ham olmadığını unutmayın.

Dolayısıyla, fotoğrafı görebildiğiniz anda, zaten düşük ışık iyileştirmesi, çözünürlük artırma veya hatta ay değiştirme gibi AI destekli iyileştirmelere tabi tutulmuş olabilir.

Çoğu durumda, bu, metin gibi nesnelerin yanlış yeniden yapılandırılmasına yol açabilir, bu da böyle bir görüntünün kanıtlar için kullanılmasını geçersiz kılabilir, çünkü gerçek bir “ham” görüntü mevcut olmayacaktır:

Yeni makaleden – bir RAW sensör görüntüsünü, bir GenAI destekli ISP işler ve bir son sRGB çıktı üretir, bu daha net görünür ancak hayal edilen detaylar içerebilir, Örneğin, plaka karakterleri yanlış olarak dijital zum sırasında çıkarılır. Gerçek sahne, uygulamada erişilemez, hem AI geliştirilmiş çıktı hem de hallucinasyondan önce gelen ara orijinal görüntü ile farklıdır. Önerilen yaklaşım, bu pre-hallucinasyon görüntüsünün geri kazanılmasını sağlar, kameranın optiğinin orijinal olarak yakaladığı şeyi, AI tabanlı iyileştirmelerin içeriğini değiştirmeden önce geri yükler. Kaynak

Yukarıdaki örnekler, “doğrudan AI ile oluşturulmuş fotoğraflar” için bir çözüm sunan yeni bir araştırma makalesinden geliyor, alternatif AI süreçlerini kullanarak işlenmiş görüntüden tahmini ham ve saf görüntüyü yeniden oluşturuyor.

Yazarlar şöyle diyor:

‘AI modelleri, generatif veya algısal kayıplarla eğitildiğinde, ISP’lerde kullanılırlarsa, içeriği uydurmak için eğilimlidirler, bu da görüntünün anlamını değiştirebilir. Bunun anlamı, kameradan doğrudan çıkan görüntüler artık “sahte” içerik içerebilir, özellikle de AI-ISP modüllerinin artan bir şekilde benimsendiği akıllı telefon kameralarında.

‘Kamerada GenAI kullanımı, kamera görüntülerine nasıl baktığımız konusunda bir paradigma değişikliğini temsil eder ve kamera tarafından çekilen görüntülerin doğası gereği güvenilir olduğu şeklindeki geleneksel adli görüşü zorlar.’

Yeni çalışma, çok hafif bir kodlayıcı ve MLP dekoder kullanıyor, bu, görüntüye yalnızca 180kb’lik ek dosya boyutuyla dahil edilebilir. Hedef, orijinal görüntüyü gerçek zamanlı olarak yeniden çıkarmak için yeterince hızlı kodlama sistemlerinin geliştirilmesidir.

Yeni makaleden: kameranın ISP’sindeki GenAI tabanlı süper çözünürlük, yüz özelliklerini ince bir şekilde değiştirebilir, bakış veya ağız şekli değişiklikleri yoluyla görünümü veya algılanan kimliği değiştirebilir. Düşük ışık iyileştirme de benzer şekilde görüntü içeriğini değiştirebilir, görsel kalitesini iyileştirmesine rağmen yorumu etkileyebilir. QR kodu örneğinde, iyileştirme görüntüyü daha çekici hale getirir, ancak kodu okunamaz hale getirir. Yöntem, bu hallucinasyonlardan önce gelen orijinal görüntüyü geri kazanmayı sağlar, orijinal yüz detaylarını ve taranabilir bir QR kodu geri yükler.

Alternatif olarak, kamera üreticileri, kullanıcıların gerçekten dokunulmamış sensör dökümlerine erişmesine izin verebilir, ancak bu, muhtemelen sadece üst düzey ekipmana özgü kalacaktır. Mobil ve popüler tüketici alanında, maalesef, işlenmemiş fotoğraflara erişim, “niş” veya marjinal bir uğraş olarak kabul edilebilir.

Tüketici kameraları her zaman bazı post-işleme uygulamışlardır, ancak uç yapay zekânın ortaya çıkmasından önce, kullanılan algoritmalar minimal olarak “yorumlayıcı” idi ve bir fotoğrafın içeriğini aynı şekilde değiştirmeye eğilimli değildi.

İlginç bir şekilde, Samsung’un ay değiştirme politikası bazı yıllar önce kamu eleştirisine maruz kaldığı dikkate alındığında, Samsung’un Toronto’daki AI Merkezi, yeni çalışmanın katılımcılarından biridir ve bu çalışma, Kameraların GenAI Kullanımında Görüntü Orijinalliğini Ele Alma başlığını taşır ve Toronto Üniversitesi’nden beş araştırmacının katkıları ile liderlik edilmektedir.

Yöntem

Yazarlar, tasarımdan kaynaklanan görüntü bozulmasını doğrudan ele almış görünen tek diğer çalışmadan yararlanıyor: 2024 tarihli makale Kamera Çekilmiş Görüntülerin Piksel Düzeyinde Kimlik Doğrulamasını Savunma, bir “ikili kimlik doğrulama maskesi” önerdi, bu, kamera AI süreçleri tarafından değiştirilen alanları belirledi:

En sağda, 2024 makalesinin “kimlik doğrulama maskesi”, kameradaki AI “pürüzsüzleştirme” süreçleri tarafından etkilenen alanları gösterir.

Ancak, sistem, “gerçek” bir görüntüyü nasıl geri yükleyebileceğine dair bir yöntem sunmuyor, bu da yeni çalışmanın ele aldığı bir konudur ve daha önceki çalışmaya bir borcu olduğunu kabul ediyor.

Yeni çalışmanın amacı, kullanıcıların işlem yapılmadan önce sensörün yakaladığı görüntüye mümkün olduğunca yakın bir görüntüyü geri elde etmelerini sağlamaktır:

Önerilen yöntemin genel görünümü. (A) yakalama zamanında, ISP çıktı görüntüsünü, hallucinasyon içeren, dondurulmuş bir önceden eğitilmiş kodlayıcıdan geçirir ve onun örtük özelliklerini, uzaysal koordinatlarla birleştirir ve her piksel için non-hallucinasyonlu görüntüyü tahmin etmek için bir MLP’ye besler, eğitim, gerçek görüntüye karşı bir kayıp ile yönlendirilir. Kodlayıcı ve MLP ağırlıkları daha sonra görüntüye meta veri olarak kaydedilir. (B) çıkarım zamanında, bu ağırlıklar meta verilerden geri yüklenir ve kodlayıcı ve MLP ile non-hallucinasyonlu görüntüyü yeniden oluşturmak için kullanılır.

Yakalama zamanında, yeni yöntemde, işlenmiş görüntü, bir dondurulmuş kodlayıcıdan geçirilir ve bu, görüntüyü bir örtük temsil olarak dönüştürür. Daha sonra, ilgili uzaysal koordinatlar, bu özelliklerle birleştirilir ve her piksel için non-hallucinasyonlu görüntü içeriğini tahmin etmek için bir MLP’ye beslenir, eğitim, gerçek görüntüye karşı bir yeniden yapılandırma kaybı ile yönlendirilir.

Kodlayıcı ve dekoder, çift orijinal ve hallucinasyonlu görüntüler üzerinde önceden eğitilir, daha sonra her bir çekilen görüntü için hızlı bir şekilde ince ayarı yapılır ve bunların ağırlıkları meta veri olarak görüntüye kaydedilir, yalnızca küçük bir boyut cezası ekler.

Görüntü görüntülendiğinde, depolanan ağırlıklar çıkarılır ve aynı kodlayıcı ve MLP ile yeniden kullanılır, bu da, kamera sensörünün orijinal olarak yakaladığı şeyin yakın bir görüntüsünün geri yüklenmesini sağlar, yeni sentetik içerik eklenmeden.

Veri ve Testler

Yazarlar, iki yaygın ISP post-işleme görevini kullandılar: süper çözünürlük (SR, dahil zoomlu alanlar); ve düşük ışık fotoğrafçılığı.

Genel (“doğal görüntü”) SR test bölümü için, birçok örnek metin dahil edildi, çünkü ISP SR rutinleri, metni (örneğin, araba plaka numaraları, ancak yukarıda belirtilen örnekleri görün) değiştirdiği biliniyor. Metin bozulması, kendi başına bir sorun olarak ele alındı ve bu, SR testlerinin bir alt kümesi olarak ele alındı, özel veri ile:

Yukarıda belirtilen kodlayıcı, her iki mod için de eğitildi ve her biri, hangi AI ISP modülünün yakalama sırasında muhtemelen devreye gireceğine bağlı olarak seçildi (örneğin, bir “düşük ışık” modu, karanlık koşullarda).

Yazarlar, süper çözünürlük eğitimi için DIV2K veri kümesini kullandı, RealESRGAN ağı ile güçlendirildi. Yukarıda belirtilen 2024 çalışmasına benzer şekilde, araştırmacılar, etkilenmeyen ve hallucinasyonlu içeriği gösteren çift veri oluşturdular.

Metin SR bölümü için, yazarlar 2023 MARCONet metin SR modelini kullandı:

2023 MARCONet makalesinden: gerçek dünya düşük çözünürlüklü ve eşdeğer upscale metin örnekleri. Kaynak

Bu durumda, araştırmacılar, halüsinasyon içermeyen görüntüleri MARCONet’ten geçirdi. Projenin orijinal kodundan 2000 görüntü oluşturuldu, 200’ü doğrulama için ayrıldı, 200’ü test için:

Düşük ışık testleri için, LOw-Light (LOL) veri kümesi, 2018 tarihli bir Çin makalesinden alındı:

2018 Çin LOL veri kümesinden: aynı resimlerin farklı pozlama ve karanlık seviyelerinde örnekleri. Kaynak

Rakip Çerçeveler

Yöntemin değerlendirilmesi için, aynı koşullarda eğitilen üç belirli referans yöntemle karşılaştırmalar yapıldı. İlk olarak, SIREN ve NeRF, eşleştirilmiş gerçek ve halüsinasyonlu görüntülerle önceden eğitildi ve ardından çekim sırasında önerilen yaklaşımla aynı süre boyunca ince ayardan geçirildi, NeRF ile doğrudan bir karşılaştırma sunuyor:

İkincisi, hashgrid yönteminin Instant-NGP uygulaması temelinde öğrenilmiş bir kodlama kullanan bir MLP kullanıldı, hash tablo girişleri ve MLP ortak olarak optimize edildi:

Gömme boyutu ve ağ kapasitesi hedef kodlayıcı ve MLP ile eşleştirildi. Deneyler hem her görüntü için sıfırdan optimizasyonu hem de ön eğitim ardından ince ayarı kapsadı.

Üçüncüsü, 64MB boyutundaki NAFNet modeli kullanılarak meta verilere erişmeyen bir görüntüden görüntüye dönüşüm referansı uygulandı. Model, pikselden piksele bir regresyon sistemi olarak eğitildi.

Eğitimde, Adam optimizatörü, hem ön eğitim hem de fine-tuning için PyTorch üzerinde kullanıldı. Kodlayıcı ve MLP, 50.000 epoch için 32’lik bir toplu işleme boyutunda eğitildi, modalitye özgü kodlayıcılar her görev için eğitildi (örneğin, SR, metin-SR, düşük ışık).

Fine-tuning, yaklaşık üç saniye sürdü, 32GB VRAM ile bir NVIDIA V100 GPU’da: Yazarlar, hedef ortamın cihazda optimizasyon olduğunu not etti, ancak tüm çerçevelerin testlerini bu ortamda gerçekleştirmenin gerçekçi olmadığını belirtti ve bu nedenle tüm testler masaüstü ortamında gerçekleştirildi:

Metadata destekli MLP tabanlı temel karşılaştırmaları, SIREN, NeRF ve hash-grid yöntemi ile birlikte NAFNet kullanarak kör geri kazanım. Sonuçlar, üç görevde desibel cinsinden PSNR olarak bildirilir: DIV2K’de doğal görüntü süper çözünürlüğü; MARCONet’te metin süper çözünürlüğü; ve LOL’de düşük ışık iyileştirme, önerilen yöntemin her durumda en yüksek puanları elde ettiği görülüyor.

MLP tabanlı yaklaşımlar için, performans, girdi temsiline bağlı olarak büyük ölçüde değişiyordu, burada yalnızca uzaysal koordinatları kullanan modeller, ön eğitim sırasında mücadele etti ve sınırlı fine-tuning aşamasında iyileşmedi. Renk bilgisi eklenmesi daha güçlü sonuçlara yol açtı.

NAFNet kullanılarak kör geri kazanım, DIV2K’de iyi performans gösterdi, burada bozulmuş ve temiz görüntüler arasındaki eşleme nispeten sabitti, ancak MARCONet ve LOL’de, birden fazla olası yeniden yapılandırma olduğu ve modelin bu belirsizliği çözmek için gerekli bilgiye sahip olmadığı için bozuldu.

Bu etki, düşük ışık iyileştirme için en belirgindi, burada sahnenin orijinal parlaklığı, yalnızca işlenmiş görüntüden güvenilir bir şekilde çıkarılamadı.

Yazarlar şöyle diyor:

‘Sentetik MARCONet verisinde, farklı bulanıklık düzeylerine sahip görüntüler aynı halüsinasyonlu görüntüye eşlenir. Sonuçlardan da görülebileceği gibi, önerilen yaklaşım tüm veri kümeleri boyunca rakiplerini geride bırakıyor.’

Yukarıdaki karşılaştırmada, farklı yöntemlerin, bir fotoğraf çekildiğinde ne kadar süre çalıştırıldıklarına bağlı olarak nasıl performans gösterdiklerini görebiliriz. Bir modeli her görüntü için sıfırdan eğitmek güçlü sonuçlar üretebilir, SIREN, NeRF ve hash-grid ile görüldüğü gibi – ancak bu, bir kamera içinde pratik değildir.

Bunun yerine, yazarların yöntemi, çoğu işi önceden yapar ve yakalama zamanında hızlı bir ayar yapar, bu da sınırlı zaman limitleri içinde (3, 5 veya on saniye) daha iyi sonuçlar elde etmesini sağlar.

Metadata destekli MLP tabanlı temel karşılaştırmaları, SIREN, NeRF ve hash-grid yöntemi ile birlikte NAFNet kullanarak kör geri kazanım. Sonuçlar üç görev için desibel cinsinden PSNR olarak bildirilir: DIV2K üzerinde doğal görüntü süper çözünürlüğü, MARCONet üzerinde metin süper çözünürlüğü ve LOL üzerinde düşük ışık iyileştirmesi. Önerilen yöntem her durumda en yüksek puanları elde eder. Lütfen daha iyi bir çözünürlük için kaynak makaleye bakınız.

Yukarıda, DIV2K’de nitel sonuçlar gösteriliyor, burada iyileştirme yöntemleri görünür hallucinasyonlar tanıttı. Bir GAN tabanlı süper çözünürlük modeli, göz rengini değiştirdi ve kör geri kazanım, orijinal görüntüyü yeniden oluşturmakta zorluk çekti. NeRF ve hash-grid, yapısal bölgelerde (pencereler ve metin gibi) artefaktlar üretti, oysa önerilen yöntem orijinal görüntüye daha yakın bir eşleşme sağladı.

Son olarak, yukarıdaki resimde, LOL veri kümesindeki sonuçlar gösteriliyor, parlaklık görselleştirme için ölçeklendirildi.

Kör geri kazanım, bilinmeyen parlaklık ölçeğini çözemedi, oysa önerilen yöntem, dokuları daha iyi yeniden oluşturdu ve değiştirilen karakterleri, ‘1’i ‘i’ ye geri dönüştürerek, artefakt eklemeksizin düzeltti.

Sonuç

“Kamera asla yalan söylemez” iddiası muhtemelen savunulamaz; geçmişte de savunulabilir değildi. Neyin ne zaman fotoğraflanacağına ve nasıl sunulup bağlama yerleştirileceğine ilişkin her karar, özünde siyasi veya toplumsal bir karardır.

Eski post-işleme yöntemleri, dodging ve burning (uzun süredir Photoshop araçlarına aktarıldı) gibi, yüksek derecede öznel kararlar ve tercihlerdir.

Ancak, bu, en azından “nesnel” görüntü yakalamaya yönelik hedefi terk etmek için bir neden değildir; ve ortalama bir tüketicinin, bazı zorluklarla karşılaşsa da, çektiği fotoğrafların “ham” sensör dökümlerine erişmesine izin verilmesi makul görünüyor; ya da en azından, tercihine göre ISP sonrası işlemeyi AI içermeyen algoritmalarla sınırlamasına izin verilmesi gerekir.

İlk olarak Cuma, 24 Nisan 2026’da yayımlandı