Anderson’un Açısı
Derin Öğrenme Modelleri AI Tarafından Oluşturulan Görüntüleri Tanımakta Zorlanabilir

Öne çıkan noktalarYapay zeka modelleri, sentetik görseller üzerinde gerçek görsellere kıyasla çok daha…
Daha fazla göster
- Yapay zeka modelleri, sentetik görseller üzerinde gerçek görsellere kıyasla çok daha düşük performans gösteriyor; bu durum gelecekteki veri kalitesini riske atıyor.
- Sentetik görseller, etiketlenmemiş şekilde eğitim veri setlerine akın ettikçe model doğruluğunu düşürebilir.
- Test edilen tüm nesne tanıma modelleri, belirli yapay zeka üretimi kategorilerde aynı hata örüntülerini sergiledi.
Yeni bir makaleden elde edilen bulgular, son teknoloji AI’nin, insanların yapabildiği gibi, AI-sentezlenmiş görüntüleri tanımakta ve yorumlamakta önemli ölçüde daha az yetenekli olduğunu gösteriyor. Bu, makine öğrenimi modellerinin giderek daha fazla sentetik veri üzerinde eğitildiği bir ortamda endişe verici olabilir ve verilerin “gerçek” olup olmadığı her zaman bilinmeyebilir.

Burada resnext101_32x8d_wsl tahmin modelinin ‘bagel’ kategorisinde zorlandığını görüyoruz. Testlerde, temel hedef kelimenin (bu durumda ‘bagel’) ilk beş tahmin edilen sonuçta yer almadığı durumlarda bir tanıma hatası meydana geldiği kabul edildi. Kaynak: https://arxiv.org/pdf/2208.10760.pdf
Araştırma, iki tür bilgisayar görüşü tabanlı tanıma çerçevesini test etti: nesne tanıma ve görsel soru yanıtlama (VQA).

Sol tarafta, bir nesne tanıma sisteminden başarılar ve hatalar; sağ tarafta, AI’nin sahne ve görüntüleri daha keşfedici ve önemli bir şekilde anlamasını araştıran VQA görevleri. Kaynaklar: https://arxiv.org/pdf/2105.05312.pdf ve https://arxiv.org/pdf/1505.00468.pdf
On son teknoloji model, DALL-E 2 ve Midjourney görüntü sentezleme çerçevelerinin ürettiği seçilmiş veri kümelerinde test edildi. En iyi performans gösteren model, yalnızca %60 ve %80’lik bir top-5 doğruluk oranına ulaşabildi, oysa ImageNet, gerçek dünya verisi üzerinde %91 ve %99’luk bir doğruluk oranına ulaşabiliyor. İnsan performansı genellikle çok daha yüksektir.
Makale, dağılım kayması (diğer adıyla model kayması) konularını ele alıyor; burada tahmin modelleri, eğitim verisinden “gerçek” veriye geçtiğinde öngörme kapasitelerini kaybederler.
‘İnsanlar sentezlenen görüntüleri tanıyabiliyor ve onlarla ilgili soruları kolayca cevaplayabiliyor. Sonuç olarak, derin modellerin sentezlenen içeriği anlamakta zorlandıkları ve fine-tuning sonrasında daha iyi performans gösterebilecekleri sonucuna varıyoruz ve sentezlenen görüntüler ile gerçek fotoğraflar arasında büyük bir dağıtım kayması olduğunu düşünüyoruz. Dağıtım kayması kategoriden kategoriye değişiyor gibi görünüyor.’
Geçen hafta güçlü gizil difüzyon sentezleme modeli sansasyonel biçimde açık kaynaklı hale getirilen Stable Diffusion sayesinde sentetik görüntüler interneti şimdiden dolduruyor. Bu da, endüstri standardı veri setleri gibi Common Crawl gibi veri setlerine “sahte” görüntülerin girmesi sonucu, yıllar içinde doğruluk oranlarında önemli değişikliklere neden olabilir.
Sentetik veri, çok büyük ölçekte veri seçmek ve düzenlemek için kaynak ve bütçesi yetersiz olan, veri açlığı çeken bilgisayarlı görü araştırmalarının olası kurtarıcısı olarak övülmüş olsa da, yeni Stable Diffusion görüntüleri seli ve ticarileşmesinden bu yana DALL-E 2 ile artan sentetik görüntülerin tamamının, makineli görü sistemleri bunları internetten toplarken sahte olduklarını belirten etiket, açıklama ve hashtag taşıması olası değildir.
Görüntü sentezleme framework’lerinin geliştirme hızı, bu görüntüleri kategorilere ayırma yeteneğimizi geride bıraktı. Bu nedenle sahte görüntü algılama sistemlerine ilgi artıyor. Bunlar deepfake algılama sistemlerine benziyor, ancak yüz bölümleri yerine tüm görüntüyü değerlendirmekle görevliler.
Yeni makale, Derin Modeller Oluşturulan Görüntüleri Anlamakta Ne Kadar İyi? başlığını taşıyor ve San Francisco merkezli makine öğrenimi şirketi Quintic AI’den Ali Borji tarafından yazılmıştır.
Veri
Çalışma, Stable Diffusion sürümünden önce yapıldı ve DALL-E 2 ve Midjourney tarafından oluşturulan verilerin 17 kategorisi üzerinde deneyler içeriyor. Bu kategoriler arasında fil, mantar, pizza, pretzel, traktör ve tavşan bulunuyor.

Test edilen tanıma ve VQA sistemlerinin en önemli ana kavramı belirlemeye çalıştığı görüntülerden örnekler.
Görüntüler web aramaları ve Twitter üzerinden elde edildi ve DALL-E 2’nin politikalarına (en azından o dönemdeki) uygun olarak, insan yüzleri içeren hiçbir görüntü kullanılmadı. Sadece iyi kaliteli, insanlar tarafından tanınabilen görüntüler seçildi.
Nesne tanıma ve VQA görevleri için iki ayrı görüntü kümesi oluşturuldu.

Nesne tanıma için her kategorideki görüntü sayısı.
Nesne Tanıma Testi
Nesne tanıma testleri için, ImageNet üzerinde eğitilmiş 10 model test edildi: AlexNet, ResNet152, MobileNetV2, DenseNet, ResNext, GoogleNet, ResNet101, Inception_V3, Deit ve ResNext_WSL.
Bazı sınıflar daha granülardı ve ortalama yaklaşımların uygulanması gerekiyordu. Örneğin, ImageNet’te “saat” ile ilgili üç sınıf vardı ve bir tür saatın ilk beş tahmin edilen etiket arasında yer alması durumunda bir başarı olarak kabul edildi.

17 kategoride her modelin performansı.
En iyi performans gösteren model, resnext101_32x8d_ws idi ve yaklaşık %60’lık bir top-1 (yani, beş tahminin en önceliklisi görüntüdeki doğru kavram olduğunda) ve %80’lik bir top-5 (yani, doğru kavramın ilk beş tahmin edilen etiket arasında yer alması) başarı oranına ulaştı.
Yazar, bu modelin iyi performansının, sosyal medya platformlarında hashtag’lerin zayıf olarak denetlenen tahmininde eğitilmiş olmasından kaynaklandığını düşünüyor. Ancak, bu lider sonuçlar, ImageNet’in gerçek verilerde elde ettiği %91 ve %99’luk başarı oranlarının oldukça altında kalıyor. Yazar, bunun, internetten de toplanan ImageNet görüntülerinin dağılımı ile sentezlenen görüntülerin dağılımı arasındaki büyük farklılıktan kaynaklandığını düşünüyor.
Sistem için en zor beş kategori, sırasıyla, uçurtma, kaplumbağa, sincap, güneş gözlüğü ve kask oldu. Makale, uçurtma sınıfının sık sık balon, paraşüt ve şemsiye ile karıştırıldığını, ancak bu ayrımların insan gözlemcileri için çok kolay olduğunu belirtiyor.
Bazı kategoriler, örneğin uçurtma ve kaplumbağa, tüm modellerde evrensel bir başarısızlığa neden olurken, diğerleri (özellikle pretzel ve traktör) tüm test edilen modellerde neredeyse evrensel bir başarıya yol açtı.

Polarize eden kategoriler: bazı hedef kategoriler ya tüm modelleri yanılttı ya da tüm modeller için oldukça kolaydı.
Yazar, bu bulguların, tüm nesne tanıma modellerinin benzer güçlere ve zayıflıklara sahip olabileceğini gösterdiğini düşünüyor.
Görsel Soru Yanıtlama Testi
Sonraki olarak, yazar, açık uçlu ve serbest VQA ile birlikte ikili soruları (yani, yalnızca “evet” veya “hayır” cevabına sahip sorular) test etti. Makale, son teknoloji VQA modellerinin VQA-v2 veri kümesinde %95’lik bir doğruluk oranına ulaşabildiğini belirtiyor.
Test için 50 görüntü seçilip düzenlendi ve bunlar hakkında 241 soru oluşturuldu. 132 soru pozitif, 109 soru negatifti. Ortalama soru uzunluğu 5.12 kelimeydi.
Bu turda OFA kullanıldı. Görev ve modaliteden bağımsız bu çerçeve, görevleri anlamayı test eder ve yakın zamanda VQA-v2 test-std kümesinde en yüksek puanı elde etmiştir. OFA, sentezlenen görüntülerde %77.27’lik bir doğruluk oranına ulaştı, bu da kendi VQA-v2 test-std setindeki %94.7’lik puanının oldukça altında kaldı.
Yazar, nedenin bir bölümünün üretilen görüntülerin VQA-v2 veri kümesinde olmayan anlamsal kavramlar içermesi olabileceğini; ayrıca VQA testleri için yazılan soruların olağan VQA-v2 sorularından daha zor olabileceğini öne sürüyor. Bununla birlikte ilk açıklamayı daha olası buluyor.
Veri Akışındaki LSD?
Yorum
Yeni sentezlenen görüntüleri, doğada bulunmayan kavramların anlık birleşimlerini ve soyutlamalarını sunabilen ve geleneksel yöntemlerle üretiminin çok zaman alacağı sentezlenen görüntülerin yeni bir dalgası, zayıf olarak denetlenen veri toplama sistemleri için özel bir problem oluşturabilir. Bu sistemler hataları kontrollü biçimde karşılayamayabilir; başlıca neden, büyük hacimli etiketsiz sentetik verilerle başa çıkmak için tasarlanmamış olmalarıdır.
Bu durumlarda sistemler, görüntülerin gerçekten bir arada bulunmayan farklı nesneler göstermesi nedeniyle tuhaf sentetik görüntülerin bir bölümünü yanlış kategorilere yerleştirebilir.

Astronotun bir at sürmesi, yeni nesil görüntü sentezleme sistemlerinin en ikonik görseli haline geldi – ancak bu ‘gerçek dışı’ ilişkiler, gerçek algılama sistemlerine girerse dikkatli olunması gerekiyor. Kaynak: https://twitter.com/openai/status/1511714545529614338?lang=en
Eğitim öncesi ön işleme aşamasında bu önlenmezse, otomatik işleme hatları makine öğrenimi sistemlerine olasılık dışı, hatta grotesk ilişkiler öğretebilir. Bu, etkinliklerini azaltabilir ve üst düzey ilişkilerin sonraki sistemlere, alt sınıflara ve kategorilere taşınması riskini yaratabilir.
Alternatif olarak, birbirinden kopuk sentetik görüntüler, yeni ya da değiştirilmiş mimarilerin ad hoc sentetik görüntüleri hesaba katmaya çalışırken kapsamı aşırı genişletmesi durumunda, sonraki sistemlerin doğruluğunda caydırıcı bir etki yaratabilir.
Her iki durumda da, Stable Diffusion çağındaki sentetik görüntüler, bu görüntülerin mümkün olmasını sağlayan bilgisayar görüşü araştırma sektörü için bir baş ağrısı olabilir – özellikle de veri toplama ve kürasyonunun daha otomatik, daha az zaman alıcı ve daha ucuz hale gelmesi umudu tehlikeye girebilir.
İlk olarak 1 Eylül 2022’de yayımlandı.













