‘Rogue’ Veri Görsel Oluşturucu AI Performansını Kirleten Veri

Yeni bir çalışma, popüler görüntü veri kümelerinin çoğunun test görüntüleri veya gần-duplikatlarla kirlendiğini, modellerin cevapları ezberlemek yerine öğrenmek yerine hile yapmasına izin verdiğini buldu. Sızıntı yaygın ancak genellikle tespit edilemez, sessizce puanları şişirir ve web ölçekli veri üzerinde eğitilen modellere haksız avantajlar sağlar.

Araç kullanma sınavına girdiğinizde, genellikle sınav için hangi yolların kullanılacağına dair önceden bilgi verilmez. Eğer bilgi verilirse (ve biraz dürüstlükten yoksunsanız), sınav için belirli bir rotaya odaklanarak sınavı geçmek için optimize edebilirsiniz, bunun yerine her rotayı makul bir şekilde idare edebilecek daha geniş araç kullanma becerileri geliştirmek yerine.

Makine öğrenimi modellerinin eğitimi sırasında, bu, bir test bölümlenmesi için makul bir benzetmedir – eğitim kümesi verilerinin genellikle %70’inin modeli eğitmek için kullanılan veri olarak bölünmesi ve kalan %30’un “vahşi” veri olarak kullanılması.

Çünkü vahşi veri model tarafından daha önce görülmemiştir, model bu veriler üzerinde iyi performans gösterirse etkili ve performanslı olduğu varsayılabilir; değilse, model aşırı uyarlama yapmış olabilir – dengeli bir küme üzerinde veya veri ek kürasyon ve tanıma ihtiyaç duyabilir.

Her iki durumda da, modelin eğitim verilerine göre değerlendirilmemesi, güncel AI araştırmaları ve geliştirmesindeki temel yöntemdir.

Yine Aynı

Japonya’dan yeni bir araştırma çalışmasına göre, bilgisayar görüşü ve görsel AI araştırmaları, test verilerinin eğitim verilerine bulaşmasını önlemek için LLM araştırmacılarının gösterdiği çabayı uzaklara bırakmıştır; araştırmacılar, çalışmada inceledikleri her hiperscale görüntü kümesinin, büyük ölçekli görsel AI sistemlerini güçlendirerek, bazı şekilde eğitim verilerinin test verilerine geçişine izin verdiğini buldu – bu da, bu bölünmelerde eğitilen modeller için benchmark’lar ve performans raporlarının, sınav sonuçlarının, sınav salonuna kopya sokan birinin sonuçlarından daha doğru olmayacağı ve gerçek dünya verilerine gerçek performansını yansıtmayacağı anlamına gelir.

Araştırmacıların bulduğu veri kirlenmesi örnekleri, eğitim ve test verilerinde bulunan近-duplikat veya duplikat veri noktaları. Kaynak: https://arxiv.org/pdf/2508.17416

Üstteki resimde, yeni çalışmadan, çeşitli modellerin eğitim ve test verilerinde bulunan近-duplikat veya duplikat veri noktaları örnekleri görülüyor – bu, modelin bu veriler上的 performansını geçersiz kılar ve genel puanlarını hafifçe şişirir, modelin aslında ulaşmadığı bir genellemenin seviyesini sağlar.

Veri kirlenmesi, ‘ön-eğitim‘ gibi çeşitli senaryolarda ortaya çıkabilir, burada daha eski atasal modellerin ağırlıkları yeni bir modeli başlatmak için kullanılır. Eğer atasal model, daha yeni veri kümesinin bazı verilerini içeriyorsa, veri kirlenmesi meydana gelebilir, hatta %70/%30 veya %80/%20 bölünmesi temiz olsa bile.

Cumulative Effect

Bu, son yıllarda görüntü/dil veri kümelerinin muazzam bir şekilde büyümesi nedeniyle neredeyse kesinlikle meydana gelecek – yeni web görüntüleri ve daha eski, tarihi veri kümelerinden yeniden hasat edilen veriler dahil.

Daha fazla, milyarlarca görüntü için duplikat ve近-duplikatları araştırmak ve filtrelemek için otomatik rutinler, bu kadar büyük bir görevle karşı karşıya kalıyor ki, kürasyon kendisi – zaman ve para maliyeti – bütçe kısıtlamaları bağlamında dikkate alınmalıdır.

Bu arada, büyük koleksiyonlar gibi Common Crawl için web taraması, yeniden gönderme ve yeniden sıkıştırma ve düzenleme (örneğin, izin alınmadan kullanıldığında algılamayı önlemek için) uygulamaları nedeniyle görüntü duplikasyonu kaçınılmazdır.

Araştırmacılar gözlemliyor*:

‘Veri sızıntısı, görsel veri kümelerinde yaygın bir sorundur. Sızıntı, modellerin genelleme yeteneğini gizleyebilir, özellikle farklı veri kümeleri üzerinde eğitilen modelleri karşılaştırdığımızda, bu durum haksız karşılaştırmalara yol açar. ‘

‘Veri kümesi tasarımcılarının bu değerlendirmelerin etkilerini dikkatlice düşünmelerini tavsiye ediyoruz. Daha adil bir model değerlendirmesi için, hem sert hem de yumuşak sızıntıları dikkate alan duplikat dedektörlerinin kullanılmasını öneriyoruz. ‘

‘İdeal olarak, sızan görüntüler eğitim kümesinden çıkarılmalı ve bu mümkün değilse, en azından test kümesinden çıkarılmalıdır.’

Çalışma, araştırmacıların büyük ve popüler veri kümeleri üzerinde gerçekleştirdikleri bir dizi test hakkında bilgi vermektedir – bunların her biri belirli bir düzeyde kirlenme göstermiştir.

Yeni çalışma, Görsel Veri Kümelerinde Veri Sızıntısı olarak adlandırılmıştır ve Osaka Üniversitesi’nden üç araştırmacı tarafından yapılmıştır.

Yöntem

Çalışmanın yazarları, sızıntıyı üç boyutta tanımlar: modality, coverage ve degree.

Modality yalnızca görüntülerin mi yoksa hem görüntülerin hem de etiketlerin mi sızdırıldığını ayırt eder; coverage örtüşmenin aynı veri kümesi içinde mi yoksa farklı veri kümeleri arasında mı olduğunu belirler; ve degree kopyalanan içeriğin aynı mı yoksa yalnızca yakınsa mı.

Çalışmada ele alınan iki senaryo, intra-dataset sızıntı (değerlendirme görüntüleri aynı veri kümesinin eğitim bölünmesinde yeniden ortaya çıkar) ve inter-dataset sızıntı (bir veri kümesinin değerlendirme görüntüleri başka bir veri kümesinde eğitim için kullanılır).

Degree bakımından tanımlanan iki seviye, yumuşak sızıntı (görüntüler aynı değil ancak küçük varyasyonlar gösterir) ve sert sızıntı (görüntüler eğitim ve değerlendirme boyunca tam olarak aynıdır).

Araştırmacılar, sızıntı tespitini görüntü alma terimiyle ele alır, her görüntüyü bir özellik vektörü olarak temsil etmek için görüntü kodlayıcılara başvurur. Sorgu kümesi değerlendirme verilerini, toplama ise eğitim kümesini oluşturur.

Küçük veri kümeleri için, her sorgu vektörü doğrudan kosinüs benzerliği kullanarak tüm eğitim vektörleriyle karşılaştırıldı. Daha büyük veri kümeleri için, daha hızlı Faiss dizini oluşturmak ve K-En Yakın Komşu (KNN) aramasını ermögilmek için bir dizin oluşturuldu.

Çünkü kodlayıcı, sızıntı tespitinde ince benzerlikleri yakalamak için yeterli görsel bilgiyi yakalamalıdır, ancak aynı zamanda çok yüksek veri hacimlerine karşı verimli kalmalıdır, yazarlar, özellikle LAION koleksiyonu için, önceden hesaplanmış CLIP özelliklerini kullandılar.

Araştırmacılar, CLIP’in veri kümesinin anlaşılmasını kullanmasını (gerçek dosyaları ölçek üzerinde sorgulamak yerine), süreci önemli ölçüde hızlandırırken ve karşılaştırmalar boyunca tutarlılığı iyileştirdiğini belirtiyorlar.

Veri ve Testler

Çalışmada kullanılan CLIP görüntü kodlayıcısı, LAION’ı süzmek için orijinal olarak kullanılan CLIP ViT-B/32 modeliydi. Farklı görüntülerin birbirleriyle ilgili olup olmadığını belirlemek için, AutoFaiss altında KNN kullanıldı.

Veri kümeleri, üç türe ayrıldı: ön-eğitim veri kümeleri – büyük, web taramalı koleksiyonlar, genelci modelleri eğitmek için kullanılır; eğitim veri kümeleri – daha küçük, genellikle etiketlenmiş koleksiyonlar, doğrudan model ayarlaması için kullanılır; ve benchmark veri kümeleri – elle etiketlenmiş ve yalnızca değerlendirme için kullanılır.

Analiz, yedi veri kümesindeki yirmi bölme üzerinden gerçekleştirildi: Microsoft COCO, hem eğitim hem de değerlendirme kümesi olarak kullanıldı, eğitim, doğrulama, test ve etiketsiz bölümler dahil edildi; Flickr30k, yalnızca bir benchmark olarak kullanıldı; ve Google Kavramsal Altyazılar (GCC) koleksiyonu, ön-eğitim kaynağı olarak kullanıldı ve doğrulama bölümü de değerlendirme için kullanıldı.

Ek olarak, ImageNet hem eğitim hem de benchmark olarak kullanıldı, LAION-400M veri kümesi ise yalnızca ön-eğitim için kullanıldı.

OpenImages v4 hem eğitim hem de benchmark verileri sağladı ve TextCaps hem eğitim hem de test bölümlerini değerlendirme için sağladı.

Araştırmada incelenen Google Open Images veri kümesinden görüntü açıklamaları örnekleri. Kaynak: https://arxiv.org/pdf/1811.00982

Görüntülerin ince değişikliklere tabi tutulduğunda sızıntı tespitinin ne kadar iyi çalıştığını değerlendirmek için, araştırmacılar Flickr30k üzerinde bir test gerçekleştirdiler, 5.000 görüntüyü sorgu olarak seçtiler ve tüm veri kümesini referans koleksiyonu olarak kullandılar.

Her sorgu görüntüsü, kodlanmadan önce dönüştürüldü (yani, yeniden boyutlandırma veya kırpma gibi anlamsal olmayan bir değişikliğe tabi tutuldu) ve sonra kosinüs benzerliği kullanılarak koleksiyondaki en benzer öğeyle eşleştirildi; yalnızca orijinal görüntü en üstteki sonuç olarak geri alındığında bir eşleşme sayıldı.

Karşılaştırılmış üç kodlayıcı, ResNet-152; DINOv2 ViT-B/14; ve CLIP ViT-B/32 idi.

Dört tür anlamsal olmayan görüntü dönüşümü kullanıldı: geometrik (döndürme ve.flip); kırpma (her kenardan 20, 50 veya 100 piksel kaldırma); pikselleştirme (Gaussian bulanıklaştırma, gürültü ekleme veya 128 veya 256 piksele kadar indirgeme); ve renk (gri tonlama, ters çevirme veya kırmızı, yeşil veya mavi üst örtme).

Ek malzemeden, verilere uygulanan dönüşümler – aynı zamanda veri artırma ön işleminde kullanılan tipik rutinler.

Araştırmacılar, görüntü alma yoluyla sızıntı tespitini test ettiler:

5.000 Flickr30k sorgu görüntüsüne çeşitli anlamsal olmayan dönüşümler uygulandığında sızıntı tespiti doğruluğu.

Üç kodlayıcı da değişikliğe uğramamış görüntüler üzerinde mükemmel performans sergiledi ve CLIP, kırpma, yatay.flip, gürültü ve yeniden boyutlandırmada güvenilir kaldı, piksel düzeyindeki ve renk değişikliklerinde ResNet’i geride bıraktı.

DINOv2, renk dönüşümlerine karşı güçlü bir direnç gösterdi (muhtemelen kendi kendine denetlenen tasarımından dolayı, yazarlar böyle düşünüyor), ancak geometrik düzenlemeler ve kırpma konusunda daha zayıf kaldı – her ikisi de kopyalanmış veri kümelerinde ortak olan.

LAION zaten CLIP içermesi ve tutarlı güvenilirlik ve hız nedeniyle, CLIP ana analiz için varsayılan kodlayıcı olarak seçildi.

Sert ve Yumuşak Sızıntı

Farklı kosinüs benzerliği eşiği üzerinden performans, tam ve yakın-duplikat görüntüleri (sert ve yumuşak sızıntı) ayırt etmek için değerlendirildi.

Sert sızıntı için 0,98 eşiği seçildi, bu da yanlış pozitiflerin olmaması ve aynı görüntülerin mükemmel bir şekilde tespitini sağladı.

Yumuşak sızıntı için 0,95 eşiği seçildi, bu da daha fazla yakın-duplikatın geri alınmasına izin verdi ve neredeyse sıfır yanlış pozitif oranı korundu; doğruluk, geri çağırma üzerinde önceliklendirildi ve bulgular muhafazakar bir şekilde tahmin edildi:

Alıcı işletim karakteristikleri, sert ve yumuşak sızıntı tespiti için eşiğin seçimini yönlendirdi. Yüksek AUC puanları, dönüştürülmüş ve dönüştürülmemiş koşullar altında, yakın-duplikatların, minimal değişikliklere sahip olsalar bile, ilgili olmayan görüntülerden güvenilir bir şekilde ayırt edilebileceğini gösteriyor.

İç-Veri Kümesi Sızıntı

İç-veri kümesi sızıntısı, aynı veri kümesindeki eğitim ve değerlendirme bölümleri arasındaki görüntü örtüşmesi olarak hesaplandı. Yalnızca hem benchmark hem de eğitim veya ön-eğitim bölümlerine sahip veri kümeleri analiz için uygun kabul edildi, bu da analizi COCO, GCC, ImageNet, OpenImages ve TextCaps ile sınırladı.

COCO için, test kümesi, eğitim kümesi, değerlendirme kümesi ve etiketsiz alt kümelerle karşılaştırıldı ve doğrulama kümesi, eğitim ve etiketsiz alt kümelerle karşılaştırıldı.

İç-veri kümesi sızıntısının en yüksek oranları, ImageNet test ve doğrulama bölümlerinde görüldü, sert sızıntı %1,58’e ulaştı ve yumuşak sızıntı %2’nin biraz altına düştü. GCC ve COCO Bunu izledi, COCO val2017 %3’lük yumuşak sızıntı gösterdi ve test bölümleri %1,35 ila %1,38 arasında değişen oranlar sergiledi. OpenImages, düşük sert sızıntı gösterdi (%0,05), ancak yumuşak sızıntı, hem test hem de doğrulama kümelerinde %1,3’ün üzerine çıktı. TextCaps, genel olarak en düşük sızıntı oranını gösterdi (%0,69) ve herhangi bir sert sızıntı tespit edilmedi:

İç-veri kümesi sızıntı oranları, her değerlendirme bölümünün eğitim verilerine olan örtüşme oranını gösterir.

Bu sonuçlar hakkında, yazarlar şunları belirtiyorlar^†:

‘Bu sonuçlar, iç-veri kümesi sızıntısının tüm analiz edilen veri kümelerinde, ya sert ya da yumuşak derecede ortaya çıktığını gösteriyor.

‘Veri kirlenmesi model değerlendirmesini tehlikeye atabilir ve veri kümeleri bu amaç için özel olarak tasarlandığından, iç-veri kümesi sızıntısı, tasarım gereği var olmaması gereken bir risktir.

‘Ancak, tüm veri kümelerinde birden fazla örnek tespit ettik.’

Arası-Veri Kümesi Sızıntı

Ara-veri kümesi sızıntısı (bir modelin bir veri kümesinde eğitildiği ve başka bir veri kümesinde değerlendirildiği durum), dört veri kümesinin eğitim verisi kaynağı olarak kullanılmasıyla ölçüldü: GCC eğitim, ImageNet eğitim, OpenImages eğitim ve LAION.

Bunlar, COCO 2014 test ve doğrulama bölümlerinden, Flickr30k, TextCaps testi, OpenImages test ve doğrulama bölümleri ve ImageNet test ve doğrulama bölümlerinden alınan değerlendirme verileriyle eşleştirildi.

CLIP ViT-B/32 özellikleri, LAION hariç tüm veri kümeleri için çıkarıldı, çünkü LAION kendi önceden hesaplanmış özelliklerini sağlar. Ancak, bu özellikler resmi CLIP uygulamasıyla üretilenlerden biraz farklıdır, bu nedenle sorgu görüntüleri, clip-retrieval deposunda kullanılan yönteme göre yeniden boyutlandırıldı.

Geri alma, KNN araması kullanılarak gerçekleştirildi, ancak LAION’un ölçeği, milyonluk bloklara bölünmeyi ve her birinin ayrı ayrı dizinlenmesini gerektiriyordu:

Ara-veri kümesi sızıntısı, benchmark veri kümeleri (sütunlar) ve ön-eğitim veri kümeleri (satırlar) arasında. Solda ‘sert’ sızıntı (aynı görüntüler) görülür, sağda ‘yumuşak’ sızıntı (yakın-duplikatlar).

Çapraz-veri kümesi sızıntısı, tüm benchmark veri kümeleri arasında görüldü, çeşitli şiddet derecelerinde. LAION, özellikle OpenImages ve TextCaps test verileri için en yüksek sert sızıntı oranlarını gösterdi, her ikisi de %3’ü aştı. OpenImages ayrıca COCO’ya daha küçük bir sert sızıntı katkısı sağladı.

ImageNet, her benchmark için bazı sert kopyaları içeriyordu; ve GCC, genel olarak en düşük sert sızıntı oranını gösterdi, %1’in altında kaldı.

Yumuşak sızıntı (yakın-duplikatlar) daha yaygın oldu: LAION, bazı benchmark’lar için %7,9’a varan oranlarla en yüksek oranları üretti; OpenImages ve TextCaps genel olarak en çok etkilenen benchmark’lar oldu; ve Flickr30k en az sızıntı gösterdi.

Bu örtüşmeler, değerlendirme kümelerinin yalnızca küçük bir bölümünü oluştursa da, araştırmacılar, bunların varlığının ezberlemeye yol açabileceğini ve test geçerliliğini tehlikeye atabileceğini belirtiyorlar:

Sızan görüntülerin örnekleri. Solda, aynı veri kümesi içinde (üst) veya veri kümeleri arasında (alt) ‘sert’ sızıntı örnekleri görülür; sağda, ‘yumuşak’ sızıntı örnekleri, görüntüler görsel olarak benzer.

Akış-Downstream Değerlendirme Etkisi

Çalışma, veri kirlenmesinin akış-downstream değerlendirmeleri (ön-eğitimli modellerin, kirlenmiş eğitim verilerini içeren benchmark’lar üzerinde performansını) nasıl etkilediğini ele alır.

Üç görev dikkate alındı: sıfır-ateşleme sınıflandırma; gözetimli sınıflandırma; ve görüntü-metne alma.

Her görev için, model performansı, önceden sızıntı örnekleri içeren bir benchmark veri kümesi üzerinde değerlendirildi. Sonuçlar, dört alt küme üzerinden karşılaştırıldı: tam benchmark; sızan örneklerin bir alt kümesi; sızan olmayan örneklerin bir alt kümesi; ve sızan grupla aynı boyutta, rastgele seçilen bir kontrol alt kümesi.

Akış-downstream görevlerdeki sızıntı etkileri, önceden sızıntı örnekleri içeren benchmark alt kümeleri üzerinden ölçüldü. Sıfır-ateşleme sınıflandırma görevinde, LAION üzerinde ön-eğitilen bir model, ImageNet değerlendirme kümesindeki sızan görüntüler üzerinde đáng kể daha yüksek bir doğruluk elde etti, bu da ön-eğitim sırasında даже yakın-duplikatların maruz kalmasının ölçülebilir bir avantaj sağladığını doğruladı:

ImageNet validation setinde sıfır-ateşleme sınıflandırma doğruluğu, sızıntı ve sızıntısız alt kümeler üzerinden. Son sütun, tam kümeyle ilgili doğruluk kazançlarını raporlar ve vurgulanan satırlar sızan alt kümelerine karşılık gelir.

Gözetimli sınıflandırma görevinde, ImageNet’te sızıntı, sızan görüntüye aynı etiketin atanmadığı sürece performansı dramatik bir şekilde düşürdü; ancak sızan görüntü aynı etikete sahipse, model neredeyse mükemmel bir doğruluk elde etti, güçlü bir ezberleme etkisini ortaya koydu:

ImageNet validation setinde gözetimli sınıflandırma doğruluğu, sızıntılı ve sızıntısız alt kümeler üzerinden. Kazanç sütunları, tam kümeyle ilgili değişiklikleri gösterir ve vurgulanan satırlar sızan alt kümelerine karşılık gelir.

Görüntü-metne alma görevinde, performansı yine sızan örneklerde iyileştirildi, hem sert hem de yumuşak sızıntı, daha yüksek geri çağırma oranlarına yol açtı ve sızan alt kümeleri, tekrarlanan çalışmalarda daha tutarlı sonuçlar verdi:

Flickr30k üzerinde görüntü-metne alma performansı, sızıntılı ve sızıntısız alt kümeler üzerinden. Vurgulanan satırlar sızan alt kümelerine karşılık gelir.

Araştırmacılar şu sonuca varıyorlar:

‘Genel olarak, görsel veri kümelerinde sızıntının, model değerlendirmesi için adil bir tehdit oluşturduğunu, makine öğreniminin en temel prensiplerinden birinin – modellerin eğitim verilerine göre değerlendirilmemesi – tehlikeye girdiğini gösteriyoruz.’

Sonuç

Çalışmanın şaşırtıcı bir yönü, LAION’un muazzam görüntü verisi dağarcığını işleyebilmek için CLIP’i kullanma gerekliliğidir – bu, artık insan denetimi veya herhangi bir tür elle kürasyonun ötesinde bir ölçektedir.

LAION’un büyüklüğü, artık yalnızca agregat, tokenleştirilmiş meta verileri işleyerek, daha ayrıntılı özelliklerin incelendiği daha küçük veri kümeleriyle karşılaştırıldığında, insan müdahalesinin sınırlarını aşmıştır.

* Belki biraz karışıklıkla, kopyalama problemi makalede ‘sızıntı’ olarak tanımlanmaktadır.

† Yazarların vurgusu.

İlk olarak 26 Ağustos 2025 Salı günü yayınlandı.