Resim Sentezleme Sistemlerinin Gerçekten ‘Orijinal’ Materyal Ürettğini Nasıl Bilirsiniz?

Güney Kore’den yeni bir çalışma, resim sentezleme sistemlerinin gerçekten yeni ve orijinal resimler üretip üretmediğini veya sadece eğitim verilerine dayalı ‘küçük’ varyantlar üretip üretmediğini belirleme yöntemi önerdi. Bu, böyle mimarilerin (örneğin, yeni ve orijinal resimler üretimi) amacını potentially defeat edebilecek bir sorundur.

Çok sık, makaleye göre, latter doğrudur, çünkü bu sistemlerin generatif kapasitelerini eğitim süresince geliştirmek için kullandığı mevcut metrikler, eğitim veri setindeki (sahte olmayan) kaynak resimlere görsel olarak yakın resimleri tercih etmeye zorlanmaktadır.

Sonuç olarak, bir oluşturulan resim ‘görsel olarak yakın’ kaynak veriye benzerse, ‘orijinallik’ yerine ‘otantiklik’ için daha iyi puan alması muhtemeldir, çünkü ‘sadık’ – ama ilham verici değil.

Bu, henüz yasal sonuçları bilinmeyen bir sektörde, ticari sentetik resim içeriğinin telif hakkı bulunan kaynak materyalden yeterince farklı olup olmadığını belirleme konusunda önemli bir yasal sorun haline gelebilir. Araştırma sektöründe popüler web kazıma veri setleri olarak kullanılan (çoğunlukla) telif hakkı bulunan kaynak materyalden yeterince farklı olup olmadığını belirleme konusunda önemli bir yasal sorun haline gelebilir.

Ayrıca, bir generatif modelin eğitim verisi kamuoyu ile paylaşılmayabilir, bu da oluşturulan resimlerin orijinalliğinin adli muayenesini daha da zorlaştırır.

OpenAI’nin DALL-E 2’si, Google’ın Imagen’i ve Çin’in CogView sürümleri (ve daha düşük özellikli DALL-E mini) gibi sistemlerin artan olarak tutarlı ve anlamlı çıktıları düşünüldüğünde, oluşturulan bir resmin orijinalliğini güvenilir bir şekilde test etmek için çok fazla sonrası yolu yoktur.

Gerçekten, yeni DALL-E 2 resimlerinden bazılarını aramak genellikle sadece aynı resimlerin daha fazla örneğine yol açar, arama motoruna bağlı olarak.

Yandex, Google’a kıyasla, bir resmin gerçek özelliklerini ve görsel özelliklerini kullanma olasılığı daha yüksektir, ancak tüm resim tabanlı arama motorları, oluşturulan resimlerin orijinalliğini web aramaları yoluyla belirlemenin zor olmasını sağlayan bir gündem veya uygulama sahiptir.

Google’ın Imagen sitesinde yer alan sentetik resimlere dayalı bir web araması, resmin konusuna benzer hiçbir şey bulamaz. Bunun yerine, arama sonuçları ‘imagen google’ gibi ek parametreler eklenmeden saf bir resim tabanlı arama yapmasına izin vermez.

Yandex, ngược olarak, gerçek dünya resimlerinden oluşan bir dizi benzer veya görsel olarak ilgili resim bulur.

Genel olarak, resim sentezleme sistemlerinin çıktısının orijinalliğini veya yeniğini ölçmek daha iyi olurdu, bu da internet üzerindeki her возмож web yüzeyindeki her resmin özelliklerini çıkarmak veya eğitim modeli sırasında kullanılan非 公開 veri kümelerini kullanmak zorunda kalmadan.

İlgili olarak, KAIST AI ve NAVER Corp’tan araştırmacılar, resim sentezleme sistemlerinin daha orijinal yaratımlarını tanımlamalarına yardımcı olabilecek bir ‘Nadirlik Puanı’ geliştirdiler.

Yeni makale, ‘Nadirlik Puanı: Sentezlenmiş Resimlerin Nadirliğini Değerlendirmek için Yeni Bir Metrik’ başlıklı ve KAIST’ten üç ve NAVER Corp’tan üç araştırmacı tarafından yazılmıştır.

Önceki metriklere kıyasla yeni Rarity Score, K-Nearest Neighbors (KNNs) kullanımını benimser. Araştırmacılar, bu yeni analiz yöntemi hakkında şunları belirtirler:
Sıradaki metin…

‘Ucuz Hile’ Ötesinde

Önceki metriklere kıyasla yeni Rarity Score, K-Nearest Neighbors (KNNs) kullanımını benimser. Araştırmacılar, bu yeni analiz yöntemi hakkında şunları belirtirler:
Sıradaki metin…

Teknik

Araştırmacıların yeni Nadirlik Puanı, daha önce sunulan bir fikir benimser – resim sentezleme sistemindeki gerçek (eğitim) ve sentetik (çıktı) veri dizilerini temsil etmek için K-Nearest Neighbors (KNNs) kullanımı.

Araştırmacılar, bu yeni analiz yöntemi hakkında şunları belirtirler:
Sıradaki metin…

Karşılaştırmalar ve Deneyler

Araştırmacılar, Rarity Score’un performansını, Truncation Trick ve NVIDIA’nın 2019 Realism Score ile karşılaştırdılar ve çeşitli çerçeveler ve veri kümeleri boyunca, yaklaşımın ‘benzersiz’ sonuçları ayırt edebildiğini buldular.

Araştırmacılar, sentezlenmiş resimlerin orijinalliğini belirlemede yeni metriğin yeteneğini gösterdiler.

Sınırlı Görevlerin Ötesinde

Yeni makalenin araştırmacıları, sınırlı alan çerçevelerinde (örneğin, sadece insan veya kedi resimleri üreten jeneratör/veri kümesi kombinasyonları) testler yaptılar, ancak Nadirlik Puanı, herhangi bir resim sentezleme prosedüründe, oluşturulan örneklerin orijinalliğini belirlemede uygulanabilir.

Bu, DALL-E serisi gibi sistemlerde gerçekten yeni çıktı örneklerini tanımlamak için kullanılabilir.

Pratikte ve sistemin görsel ve anlamlı kavramları gerçekten ne kadar assimile ettiğine dair net bir anlayış olmadan, bu, bir generatif sistemdeki真正 bir ‘ilham anı’nı belirlemede uygulanabilir bir yöntem olabilir – yeterli girdi kavramları ve verilerin gerçekten yaratıcı bir şey ürettiği nokta.

Sıradaki metin…