Yeni Araç Araştırıcıların GAN’lerin Bir Görüntüden Neleri Çıkardığını Göstermeye Yarar

MIT-IBM Watson AI Lab’dan bir araştırma ekibi, bir Generative Adversarial Network’ün bir görüntüyü oluştururken neyi dışarıda bıraktığını gösteren bir yöntem geliştirdi. Çalışma GAN’lerin Oluşturamadıklarını Görmek olarak adlandırıldı ve最近 Uluslararası Bilgisayar Görme Konferansı’nda sunuldu.

Generative Adversarial Networks son birkaç yılda daha güçlü, daha sofistike ve daha yaygın hale geldi. Küçük bir alanda sınırlı olduğu sürece, görüntülerde detayları oluşturmada oldukça iyi hale geldiler. Ancak GAN’ler daha büyük sahneler ve ortamların görüntülerini oluştururken, performansı düşüyor. Çok sayıda nesne ve öğenin bulunduğu sahneleri oluştururken, GAN’ler genellikle birçok önemli ayrıntıyı dışarıda bırakıyor.

MIT Haberlerine göre, araştırma kısmen MIT Elektrik Mühendisliği ve Bilgisayar Bilimi Bölümü’nde lisansüstü öğrenci olan David Bau tarafından geliştirildi. Bau, araştırmacıların genellikle makine öğrenimi sistemlerinin neye dikkat ettiğini ve belirli girişlerin nasıl belirli çıktılara eşlendiğini anlamaya odaklandıklarını açıkladı. Ancak Bau, makine öğrenimi modellerinin neyi görmezden geldiğini anlamakın da aynı derecede önemli olduğunu ve araştırma ekibinin araçlarının araştırmacıları görmezden gelinen verilere dikkat çekmesini umduklarını da açıkladı.

Bau’nun GAN’lerle ilgisi, onların zwarte kutu doğasını araştırmak ve ağların nasıl akıl yürüttüğünü anlamak için kullanılabilecek olmasıydı. Bau daha önce, yapay nöronların belirli kümelerini tanımlayan ve onları gerçek dünya nesneleri gibi kitaplar, bulutlar ve ağaçlar olarak etiketleyen bir araç üzerinde çalışmıştı. Bau ayrıca, GAN’leri kullanarak fotoğraflardan belirli özellikleri kaldıran veya ekleyen GANPaint adlı bir araçla da deneyimler kazanmıştı. Bau’ya göre, GANPaint uygulaması, GAN’lerin potansiyel bir sorununu ortaya çıkardı, bu sorun Bau’nun görüntüleri analiz ettiğinde açıkça görüldü. Bau, MIT Haberlerine şunları söyledi:

“Danışmanım her zaman bize sayıların ötesine bakmayı ve gerçek görüntüleri incelemeyi teşvik etti. Bakınca, fenomen hemen ortaya çıktı: İnsanlar seçici olarak dışarıda bırakılıyordu.”

Makine öğrenimi sistemleri, görüntülerden desenler çıkarmak için tasarlandığı halde, aynı zamanda ilgili desenleri görmezden gelebilir. Bau ve diğer araştırmacılar, GAN’leri çeşitli iç ve dış mekan sahneleri üzerinde eğittiler, ancak GAN’ler her türlü sahnedeki önemli ayrıntıları, arabalar, trafik işaretleri, insanlar, bisikletler gibi nesneleri dışarıda bıraktı. Bu, nesnelerin sahneye önemli olduğu durumlarda bile geçerliydi.

Araştırma ekibi, GAN’lerin görüntülere bakarken, daha kolay temsil edilebilen desenleri, Örneğin manzara ve binalar gibi büyük sabit nesneleri yakalamak için daha kolay bulabileceğini varsaydı. Bu desenleri, arabalar ve insanlar gibi daha zor yorumlanan desenlerin üzerine öğrenir. GAN’lerin önemli, anlamlı ayrıntıları görüntülerden çıkardığı bilinir, ancak MIT ekibinin çalışması, GAN’lerin bir görüntüden tüm nesne sınıflarını çıkardığını ilk kez göstermiş olabilir.

Araştırma ekibi, GAN’lerin, insanlara önemli gelen nesneleri dışarıda bırakırken, sayısal hedeflerine ulaşabileceğini belirtti. GAN’ler tarafından oluşturulan görüntüler, örneğin otonom araçlar gibi karmaşık sistemleri eğitmek için kullanılıyorsa, görüntü verilerinin dikkatlice incelenmesi gerekiyor, çünkü insanların önem verdiği nesnelerin, trafik işaretleri, insanlar ve diğer arabalar gibi, görüntülerden çıkarılabileceği konusunda gerçek bir endişe var. Bau, araştırmalarının, bir modelin performansının sadece doğruluğa dayanmaması gerektiğini gösterdiğini açıkladı:

“Ağların ne yaptığını ve ne yapmadığını anlamamız gerekiyor, böylece bizim istediğimiz seçimleri yapmalarını sağlamak için.”