Araştırmacılar AI’ı Kullanarak Görüntülerin Yansımalarının Orijinal Görüntülerden Nasıl Farklı Olduğunu Araştırıyor

Kornell Üniversitesi’ndeki araştırmacılar, makine öğrenimi sistemlerini kullanarak görüntülerin yansımalarının orijinal görüntülerden nasıl farklı olduğunu araştırdılar. ScienceDaily tarafından bildirildiği üzere, araştırmacıların oluşturduğu algoritmalar, bir görüntünün flipped veya yansıtıldığını gösteren ipuçları, orijinal görüntüden farklılıklar olduğunu buldu.

Kornell Tech’te bilgisayar bilimi yardımcı profesörü olan Noah Snavely, çalışmanın kıdemli yazarıydı. Snavely’ye göre, araştırma projesi araştırmacılar görüntülerin nasıl farklı olduğunu merak ettiklerinde başladı. Snavely, ilk bakışta çok simetrik görünen şeylerin genellikle bir yansıma olarak ayırt edilebileceğini açıkladı. “Yeni yollarla bilgi edinmek için keşfedebileceğiniz şeyleri merak ediyorum” dedi Snavely, ScienceDaily’ye göre.

Araştırmacılar, insanların görüntülerini kullanarak algoritmalarını eğitti. Bu, yüzlerin açıkça asimetrik görünmediği için yapıldı. Flipped görüntülerden orijinal görüntüleri ayırt eden verilerle eğitildiğinde, AI %60 ile %90 arasında değişen bir doğruluk oranı elde etti.

AI’nın öğrendiği flipped bir görüntüyü ayırt etmenin görsel özellikleri genellikle çok ince ve insanlara göre belirsizdir. AI’nın kullandığı özellikleri daha iyi yorumlamak için araştırmacılar bir ısı haritası oluşturdular. Isı haritası, AI’nın odaklandığı görüntünün bölgelerini gösterdi. Araştırmacılara göre, AI’nın flipped görüntüleri ayırt etmede kullandığı en yaygın ipuçlarından biri metindi. Bu beklenmedik bir şey değildi ve araştırmacılar, daha ince farklılıkları anlamak için eğitim verilerini metin içeren görüntülerden çıkardı.

Metin içeren görüntüler eğitim setinden çıkarıldıktan sonra, araştırmacılar AI sınıflandırıcının görüntülerin özelliklerine, seperti gömlek kolları, cep telefonları, kol saatleri ve yüzler gibi özelliklere odaklandığını buldular. Bu özelliklerin bazıları, AI’nın odaklanabileceği açık ve güvenilir desenlere sahiptir, örneğin insanlar genellikle sağ ellerinde cep telefonları taşırlar ve gömlek kollarının düğmeleri genellikle soldadır. Ancak, yüz özellikleri genellikle çok simetrik olup, farklılıklar küçük ve insan gözlemcileri için tespit etmesi çok zordur.

Araştırmacılar, AI’nın odaklandığı yüzlerin bölgelerini vurgulayan başka bir ısı haritası oluşturdular. AI genellikle insanların gözleri, saçları ve sakallarını flipped görüntüleri tespit etmek için kullanıyordu. İnsanların fotoğrafları çekilirken slightly sol tarafa bakmalarının nedeninin bilinmediği gibi, saç ve sakalların neden flipped görüntüleri gösteren ipuçları olduğunun da bilinmediği belirtiliyor. Araştırmacılar, bir kişinin elini kullanma şeklinin, tıraş veya tarak kullanma şekliyle ilgili olabileceğini düşünüyorlar. Bu ipuçlarının güvenilir olmayabileceği belirtiliyor, ancak birden fazla ipucunu birleştirerek araştırmacılar daha büyük bir güven ve doğruluk elde edebilirler.

Bu alanda daha fazla araştırma yapılması gerekiyor, ancak bulgular tutarlı ve güvenilirse, bu, araştırmacıların makine öğrenimi algoritmalarını daha verimli bir şekilde eğitmelerine yardımcı olabilir. Bilgisayarlı görüntüleme AI genellikle yansıtmalarla eğitilir, çünkü bu, mevcut eğitim verilerini artırmak için etkili ve hızlı bir yoldur. Yansıtılmış görüntülerin nasıl farklı olduğunu analiz etmek, makine öğrenimi araştırmacılarının, makine öğrenimi modellerindeki önyargıları daha iyi anlamalarına ve görüntüleri yanlış şekilde sınıflandırma nedenlerini bulmalarına yardımcı olabilir.

Snavely, ScienceDaily’ye göre şunları söyledi:

“Bu, bilgisayar görme topluluğu için açık bir soru bırakıyor, yani verilerinizi artırmak için bu flipping’i ne zaman yapmanız gerekiyor ve ne zaman yapmamanız gerekiyor? İnsanların bu sorular hakkında daha fazla düşünmesini ve algoritmaları nasıl önyargılı hale getirdiğini anlamak için araçlar geliştirmelerini umuyorum.”