Bilgisayar Bilimciler AI’deki Önyargıları Ele Alıyor

Princeton ve Stanford Üniversitesi’nden bilgisayar bilimciler, şimdi yapay zeka (AI)中的 önyargı sorunlarını ele alıyor. İnsanların resimlerini içeren daha adil veri setleri oluşturmak için yöntemler üzerinde çalışıyorlar. Araştırmacılar, 13 milyondan fazla resim içeren bir veritabanı olan ImageNet ile yakın çalışıyorlar. Geçtiğimiz on yıl boyunca ImageNet, bilgisayar vizyonunun gelişmesine yardımcı oldu. Yöntemlerini kullanarak, araştırmacılar veritabanı için iyileştirmeler önerdiler.

ImageNet, nesnelerin, manzaraların ve insanların resimlerini içerir. Makine öğrenimi algoritmaları oluşturan ve resimleri sınıflandıran araştırmacılar, ImageNet’i veri kaynağı olarak kullanır. Veritabanının devasa boyutu nedeniyle, otomatik resim toplama ve kalabalık tarafından sağlanan resim açıklamaları gerekliydi. Şimdi, ImageNet ekibi, önyargıları ve diğer sorunları düzeltmeye çalışıyor. Resimlerde souvent insanların istem dışı sonuçları vardır.

Olga Russakovsky, yardımcı yazar ve Princeton’da bilgisayar bilimi yardımcı profesörü.

“Bilgisayar vizyonu şimdi gerçekten iyi çalışıyor, bu nedenle her yerde ve her türlü bağlamda dağıtılıyor” dedi. “Bu, şimdi onun dünyaya olan etkisini konuşma ve bu tür adillik sorunlarını düşünme zamanı anlamına geliyor.”

Yeni makalede, ImageNet ekibi, görsel olmayan kavramları ve saldırı kategorilerini sistematik olarak tanımladı. Bu kategoriler arasında ırksal ve cinsel karakterizasyonlar yer aldı ve ekip bunları veritabanından çıkarmayı önerdi. Ekip ayrıca, kullanıcıların yaş, cinsiyet ifadesi ve cilt rengi tarafından people resimlerini belirtip almasına olanak tanıyan bir araç geliştirdi. Amac, insanların yüzlerini ve resimlerdeki faaliyetlerini daha adil bir şekilde sınıflandıran algoritmalar oluşturmaktır.

Araştırmacıların çalışmaları, 30 Ocak’ta Barselona, ​​İspanya’daki Association for Computing Machinery’nin Adillik, Hesap Verebilirlik ve Şeffaflık Konferansı’nda sunuldu.

“Bu tür konuşmalara katılma ihtiyacı olan, bu tür teknik uzmanlığa sahip araştırmacılar ve laboratuvarlar var” dedi Russakovsky. “Verileri büyük ölçekte toplama gerekliliğine, crowdsourcing yoluyla yapılacağına ve bu en verimli ve iyi kurulmuş boru hattı olduğuna göre, bunu daha adil bir şekilde nasıl yapabiliriz? Bu kağıdın temel mesajı, yapıcı çözümler etrafında.”

ImageNet, 2009 yılında Princeton ve Stanford’dan bir grup bilgisayar bilimcisi tarafından başlatıldı. Akademik araştırmacılar ve eğitimciler için bir kaynak olarak hizmet etmesi amaçlandı. Sistemın oluşturulması, Princeton mezunu ve öğretim üyesi Fei-Fei Li tarafından yönetildi.

ImageNet, crowdsourcing yoluyla büyük bir etiketli resim veritabanı haline gelebildi. Kullanılan ana platformlardan biri Amazon (AMZN ) Mechanical Turk (MTurk) idi ve çalışanlar aday resimleri doğrulamak için ücretlendirildi. Bu, bazı sorunlara neden oldu ve birçok önyargı ve uygunsuz kategorizasyon vardı.

Baş yazar Kaiyu Yang, bilgisayar bilimi yüksek lisans öğrencisi.

“İnsanlara büyük bir aday kümesinden doğru resimleri seçmeleri için sorduğinizde, insanlar bazı resimleri seçmek için baskı altına girerler ve bu resimler genellikle ayırt edici veya stereotipik özelliklere sahip olanlar olur” dedi.

Çalışmanın ilk kısmı, ImageNet’ten potansiyel olarak saldırı veya duyarlı kişi kategorilerini filtrelemeyi içeriyordu. Saldırgan kategoriler, küfür veya ırksal veya cinsiyet hakaretleri içeren olanlar olarak tanımlanmıştı. Duysal kategorilerden biri, insanların cinsel yönelimine veya dinine göre sınıflandırılmasıydı. Farklı geçmişlere sahip 12 yüksek lisans öğrencisi, kategorileri etiketlemek için getirildi ve bir kategoriyi duyarlı olarak etiketlemek talimatı verildi. Kategorilerin yaklaşık %54’ü çıkarıldı veya 2.932 kişi kategorisinin 1.593’ü.

MTurk çalışanları, kalan kategorilerin “görüntülenebilirliğini” 1 ila 5 arasında derecelendirdi. 158 kategori hem güvenli hem de görüntülenebilir olarak sınıflandırıldı, 4 veya daha yüksek bir puan aldı. Bu filtrelenmiş kategori seti, bilgisayar vizyonu algoritmalarını eğitmek için son derece yararlı olabilecek 133.000’den fazla resim içeriyordu.

Araştırmacılar, resimlerdeki insanların demografik temsiliyetini ve ImageNet’teki önyargı seviyesini incelediler. Arama motorlarından sağlanan içerik genellikle erkekleri, açık tenli insanları ve 18-40 yaş arasındaki yetişkinleri överek sunar.

“İnsanların, resim arama sonuçlarındaki demografik dağılımın çok önyargılı olduğunu bulduklarını ve bu nedenle ImageNet’teki dağılımın da önyargılı olduğunu” söyledi Yang. “Bu makalede, bunun ne kadar önyargılı olduğunu anlamaya çalıştık ve ayrıca dağılımı dengelemek için bir yöntem önerdik.”

Araştırmacılar, ABD anti-ayrımcılık yasaları tarafından korunan üç özelliği dikkate aldı: cilt rengi, cinsiyet ifadesi ve yaş. MTurk çalışanları, her resimdeki her bir kişinin her bir özelliğini etiketledi.

Sonuçlar, ImageNet içeriğinin önemli bir önyargıya sahip olduğunu gösterdi. En az temsil edilenler, koyu tenli, kadınlar ve 40 yaş üstü yetişkinlerdi.

Kullanıcıların, kendi seçtikleri şekilde demografik olarak dengeli bir resim kümesi almasına olanak tanıyan bir web arabirimi aracı tasarlandı.

“Demografilerin doğru şekilde dengelenmesi gerektiğini söylemek istemiyoruz, çünkü bu çok basit bir sorun değil” dedi Yang. “Dağılım, dünyanın farklı bölgelerinde farklı olabilir – Örneğin, ABD’deki cilt renkleri dağılımı, Asya’daki ülkelerden farklıdır. Bu nedenle, bu soruyu kullanıcımıza bırakıyoruz ve sadece dengeli bir resim alt kümesi almasına olanak tanıyan bir araç sağlıyoruz.”

ImageNet ekibi, şimdi donanımları ve veritabanları için teknik güncellemeler üzerinde çalışıyor. Ayrıca, bu araştırmada geliştirilen kişi kategorilerini filtreleme ve yeniden dengeleme aracını uygulamaya çalışıyorlar. ImageNet, güncellemelerle birlikte yeniden yayınlanacak ve bilgisayar vizyonu araştırma topluluğundan geri bildirim istenecek.

Makale, Princeton Ph.D. öğrencisi Klint Qinami ve Bilgisayar Bilimi Yardımcı Profesörü Jia Deng tarafından da ortaklaşa yazıldı. Araştırma, Ulusal Bilim Vakfı tarafından desteklenmiştir.