GEPI’nin Yapay Zekânın Kadınları Nasıl Başarısızlığa Uğrattığı Raporu, Algoritmaların Toplumsal Cinsiyet Önyargısını Nasıl Güçlendirdiğini İnceliyor

İşe alım puanı, kredi değerlendirmesi ya da klinik öneri tarafsız görünebilir; oysa bunlar, dayandıkları verilerdeki eşitsizlikleri sürdürebilir. Gender Equity Policy Institute’ün yeni raporunun temel uyarısı bu: Yapay Zekâ Kadınları Nasıl Başarısızlığa Uğratıyor: Önyargı Güçlendiğinde. Rapor, otomatik sistemlerin toplumsal cinsiyet ayrımcılığını nasıl yeniden üretebildiğini, hatta kimi zaman nasıl şiddetlendirebildiğini inceleyen araştırmaları bir araya getiriyor.

Makine öğrenimi bilim insanı ve GEPI kıdemli araştırmacısı Dr. Myriam Shiran’ın kaleme aldığı rapor; ekonomik fırsatlar, sağlık hizmetleri, ceza adaleti, üretilen içerikler, tüketici yapay zekâsı tasarımı ve yapay zekâ destekli, görüntü temelli cinsel istismar konularındaki akademik ve gri literatürü gözden geçiriyor. Rapor, her yapay zekâ sistemini tek bir ölçüte göre değerlendiren yeni bir deney değil; mevcut bulguların bir sentezi.

Raporun en önemli savı, önyargılı bir sonuç modelden çıktıktan sonra neler olduğuyla ilgili. Öneriler kararları etkiliyor, üretilen içerikler beklentileri şekillendiriyor ve bazı çıktılar gelecekteki eğitim süreçlerinde kullanılacak malzemeye dönüşüyor. Bu nedenle adaletsiz bir örüntüyü, ardışık sistemlerden geçtikçe fark etmek giderek zorlaşabiliyor.

Toplumsal Cinsiyeti Dikkate Almayan Girdiler Adil Sonuçları Garanti Etmez

Toplumsal cinsiyet alanını kaldırmak, ayrımcılığa karşı başvurulan sezgisel bir çözümdür. GEPI’nin incelemesi, bu adımın tek başına neden yetersiz olduğunu açıklıyor: isimler, eğitim, iş geçmişi ve diğer ayrıntılar toplumsal cinsiyetle ilgili sinyaller taşımaya devam edebilir. Geçmişteki sonuçlar da bir model bunlarla karşılaşmadan önce eşitsiz muameleyi kodlamış olabilir.

Raporda atıfta bulunulan Wilson ve Caliskan’ın 2024 tarihli işe alım denetimi, dokuz meslek alanında üç milyondan fazla özgeçmiş karşılaştırmasının simülasyonunu içeriyordu. Test edilen tarama modelleri, karşılaştırmaların %51,9’unda erkeklerle ilişkilendirilen isimleri, %11,1’inde ise kadınlarla ilişkilendirilen isimleri anlamlı ölçüde tercih etti. Kalan %37’de anlamlı bir tercih görülmedi. Bunlar kontrollü model testlerinin sonuçlarıdır; iş başvurusu yapan gerçek kişilerin işe alınmama oranları değildir.

Bulgular, test tasarımına göre de değişiyor. Raporda, araştırmacıların yalnızca isimleri değiştirdiği durumda çeşitli dil modellerinde toplumsal cinsiyet farkı görülmeyen, ancak eğitim bilgileri değiştirildiğinde puanların etkilendiği ayrı bir 2025 denetimi anlatılıyor. Dar kapsamlı bir test, aynı iş akışının başka bir noktasında önem taşıyan bilgileri gözden kaçırabilir.

Kredi verme konusunda inceleme, ABD’nin büyük bir finansal teknoloji şirketinin verdiği yaklaşık 80.000 teminatsız bireysel krediyle ilgili araştırmaya işaret ediyor. Kadınlara verilen krediler, kredi kuruluşuna daha yüksek getiri sağladı. Araştırma bu bulguyu, bir modelin kadınların temerrüde düşme riskini olduğundan yüksek tahmin etmesine ve kredileri buna göre fiyatlandırmasına bağladı. Buradaki mesele, başvuruda toplumsal cinsiyet bilgisinin yer alıp almamasından ibaret değil; tahmin edilen risk, gerçek geri ödeme ve borçlunun ödediği tutar arasındaki ilişki.

Tıbbi Yapay Zekâda Yüksek Bir Genel Başarı Puanı Yeterli Değil

Sağlık hizmetleri, nüfus genelindeki performansın neden önemli farklılıkları gizleyebileceğini özellikle açık biçimde gösteriyor. Bir model genel olarak iyi performans gösterirken eğitim veya doğrulama verilerinde yeterince temsil edilmeyen kişiler için daha fazla hata yapabilir.

GEPI, Zack ve çalışma arkadaşlarının 2024 tarihli bir araştırmasına atıfta bulunuyor. Araştırmacılar, GPT-4’e diğer tüm özellikleri aynı olan, ancak bir erkek ya da bir kadından söz eden göğüs ağrısı vakaları sundu. Her bir vaka tanımı için 200 deneme yapıldığında model, erkek vakalarının %71’inde, kadın vakalarının ise %58’inde kardiyak stres testini son derece önemli olarak değerlendirdi; aradaki fark 13 yüzde puandı.

Bu bulgu, kontrollü bir değerlendirmede modelin verdiği önerilerle ilgilidir; gözlemlenen tedavi kararlarını veya hasta sonuçlarını yansıtmaz. Bu ayrım önemlidir; özellikle de raporda farklı modelleri, hastalıkları ve klinik görevleri farklı zamanlarda inceleyen keşif amaçlı araştırmalar yer aldığı için.

İnceleme, önemli bir noktayı da özellikle vurguluyor: klinik açıdan anlamlı biyolojik cinsiyet farklılıkları basitçe yok sayılmamalı. Buradaki zorluk, modelin önerisindeki bir farkın ilgili biyolojik özelliklerden mi, yoksa dayanaksız bir varsayımdan mı kaynaklandığını belirlemek. Bunun için temsili değerlendirme verileri ve hataların dikkatle incelenmesi gerekir; her önerinin aynı olmasını talep etmek değil.

Önyargı, Kararların Yanı Sıra Temsilleri de Şekillendirebilir

Rapor, kredi veya sağlık hizmeti gibi kaynaklara erişimin kısıtlanmasının bireye verdiği zararla grupların nasıl temsil edildiğine ilişkin zararı birbirinden ayırıyor. Üretilen tavsiye mektupları, haber yazıları ve meslek görselleri, hemen ardından bir kaynak tahsisi kararı gelmese bile kalıp yargıları pekiştirebilir.

GEPI’nin özetlediği araştırmalar, dil modellerinin kadınları daha çok kişilerarası niteliklerle, erkekleri ise liderlik veya yetenek özellikleriyle tanımladığını ortaya koydu. Görsel üreticiler üzerine yapılan araştırmalarda da mesleklerin cinsiyete göre ayrıştırılmasının abartıldığı görüldü. Bu sonuçlar, incelenen model ve sürümler için geçerlidir; bugün kullanılabilen her sistemin yeniden denetlendiği şeklinde yorumlanmamalıdır.

Tüketici asistanları ve arkadaşlık amaçlı sohbet botları farklı bir soruyu gündeme getiriyor. Bunların sesleri, kişilikleri ve tacize verdikleri yanıtlar, ürün tasarımına ilişkin bilinçli tercihlerdir. Yalnızca yanıtların istatistiksel dengesini değerlendirmek, bir ürünün nasıl bir şey olacak şekilde tasarlandığına yerleşmiş varsayımları gözden kaçırabilir.

İnceleme, yapay zekânın istismarı üretmeyi ve yaymayı kolaylaştırabildiği, rıza dışı sentetik cinsel içerikli görüntüleri de ele alıyor. Bu, gerçeği yanlış yansıtmaktan daha fazlası: Gerçek bir kişinin benzerliğinin izni olmadan kullanılması doğrudan zarara yol açabilir. Bu durum, yapay zekâ tarafından oluşturulan görsellerdeki mesleki stereotipleri düzeltmekten farklı bir müdahale gerektiriyor.

Bağımsız Testler Neden Önemli?

GEPI, tekrar tekrar karşılaşılan dört mekanizmayı tanımlıyor: eşitsiz tarihsel kayıtlardan öğrenme, stereotipleri yeniden üretme, yargıları nesnel ölçümler gibi sunma ve önyargılı çıktıların sonraki kararları veya modelleri beslemesine izin verme.

Bağımsız denetimler, bu mekanizmaların görünür hâle gelmesine yardımcı olur. Araştırmacılar, karşılaştırılabilir girdilerde tek bir özelliği değiştirip çıktılardaki değişimi inceleyebilir; bunu, tescilli bir modelin iç mimarisine erişimleri olmasa bile yapabilirler. Ancak tek bir istem veya kıyaslama testinde başarılı olmak, modelin tüm kullanım süreci boyunca adil olduğunu kanıtlamaz.

Yapay zekâ kullanan kuruluşlar için bunun pratik karşılığı, teknolojiyi gerçek kullanım senaryosunda test etmektir. Bir işe alım ekibinin, ön eleme puanlarından mülakat için aday seçimine uzanan süreci incelemesi gerekir. Bir kredi kuruluşunun risk tahminlerini geri ödeme sonuçlarıyla karşılaştırması gerekir. Bir sağlık kuruluşunun, doğrulama verilerinde hangi hastaların temsil edildiğini ve hataların nerelerde yoğunlaştığını anlaması gerekir. Bu kontroller, bir modelin genel olarak akıcı olup olmadığı veya ortalama doğruluk düzeyi hakkında sorulanlardan farklı sorulara yanıt verir.

Raporun Ortaya Koydukları ve Bilinmeyenler

Rapor, öncelikle ABD’deki kanıtlara dayanıyor; ilgili olduğu yerlerde uluslararası çalışmalara da yer veriyor. Kaynaklar farklı teknolojileri, yılları ve yöntemleri kapsıyor. Bazıları sonuçları belgeliyor, bazılarıysa simülasyonlarda kaygı verici davranışları ortaya çıkarıyor. İnceleme, ayrımcılığın evrensel bir oranını belirlemiyor ve her sistemin aynı önyargıyı ürettiğini de göstermiyor.

Raporda ayrıca bir ölçüm sorununa dikkat çekiliyor: Araştırmacılar, bir çıktıyı sonuçlarıyla ilişkilendirmek için gereken kurumsal verilere çoğu zaman erişemiyor. Bir eşitsizliği görmek önemli; ancak bunun gerçek dünyadaki maliyetini anlamak için işverenlerin, tedarikçilerin, kredi kuruluşlarının veya sağlık hizmeti sunucularının elindeki kayıtlara ihtiyaç duyulabilir.

GEPI’nin katkısı, çoğu zaman birbirinden ayrı ele alınan bulguları bir araya getirerek test ve hesap verebilirliğin, yapay zekânın etkilediği kararlara kadar uzanıp uzanmadığını sorgulaması. Raporun tamamında, Yapay Zekâ Kadınları Nasıl Başarısızlığa Uğratıyor: Önyargı Nasıl Daha da Güçleniyor, bu savın dayandığı yöntem, araştırma kaynakları ve sektörlere göre kanıtlar yer alıyor.