Yapay zekâ insan önyargısını ortadan kaldırmaz. Onu ölçeklendirir.

Yapay zekâ, kararları daha nesnel hâle getirmenin bir yolu olarak sunulur: Düşünceye göre, insan yargısını devreden çıkarırsanız insan önyargısını da ortadan kaldırırsınız. Ancak giderek büyüyen bir araştırma külliyatı bu görüşü çürütüyor.

Yapay zekâ sistemleri insanlık tarihinden öğrenir. Kararlarımız, dilimiz, kurumlarımız ve kaçınılmaz olarak kör noktalarımız üzerinden eğitilirler. Bu sistemler adayları taradığında, sağlık hizmetlerini paylaştırdığında veya çalışanları değerlendirdiğinde, söz konusu önyargıları tek bir insanın erişemeyeceği ölçekte ve hızda yeniden üretebilir.

Asıl büyük sorun, kararların tarafsız görünmesidir. Bir puan gelir. Bir sıralama belirir. Bir öneri oluşturulur. Bu kararın ardındaki varsayımların görünür bir izi yoktur ve odadaki hiç kimse sonuçtan kendini sorumlu hissetmeyebilir.

Yapay zekâ önyargısının öncelikle bir model sorunu değil, yönetişim sorunu olmasının nedeni budur. Bir model yeniden eğitilebilir; ancak yanıtlanması daha zor sorular kurumsaldır: Her karardan kim sorumludur, sistem neyi eniyilemek üzere tasarlanmıştır ve karara itiraz etme yetkisi kimdedir?

İnsan Önyargısı Yapay Zekâya Girer ve Makine Hızıyla Geri Döner

Bu mekanizma gizemli değil. Modeller, eğitim verilerindeki istatistiksel örüntülere uyum sağlar; geçmişteki sonuçlar (kimin işe alındığı, kimin bakım aldığı) ayrımcılığı zaten içeriyorsa modelin tahmin etmeyi öğrendiği hedef en başından çarpıktır. Son araştırmalar, bunun farklı sağlayıcılar ve görevlerde ne kadar kolay gerçekleştiğini gösteriyor:

• Geniş ölçekte işe alım. Stanford’da 4 milyon gerçek iş başvurusunu inceleyen bir analiz, Siyah başvuru sahiplerinin %26’sının ve Asyalı başvuru sahiplerinin %15’inin, yapay zekâ sisteminin kendi ırksal gruplarına karşı ayrımcılık yaptığı pozisyonlara başvurduğunu ortaya koydu. Modeller, onlarca yıllık insan işe alım kararlarından öğrenmişti.
• Özgeçmişlerin sıralanması. University of Washington araştırmacıları 550’den fazla gerçek özgeçmişi güncel dil modelleriyle değerlendirdi ve beyazlarla ilişkilendirilen isimlerin vakaların %85’inde tercih edildiğini, Siyah erkek isimlerinin ise nadiren tercih edildiğini buldu.
• İş yeri iletişimi. Johns Hopkins’in bu yılın başlarında yayımlanan araştırması, istemlerde kadınlarla daha sık ilişkilendirilen dil örüntüleri bulunduğunda GPT-4, Llama, Gemma ve Mistral’ın daha az gelişmiş ve daha az resmî iş e-postaları oluşturduğunu ortaya koydu.

Böyle bir sistem devreye alındığında, bu örüntüler eğitim verilerinin bir özelliği olmaktan çıkar ve gündelik kararların bir parçası hâline gelir.

Asıl Tehlike Ölçek ve Sessizlik

Önyargılı bir insan işe alım uzmanı bir yılda yüzlerce özgeçmişi tarayabilir. Önyargılı bir tarama sistemi ise bir gecede milyonlarca başvuruyu işleyip hepsine aynı kusurlu mantığı uygulayabilir. Bir insanın önyargılı kararı çoğu zaman tekil bir olaydır; bir modelin önyargılı kararları ise hızla politikaya dönüşebilir.

Sağlık hizmetleri, en çarpıcı örneklerden birini sunuyor. Milyonlarca hastayı etkileyen ve yaygın olarak kullanılan bir algoritma, ek bakımdan yarar görecek kişileri belirlemek üzere tasarlanmıştı. Algoritma, Siyah hastaları aynı derecede hasta beyaz hastalardan daha sağlıklı olarak puanladı. Kimse ırkçı bir kural yazmamıştı. Algoritma, sağlık harcamalarını tıbbi ihtiyacın göstergesi olarak kullanıyordu. Siyah hastalar geçmişte daha az bakım aldıkları ve bu nedenle daha düşük harcama yaptıkları için, algoritma düşük harcamayı daha iyi sağlık durumu olarak yorumladı. Araştırmacıların Science dergisinde yayımlanan analizine göre, bu tek tasarım tercihi düzeltilseydi ek yardıma ihtiyaç duyduğu belirlenen Siyah hastaların oranı %17,7’den %46,5’e çıkacaktı.

Yapay zekâ sistemleri yalnızca onlara verdiğimiz ölçütleri yansıtmaz; bu ölçütlerin ardındaki varsayımları da yansıtır. İnsan önyargısı da en az bunun kadar gerçektir; yalnızca fark edilmesi ve sınanması daha zordur. Bu nedenle çözüm, otomasyonu terk etmek değil, yönetişimi iyileştirmektir.

Hesap Verebilirliği Karar Sürecinin İçine Yerleştirin

Yapay zekâ uygulamalarında standart yaklaşım; bir model seçmek, onu iş akışına entegre etmek, performansı izlemek ve zaman içinde iyileştirmektir. Sistemin çıktıları insanları etkiliyorsa bu yeterli değildir.

Alternatif yaklaşımı, dağıtım yerine entegrasyon olarak adlandırıyorum: Hesap verebilir bir insan, sonradan üç ayda bir panoları incelemek yerine, kararı değiştirme konusunda gerçek yetkiyle karar sürecinin içinde yer alır. Bu yaklaşım üç adımla başlar:

1. Her kararı haritalandırın: Yapay zekânın şu anda taradığı, puanladığı veya onayladığı her kararı belirleyin ve her biri için adı belli bir insanı sorumlu tayin edin.
2. Geçmişi denetleyin: Geçmişteki veriler politikaya dönüşmeden önce modele hangi geçmiş verilerin aktarıldığını inceleyin.
3. Modele itiraz etmeyi güvenli hâle getirin ve itiraz oranını takip edin.

En önemli adım üçüncüsüdür. Çalışanlar makineye katılmamanın hata olarak değerlendirileceğini öğrenirse itiraz etmeyi bırakır ve bir insan teknik olarak hâlâ “karar döngüsünde” olsa da yapay zekâ fiilî karar vericiye dönüşür. Soru, son sözü bir insanın söyleyip söylemediği değildir. Asıl mesele, o kişinin “Makine yanılıyor” diyebilmek için yetkiye, bilgiye ve psikolojik güvenliğe sahip olup olmadığıdır.

Yeniden eğitim yardımcı olur; ancak önyargı kararlardan içeri sızar: modelin neyi eniyilemek üzere tasarlandığı, hangi verilerin dikkate alındığı ve çıktıları kimin denetlediği. Bakılması gereken yer burasıdır. Ayrıca bir sistemin bir şeyi neden o şekilde sıraladığını sorabilen ve yanıt doğrultusunda harekete geçme yetkisine sahip yapay zekâ liderleri de gerekir.

Override oranı, yoruma açık olduğu için yararlıdır. İnsanlar sistemi neredeyse hiç devre dışı bırakmıyorsa bunun nedeni sistemin gerçekten doğru sonuçlar vermesi olabilir. Ya da insanlar sisteme karşı çıkmanın güvenli olmadığını öğrenmiş olabilir. Sistemi yalnızca kıdemli çalışanlar devre dışı bırakıyorsa, çıktılara ve bu çıktılardan etkilenen kişilere çoğu zaman en yakın konumda olan genç çalışanlar susmayı öğrenmiş olabilir. Amaç, hiç override yapılmaması değildir. Amaç, gerekçeleri sağlam biçimde desteklenen bir override kararının sistemin işlediğinin göstergesi sayıldığı bir kültür oluşturmaktır. Birisi modeli devre dışı bırakıp haklı çıktığında, bu olayı geniş çapta paylaşın. Şirketinizin üretebileceği en iyi yapay zekâ eğitim materyali bu olabilir.

Niyetleri Değil, Sonuçları Test Edin

Kuruluşların önyargıları tespit etmeye başlamak için büyük bir başarısızlığı beklemesi gerekmez. Şu anda üç test uygulanabilir:

1. Kontrollü bir karşılaştırma. Özgeçmişteki ad veya istemdeki ağız gibi demografik göstergelerden yalnızca birini değiştirerek aynı görevi yürütün. İstem şablonu ve girdilerin sırası da dahil olmak üzere diğer her şeyi sabit tutun. Model çıktıları çalıştırmadan çalıştırmaya değiştiğinden, her çifti birkaç kez tekrarlayın ve aradaki farkın rastlantısal değişkenlikten kaynaklandığı söylenemeyecek kadar çok çift kullanın. Araştırmacıların özgeçmiş sıralamalarındaki ve yapay zekâ tarafından oluşturulan iş yeri iletişimlerindeki eşitsizlikleri tespit etmek için izlediği yöntem de temelde buydu. Kurum içindeki bir ekip, bunun ilk sürümünü bir öğleden sonra uygulayabilir.
2. Vekil gösterge denetimi. Sistemin optimize ettiği her ölçüt için şu iki soruyu sorun: Bu sayı gerçekte neyi ölçüyor ve kimleri olduğundan az gösterebilir? Sağlık hizmetleri algoritması, seçtiği ölçütü tahmin etmede başarısız değildi. Maliyeti tahmin etmede başarılıydı. Sorun, maliyetin tıbbi ihtiyacın yerine kullanılmasıydı. Bir sistem kendi ölçütüne göre doğru sonuçlar verebilir, ancak etkilediği kişiler açısından yine de ciddi biçimde yanılabilir.
3. Sonuçların karşılaştırılması. Uygulamada gruplar arasındaki seçilme veya onaylanma oranlarını karşılaştırın. ABD’deki istihdam uygulamalarında kullanılan beşte dört kuralı, oranı en yüksek grubun oranının %80’inin altına düşen grupları işaretler ve yaygın bir ilk tarama yöntemidir. Bunu yukarıda açıklanan override izleme yöntemiyle birlikte kullanın.

Bu testlerin sınırları vardır. Adı değiştirmek, açık demografik göstergeleri yakalar; ancak posta kodu, eğitim veya iş geçmişindeki boşluklar gibi vekil göstergeleri yakalayamaz. Sonuçları karşılaştırmanın önemli olmasının nedeni budur. Teknik önlemler (eğitim verilerini yeniden ağırlıklandırmak, adalet kısıtları eklemek, karar eşiklerini ayarlamak) eşitsizlikleri azaltabilir, ancak bir tercih yapmayı gerektirir. Kleinberg, Mullainathan ve Raghavan’ın araştırmaları ile Chouldechova’nın ayrı çalışması, grupların temel oranları farklı olduğunda bir modelin genellikle aynı anda hem kalibrasyonu hem de eşit hata oranlarını sağlayamayacağını gösterdi. Hangi adalet tanımına öncelik verileceği, bir modelin yanıtlayabileceği bir soru değildir. Bu, birilerinin sorumluluğunu üstlenip belgelemek zorunda olduğu bir karardır ve bizi yeniden yönetişim konusuna getirir.

Adaleti Doğrulukla Birlikte Değerlendirin

Adalet çoğu zaman ayrı bir girişim olarak ele alınıyor; teknik ekip doğruluğu, verimliliği ve maliyeti değerlendirdikten sonra İK veya hukuk birimi tarafından incelenecek bir konu gibi görülüyor. Bu ayrım, sorunun kendisinin de bir parçası. Adalet; doğruluk ve maliyetle aynı toplantıda, aynı hesap verebilirlik anlayışıyla ve sorumluluğu belirlenmiş bir kişi tarafından değerlendirilmelidir.

Bu görüşmeye İK ve hukuk birimlerinin yanı sıra bu tür sistemler tarafından yanlış değerlendirilmiş kişiler de katılmalıdır. Değeri olduğundan düşük görülen kişiler, sistemin gözden kaçırdığı noktaları çoğu zaman ilk fark edenlerdir. Bu, The Bias Advantage adlı kitabımın temel fikirlerinden biridir: Kuruluşların tarih boyunca göz ardı ettiği bakış açıları, karar alma sürecine dahil edildiklerinde güçlü bir içgörü kaynağına dönüşür.

Amaç, hiç hata yapmayan bir yapay zekâ sistemi değildir; böyle bir şey gerçekçi değildir. Amaç, yapay zekânın ne zaman yanıldığını fark edebilen, bunun nedenini anlayabilen ve hata başkalarının gerçeğine dönüşmeden müdahale edebilen bir kuruluş oluşturmaktır.