Şaşırıcı Grafikler Hatta ‘Kötü’ Araştırmaları Güvenilir Gösterebilir

Yeni bir araştırmaya göre, karmaşık ve ayrıntılı grafiklerle dolgun bir sunum, insanların önyargılı AI kararlarına güvenmelerine neden olabilir, hatta bu kararlar açıkça haksız olsa bile.

Bilimi kullanarak insanları kör eternity uygulaması, şu anki AI çağından önce ortaya çıkmış bir uygulamadır, ancak bu çağda daha da mükemmelleştirilmekte – en azından bilimsel makale gönderilerinin recent growthı nedeniyle sinyal-gürültü oranı unfavorabledır ve ‘ucuz hileler’ daha yaygın hale gelmiştir.

İnsanları aldatmak veya yanıltmak için kullanılan temel araç, yeni sistemler ve bilimsel kanıtlar sunarken, ‘yalanlar, lanet yalanlar ve istatistikler’ atasözüne sadık kalınarak, grafikler ve veri görselleştirmeleridir.

2019 yılında yapılan bir çalışmada, Pennsylvania’nın kırsal bölgelerindeki katılımcılar üzerinde grafiklerin etkileri incelenmiştir:

‘Suistimal veya bağımlılıktan etkilenen kişiler, bu maddeleri temsil eden grafiklere doğru çekildiler. İnsanlar, coğrafi bilgiler içeren bir grafğin kalitesini, evlerinin bulunduğu eyaleti bulma kolaylığına göre belirlediler.

‘Diğer insanlar, grafiklerin kendi anladıklarıyla değil, diğer insanlara iletişimi nasıl sağladıklarıyla ilgili olarak değerlendirdiler.

‘Son olarak, bir katılımcı, yerel haber kaynaklarından gelen görselleştirmelere ulusal kaynaklardan gelenlere göre daha fazla dikkat edeceğini önerdi.’

2019 yılında yapılan bir çalışmada, Pennsylvania’nın kırsal bölgelerindeki insanlara gösterilen bazı grafikler. Kaynak

Veri grafiklerinin hipnotik etkisi, makine öğrenimi çağında özellikle önemli hale gelmektedir, çünkü güven, AI ekonomisinin sürdürülmesi için kritiktir (ve belki de bir kriz önlenmesinde).

2024 yılında yapılan bir çalışmada, “Güven Junkı ve Kötü Knoblar: AI Görselleştirme Trustini Kalibre Etme” adlı bir makale yayınlandı ve “Güven Junkı” kavramı tanıtıldı: XAI görselleştirme, “altındaki model veya veriyle anlamlı bir bağlantı olmayan ve güveni artırmak için kullanılan” bir kavramdır.

Makale ‘Güven Junkı ve Kötü Knoblar: AI Görselleştirme Trustini Kalibre Etme’ den, önceden belirlenmiş bir amaç için veri çarpıtılması (sağda) yerine açıkça gösterilmesi (solda) örneği. Kaynak

Hızlı Bir İnceleme

“Güven Junkı” kavramı ortaya atıldığından beri, test edilmemişti – bu eksiklik, bir yeni makaleyle giderildi. Bu makalede, katılımcılara, bir AI çalışmasıyla ilgili sonuçlar sunuldu ve bu sonuçların, ABD’de bir grup adayın hukuk bar sınavını geçme olasılığını nasıl etkileyebileceği incelendi.

Eğer dikkatlice bakılırsa, filtreleme kriterlerinin a) tüm siyah erkekler ve b) diğer herkes olduğu ve tüm siyah erkeklerin sınavı geçemeyeceği öngörüsünde bulunulduğu görülebilir:

Yazarların deneylerinde kullanılan, bir model kararını (C) ve bir adayın (B) sınavı geçme olasılığını gösteren, ‘güven junkı’ olarak işlev gören açıklamalı bir stimulus (A, D, E, F). Kaynak

Çoğu katılımcı, modelin öngörülerine uydu ve onu adil ve güvenilir olarak değerlendirdi, anlaşırlık, güven ve algılanan adillik, eklenen alakasız grafik ve ayrıntılarla birlikte arttı – hatta birçok kişi açıkça ırkçı önyargıya dikkat etmedi.

Bazı kullanıcılar, çalışmaya itiraz etti, ancak bu, merkezi sorunla ilgili değildi:

‘Modelin adil olduğunu söyleyen 19 örnek kaydettik (örneğin, bir katılımcı, “Irksal veya cinsiyetçi önyargı olmadan adil” dedi). Ancak, bazı katılımcılar modelle ilgili rahatsızlıklarını ifade ettiler. Bir katılımcı, “İnsanların bunu ne tür karanlık amaçlar için kullanabileceğinden endişe duyuyoruz” dedi.’

Ancak, üç çalışma grubundaki katılımcıların hiçbiri, gerçek sorunu tespit edemedi.

Yazarlar şöyle diyor:

‘Kısa sürede, güven junkının işe yaradığını gördük: katılımcılar ya ‘sakinleştirildiler’ ya da ‘uykuya daldılar’ alakasız bilgilerle.

‘Tüm bu manipülasyon ve ikna, bir modelin kararlarını doğru şekilde değerlendirmek için XAI’nin güçlendirmesi gereken bir durumda gerçekleşti.’

Çünkü AI’nin bize neler anlattığını kontrol etmek konusunda (ya da şüpheli self-serving nedenlerle, ya da hatalı çıkış nedeniyle) artan bir şekilde tavsiyede bulunuluyor, belki de başlıkların ötesine geçerek araştırma makalelerinin, şirketlerin çeyrek raporlarının ve diğer çeşitli formatların kaynak materyallerini analiz etmek için daha derine inmeliyiz.

Ancak, ‘güven junkı’ olarak adlandırdığımız ‘güven verici’ grafiklere dikkat etmek için hazır mıyız?

Yeni makale “Güven Junkı, Yüksek Derecede Ayrımcı Tahmin Edici Modellere Dayanan Haksız Gereksiz Destek” adlı çalışmadan alınmıştır ve Boston, Massachusetts’teki Northeastern Üniversitesi’nden üç araştırmacı tarafından yapılmıştır. Bir ek site de mevcuttur.

Yöntem

Yazarlar, XAI açıklamalarındaki ‘güven junkı’ üzerine bir arasında-subjects crowdsourced deney (yani, farklı katılımcılar farklı koşullara atanmıştır) gerçekleştirdiler, teknik olarak doğru ancak alakasız detayların artmasının, bir önyargılı modelin adil ve faydalı olduğuna kullanıcıları ikna edebileceğini test ettiler.

Stimüller, önceki çalışmalardan esinlenmiştir, sonuç olarak XAI panelleri, birden fazla açıklama tekniğini tek bir arayüze birleştirmiştir.

Yukarıda bahsedilen yüksek derecede önyargılı model için, araştırmacılar ‘güven junkı’ açıklamaları geliştirdiler, açıklamalar kasıtlı olarak ‘yanıltıcı’ veri sunum teknikleriyle temaslandı:

‘Modelin ikili sınıflandırma görevi için aşırı miktarda bilgi sağladık. Büyük miktarda karmaşık görünen ancak esasen alakasız detayları dahil etmek, kullanıcıları çalışmanın bir parçası olan kullanıcıları boğmak yerine gerçekten faydalı veri sağlamak için tasarlandı.

‘Bu teknik, kullanıcıyı veri hakkında tam olarak anlamadan kabul etmeye zehirler. ‘

Çalışma, önceki tartışmalardan esinlenmiştir ve Uluslararası Bakaloru ve Genel Sertifika Eğitiminde AI notlandırmasıyla ilgili tartışmalardan yararlanmaktadır, Hukuk Okulu Kabul Bar Passage veritabanını kullanmaktadır, bu veritabanı 1991-1997 yılları arasında 20.000 adayın demografik, akademik ve sonuç verilerini içermektedir.

Veri, kasıtlı olarak önyargılı bir model oluşturmak için kullanılmıştır, bu model siyah erkek adayların sınavı geçemeyeceğini öngörürken, diğerlerini geçer olarak değerlendirmektedir; ancak model, ırk ve cinsiyet açısından sınıf dengesizlikleri nedeniyle %93,7’lik bir doğruluk oranına ulaşmaktadır.

Bir ‘otoriteye başvur’ stratejisi de test edilmiştir, bu strateji, prestijli bir üniversite bağlantısı, veri seti boyutu ve aldatıcı doğruluk gibi yüzeyde etkileyici ipuçlarını içermektedir.

Modelin ırk ve cinsiyete dayanmasına ilişkin önlemler atlanmıştır ve sadece olumlu sonuçlar sunulmuştur. Benzer adayların küçük bir grubu, modelin öngörülerinin yerine gerçek sınav sonuçlarıyla birlikte sunulmuştur – ve bu, siyah erkek adaylara sürekli olarak başarısızlık atanması şeklindeki kalıbı gizlemeye yardımcı olmuştur.

Katılımcıların sistemi nasıl yorumladıklarını şekillendirmek için, bilgiler, basit ancak yanıltıcı açıklamalar yapılmasına yol açacak şekilde sunulmuştur. Tüm mevcut özellikler hakkında bilgi verilmiştir, bu da birçok faktörün kararları etkilediği izlenimini yaratmıştır – aslında sadece ırk ve cinsiyet kullanılmıştır. Bireysel özelliklere ilişkin alaycı bir vurgu, katılımcıların, bir adayın neden geçtiği veya geçmediğine ilişkin yanlış ancak inandırıcı hikayeler oluşturmasına yol açmıştır.

‘Kurbanlar’

Test grubunda, her açıklama, üç ‘güven junkı’ seviyesine atanmıştır: Temel koşulundaki katılımcılar, sadece temel köken, bir aday profili ve modelin kararını görmüştür; Model koşulundaki katılımcılar, ayrıca doğruluk istatistiklerini görmüştür; ve Her Şey koşulundaki katılımcılar, ayrıca özellik histogramlarını ve eğitim verisinden alınan benzer aday profillerini görmüştür.

Çalışma, bir kurumun inceleme kurulunun onayını almıştır ve Prolific üzerinde gerçekleştirilmiştir, katılımcılar saat başına 15 dolar ödendi ve koşullara rastgele atanmıştır.

Her katılımcı, sekiz bar sınavı adayı profiline rasgele sırayla baktı ve her bir adayın geçip geçmeyeceğine karar verdi, anlaşılabilirlik bağımlılık ölçütü olarak kullanıldı, ardından güveni değerlendirmek için anketler yapıldı ve Temel, Model ve Her Şey koşullarında sırasıyla 28, 27 ve 28 katılımcıdan oluşan bir örneklem alındı.

Yazarlar, daha fazla ‘güven junkı’ bilgisinin, modelin çıktılarına güveni artırmak için ‘adil yıkama’ yapabileceğini öne sürdüler. Model ve Her Şey koşullarındaki katılımcıların, Temel koşulundaki katılımcılardan daha yüksek anlaşma ve adillik, güvenilirlik ve fayda algılarına sahip olacağını beklediler. Ayrıca, katılımcıların yazılı açıklamalarını analiz ettiler, modelin kararlarını nasıl anladıklarını ve önyargıya veya bilgi eksikliğine dikkat edip etmediklerini görmek için.

Sonuçlar

Model anlaşmazlığı açısından, insan katılımcılar doğru sonucu %66,6 oranında belirlerken, modelle %73,9 oranında anlaşmaya vardı – bu, modelin kararlarına yanlış olsa bile uyduğu anlamına gelmektedir. Bu etki, daha fazla açıklama detayı eklendikçe güçlenmiştir, en ayrıntılı koşul, anlaşmayı %82,6’ya çıkarmış ve katılımcıların yanlış olarak modelin kararlarına uyma olasılığını artırmıştır:

Toplu puanlar için anlaşma (sol), güven (orta) ve memnuniyet (sağ); ‘Her Şey’ koşulundaki katılımcılar, adillikle ilgili olmayan ek açıklamalı içeriğe maruz kaldılar ve tüm ölçümler boyunca önemli ölçüde daha yüksek puanlar bildirdiler, model aynı kaldı ve açıkça haksızdı.

Güven puanları, koşul tarafından önemli ölçüde farklılık gösterdi, Her Şey koşulundaki katılımcılar, Temel koşulundaki katılımcılardan (M = 16,8) daha yüksek güven (M = 25,3) bildirdiler, Model koşulundaki katılımcılar (M = 20,1) ise diğer iki koşuldan önemli ölçüde farklı değildi.

Açıklamanın memnuniyeti, koşul tarafından önemli ölçüde farklılık gösterdi, Her Şey koşulundaki katılımcılar, diğer iki koşuldan (M = 26,4) daha yüksek memnuniyet (M = 34,2) bildirdiler.

Katılımcılar, adil olarak değerlendirdiler, dört soru için yedi puanlık bir ölçek kullanarak, cinsiyet önyargısı, genel önyargı ve etik konularını kapsadı, ancak koşullar arasında bu ölçümlerde anlamlı farklılıklar bulunmadı:

Katılımcıların ırk ve cinsiyet açısından adillik, önyargının отсутствı ve genel etik konularına ilişkin puanlarının dağılımı.

Kalite Kontrolü

Niteliksel yanıtlar, en az bilgi verilen katılımcıların, modelin sorunlarını daha fazla fark etme olasılığı daha yüksek olduğunu gösterdi – özellikle ırk ve cinsiyet bağımlılığını. Ayrıca, önemli detayların eksik olduğunu söyleme olasılıkları daha yüksekti.

Buna karşılık, daha ayrıntılı açıklamalar sunulan katılımcılar, bu endişeleri daha az sıklıkla dile getirdiler. Ancak, sadece üç katılımcı, modelin kararlarını etkileyen ana faktörlerin kısmen veya tamamen anlaşına ulaştı ve hiçbiri modelin nasıl çalıştığını tam olarak belirleyemedi.

Katılımcıların, olası ırk veya cinsiyet önyargısı ve eksik açıklamalı bilgiyi koşullara göre nasıl sıklıkla bildirdiklerinin grafikleri.

Çok sayıda katılımcı, modeli açıkça adil olarak tanımladı, 19 böyle bir yanıt kaydedildi, açıkça önyargılı olmasına rağmen.

Aynı zamanda, bazı katılımcılar endişelerini dile getirdiler, 15 yanıt, modelin bireysel adayların karmaşıklığını gerçekten yakalayabileceği konusunda soru işareti oluşturdu.

Yazarlar şöyle diyor:

‘Sadece az sayıda katılımcı, modeli haksız veya önyargılı olarak tanımladı. Modelin yanlış veya haksız olabileceği konusunda endişe duyan birkaç katılımcı, modelin neden kusurlu olduğunu doğru bir şekilde açıklamakta başarısız oldu ve kritik model bilgilerinin отсутствı nedeniyle, neden yanlış veya haksız olabileceğini açıklamak için gayri resmi, genellikle yanlış akıl yürütmeye başvurdular.’

Makale şöyle diyor*^†:

‘Veri okuryazarlığının artırılması, bazı sorunları çözebilir, ancak eğitim alone yeterli değildir (hatta self-desc AI uzmanları, XAI tekniklerini yanlış yorumlar veya anlayamaz).

‘Hullman et al.’in iddiasını yineliyoruz: AI açıklamalarının başarısı, ancak bu açıklamaların amaçlarını dikkate alarak değerlendirilebilir.

‘XAI açıklamalarının retorik amaçlarına ve ikna edici güçlerine dikkat çekiyoruz, bunlar, ikna edici olarak inşa edilmişlerdir.’

Sonuç

Önümüzdeki modellerin, sahte grafiklerle ifadeleri süsleme eğilimlerinin boyutu açığa çıktıkça, AI tarafından üretilen grafiklere güvenmememiz ve genel olarak görselleştirmelerin ‘ambiyans’ etkisini göz ardı etmemiz gerektiği giderek daha açık hale gelmektedir – tıpkı derin sahteciliklerin ortaya çıkmasıyla fotoğrafçılığa olan güvenin erozyona uğraması gibi.

Bu, endişe verici bir gelişmedir, çünkü bu, medyada gördükleri ve duyduklarını titizlikle değerlendirmeye halkın isteksizliğine bir başka ‘yorgunluk noktası’ oluşturur ve yanlış bilgilendirme konusunda bir tür ‘sonsuza kadar teslimiyet’ riski taşır.

* Yazarların inline alıntılarını hyperlinklerle değiştirdim.

^† Yazarların orijinal formatı, benimki değil.

İlk kez Pazartesi, 20 Temmuz 2026’da yayınlandı