Cinsiyet Önyargılı Veri Üzerine Eğitilen AI Modelleri Hastalıkları Teşhis Etmekte Daha Kötü Performans Gösterir

Argentina’dan araştırmacılar tarafından yürütülen ve PNAS dergisinde yayınlanan bir çalışma, cinsiyet önyargılı eğitim verilerinin hastalık teşhisinde ve diğer tıbbi konularda model performansının daha kötü olmasına yol açtığını ima etti. Statnews tarafından bildirildiği üzere, araştırmacılar kadın hastaların önemli ölçüde underrepresented veya tamamen hariç tutulduğu modelleri eğittiler ve algoritmanın kadın hastaları teşhis etmede önemli ölçüde daha kötü performans gösterdiğini buldular. Aynı durum, erkek hastaların hariç tutulduğu veya underrepresented olduğu durumlarda da geçerliydi.

Son beş yıl içinde, AI modelleri ve makine öğrenimi daha yaygın hale geldikçe, önyargılı veri setleri ve bunlardan kaynaklanan önyargılı makine öğrenimi modelleri sorunlarına daha fazla dikkat çekildi. Makine öğreniminde veri önyargısı, garip, sosyal olarak zararlı ve dışlayıcı AI uygulamalarına yol açabilir, ancak tıbbi uygulamalarda canlar söz konusu olabilir. Buna rağmen, sorun hakkında bilgi sahibi olunmasına rağmen, birkaç çalışma önyargılı veri setlerinin ne kadar zararlı olabileceğini量ify etmeye çalıştı. Araştırma ekibi tarafından yürütülen çalışma, veri önyargısının birçok uzmanın önceden tahmin ettiğinden daha aşırı etkileri olabileceğini buldu.

Son birkaç yıl içinde tıbbi bağlamlarda AI’ın en popüler kullanımlarından biri, AI modellerini kullanarak hastaları tıbbi görüntüler temelinde teşhis etmektir. Araştırma ekibi, çeşitli tıbbi durumların varlığını tespit etmek için X-ray’ler kullanılarak eğitilen modelleri analiz etti: pnömoni, kardiyomegali veya fıtık. Araştırma ekibi, Inception-v3, ResNet ve DenseNet-121 gibi üç açık kaynaklı model mimarisini inceledi. Modeller, Stanford Üniversitesi ve Ulusal Sağlık Enstitüleri’nden gelen iki açık kaynaklı veri setinden alınan göğüs X-ray’leri kullanılarak eğitildi. Veri setleri kendileri cinsiyet temsilinde oldukça dengeli olmasına rağmen, araştırmacılar verileri cinsiyet dengesizliği olan alt kümelerine böldü.

Araştırma ekibi, her biri farklı erkek/kadın hasta taraması oranlarına sahip beş farklı eğitim veri seti oluşturdu. Beş eğitim seti aşağıdaki gibiydi:

• Tüm görüntüler erkek hastalardan oluşuyordu
• Tüm görüntüler kadın hastalardan oluşuyordu
• Erkek hastalar %25 ve kadın hastalar %75
• Kadın hastalar %75 ve erkek hastalar %25
• Erkek ve kadın hastaların yarısı

Model, bir alt küme üzerinde eğitildikten sonra, hem erkek hem de kadın hastalardan oluşan bir tarama koleksiyonu üzerinde test edildi. Çeşitli tıbbi durumlar boyunca, eğitim verilerinin önemli ölçüde cinsiyet önyargılı olduğu durumlarda modellerin doğruluğunun çok daha kötü olduğu dikkat çekici bir eğilim vardı. İlginç bir şey, bir cinsiyetin eğitim verisinde overrepresented olması durumunda, bu cinsiyetin bundan yararlanmadığıydı. Model, bir cinsiyet için önyargılı veri üzerinde eğitilmiş olsa da, kapsayıcı bir veri seti üzerinde eğitilmiş olsaydı, o cinsiyet için daha iyi performans göstermedi.

Çalışmanın kıdemli yazarı Enzo Ferrante, Statnews tarafından alıntılandı ve eğitim verilerinin diverse ve temsil edici olması gerektiğini vurguladı. tüm test edilecek popülasyonlar için.

Bir cinsiyete ait veriler üzerinde eğitilen modellerin başka bir cinsiyeti teşhis etmekte neden daha kötü performans gösterdiği tam olarak net değil. Bazı farklılıklar fizyolojik farklılıklardan kaynaklanabilir, ancak çeşitli sosyal ve kültürel faktörler de bazı farklılıklara neden olabilir. Örneğin, kadınlar, hastalıklarının ilerleme aşamasında erkeklerden farklı olarak X-ray çektirebilirler. Eğer bu doğruysa, bu, eğitim görüntülerindeki özelliklere (ve dolayısıyla model tarafından öğrenilen desenlere) etki edebilir. Eğer bu böyleyse, araştırmacılar için veri setlerini önyargıdan arındırmak çok daha zor hale gelir, çünkü önyargı veri toplama mekanizmaları aracılığıyla veri setine işlenir.

Araştırmacılar bazen önyargılı veya önyargılı verilerle çalışmak zorunda kalabilirler. Tıbbi durumların teşhis edilme şekilleri arasındaki farklılıklar genellikle dengesiz veri setlerine yol açar. Örneğin, meme kanseri hastaları hakkındaki veriler neredeyse tamamen kadınlardan toplanır. Benzer şekilde, otizm kadın ve erkeklerde farklı şekilde ortaya çıkar ve bu nedenle durum erkeklerde kızlara göre çok daha yüksek oranda teşhis edilir.

Araştırmacılar, önyargılı veri setleri ve veri önyargısı için her şekilde kontrol etmeye çalışmalıdır. Gelecek çalışmalar, araştırmacıların önyargılı verilerin etkisiniquantify etmelerine yardımcı olacaktır.