Kalabalık Kaynaklı AI Yarışması Mammogram Analizini Geliştirmek İçin Sona Erdi

Mammogramlar kadın sağlığı ve meme kanserinin erken belirtilerini yakalamak için önemlidir. Ancak mammogramlar insan uzmanlar tarafından yorumlanması gerekir ve hatta yüksek eğitimli uzmanlar da hatalar yapar. Mammogramların yanlış pozitif oranının ABD’de yaklaşık %10 olduğu tahmin edilmektedir. Daha doğru mammogram okumaları sağlayan sistemler oluşturmak için, Dijital Mammografi (DM) Dream Challenge, yeni mammogram okuma algoritmaları geliştirmek için bir kalabalık kaynaklı girişimi başlattı.

PhysicsWorld’e göre, bilgisayar görme teknikleri ve derin öğrenme algoritmaları son yıllarda daha da gelişti, araştırmacılar ve mühendisler meme kanserinin olası işaretlerini tanımak için AI algoritmalarının kullanımına yöneliyorlar. Dijital Mammografi (DM) Dream Challenge, meme kanseri belirtileri tanıma konusunda AI algoritmalarının kullanımını araştırmak için bir yarışma başlattı.

DM Dream Challenge, mammografi yorumlanması ile ilgili derin öğrenme algoritmalarının şimdiye kadarki en büyük çalışmasıdır. DREAM挑戰lerinin başkanı Justin Guinney, bu挑戰lerin nedeninin, dozens of derin öğrenme modellerinin iki farklı veritabanında yapılandırılmış bir şekilde değerlendirilmesine izin vermesi olduğunu açıkladı. Challange’de yer alan katılımcılar, mammografi verilerine dayalı olarak eğitilebilecek ve bir yıl içinde meme kanseri teşhisi konma olasılığını gösteren bir olasılık puanı üretebilecek algoritmalar tasarlamak zorundaydı. İkincil bir challange koşulu da vardı. İkinci görevde, algoritmaların demografik risk verileri, klinik verileri ve önceki tarama sınavlarından alınan görüntüler gibi ek bilgilerle eğitilmesi mümkündü.

Modelleri eğitmek için iki veri kümesi kullanıldı. İlk veri kümesi, ABD’li araştırmacılar tarafından derlenen Kaiser Permanente Washington (KPW) veri kümesiydi. İsveç’teki Karolinska Enstitüsü’nden (KI) araştırmacılar tarafından derlenen ikinci bir veri kümesi vardı.

Challange’a 1100’den fazla katılımcı katıldı, 126 farklı takımdan oluşuyor ve dünyanın dört bir yanından insanlardan oluşuyordu. Challange’ın ilk bölümünde, modeller KPW veri kümesi kullanılarak eğitildi, bu veri kümesi 140.000’den fazla tarama sınavının görüntülerini içeriyordu. İkinci challange’ın sonuçlarıyla karşılaştırıldığında, klinik verileri gibi daha fazla özelliğe erişimin algoritmaların ayrımcılık gücünü anlamlı bir şekilde iyileştiremediği bulundu. Ancak DM Dream ekibi, gelecekteki algoritma geliştirme çalışmalarının, hastaların önceki görüntülerinin analizini içermesi gerektiğini öne sürdü, çünkü katılımcıların bu verileri tam olarak kullanmadıklarını düşündüler.

Health IT Analytics’e göre, DR Dream ekibi, en iyi sekiz performans gösteren takımı bir araya getirmek ve bir toplu sınıflandırma modeli tasarlamayı istiyor, bu modelin bireysel modelleri geçebilecek mi diye görmek istiyor. Challange koordinatörleri, çeşitli algoritmaların tahminlerinin ağırlıklı bir birleşimini kullanarak Challange Ensemble Model (CEM) oluşturdular. CEM modelinin olasılıksal tahminleri, radyologların yorumlarıyla karşılaştırıldı ve özgüllük kullanılarak değerlendirildi. Radyologlar %90,5 özgüllük elde ederken, CEM modeli yalnızca %76,1 özgüllük elde etti. Sonuçlar hayal kırıklığı yaratsa da, CEM modelinin tahminleri ve radyolog yorumlarının birleştirilmesiyle oluşturulan bir başka model (CEM+R), özgüllüğü %92’ye çıkardı.

Benzer sonuçlar, yalnızca modelleri doğrulamak için kullanılan KI test veri kümesinde de elde edildi, bu veri kümesi 166.000’den fazla sınavın görüntülerini içeriyordu. CEM modeli radyologlardan biraz daha düşük performans gösterdi (%92,5 özgüllük karşı %96,7 özgüllük), ancak CEM+R daha iyi sonuçlar elde etti (%98,5 özgüllük).

Hiçbir bireysel model insan uzmanlarını geçemezken, CEM+R modeli, yalnızca radyologların yorumlarına kıyasla hafif bir avantaj elde etti. İnsanların sezgisini bir AI asistanıyla birleştirmek, doğruluğu artırabilir.