Disease Odyssey Tanı Açıklarını Ortaya Çıkarırken Protege Bağımsız Sağlık Yapay Zekâ Testlerini Başlatıyor

Protege, sağlık alanındaki yapay zekâ sistemlerine yönelik bağımsız değerlendirmeler başlatıyor ve modelleri daha önce karşılaşmadıkları hasta vakaları üzerinde test ediyor. İlk karşılaştırma ölçütü olan Disease Odyssey, bunun neden önemli olduğuna dair erken bir gösterge sunuyor: Şirkete göre, önde gelen modeller hasta öykülerinden yola çıkarak uyku apnesi ve anemi gibi rahatsızlıkları vakaların yalnızca %53–%69’unda belirleyebildi.

21 Ekim’deki lansman kapsamında Xlue AI ve Standard Model Biomedicine ile yapılan değerlendirmeler de yer alıyor. Sonuçlar birlikte ele alındığında, hastaneler ve geliştiriciler açısından önem taşıyan iki soruya yanıt arıyor: Bir model gerçek kayıtlardan yararlı klinik ipuçları çıkarabiliyor mu ve bu tahminleri üretmenin maliyeti ne kadar?

Protege’nin yaklaşımı, bu değerlendirmenin daha büyük bir bölümünü modelleri geliştiren kuruluşların dışına taşımak. Şirket, mahremiyeti korunan hasta kayıtları ve klinisyenler tarafından doğrulanmış yanıtlar kullanarak değerlendirmeler tasarlıyor, yürütüyor ve puanlıyor. Böylece geliştiriciler, performans hakkında daha kapsamlı iddialarda bulunmadan önce zayıf noktaları belirleyebiliyor.

Tıbbi Sınav Sorularını Yanıtlamaktan Farklı Bir Test

Tanının açıkça belirtildiği bir tıp sorusu, birkaç muayeneye yayılan bir hasta öyküsünden farklıdır. Belirtiler zaman içinde gelişir, kayıtlar eksik olabilir ve belirleyici ipucu, daha az ilgili bilgilerin arasında gizli kalabilir. Disease Odyssey, bu uzunlamasına hasta öykülerinden yararlanarak hastalıkları tanı konmadan önce saptamaya odaklanıyor.

Açıklanan %53–%69 aralığı, sağlık alanındaki yapay zekânın geneline değil, test edilen vaka ve rahatsızlıklara ilişkindir. Protege’nin duyurusunda örneklem büyüklükleri, karşılaştırmada kullanılan modellerin tam olarak hangileri olduğu veya sonuçlardaki belirsizlik hakkında daha genel bir sıralamayı destekleyecek yeterli ayrıntı yer almıyor. Ancak duyuru, şirketin ilk karşılaştırma ölçütünde iyileştirme için hâlâ önemli bir alan bulunduğunu gösteriyor.

Protege’nin kurucu ortağı ve CEO’su Bobby Samuels duyuruda, “Sağlık alanındaki yapay zekâ hızla ilerliyor, ancak onu değerlendirme yöntemlerimiz bu hıza yetişemedi,” dedi.

Protege Test Sürecini Geliştirme Sürecinden Nasıl Ayırıyor?

Protege, sürecini çift kör olarak tanımlıyor: Model geliştiricileri hasta verilerini veya soruları önceden görmüyor; Protege ise sistemleri nasıl geliştirildiklerini bilmeden değerlendiriyor. Burada bu terim, randomize bir klinik çalışmadan ziyade değerlendirme düzenini ifade ediyor.

Test materyallerini geliştirme sürecinin dışında tutmak önemlidir; çünkü karşılaştırma ölçütlerindeki sorulara önceden maruz kalmak, görünen performansı olduğundan yüksek gösterebilir. Eğitim sırasında bir yanıtla karşılaşmış olan model, gerçekten yeni bir vakayla karşılaştığında olduğundan daha yetkin görünebilir.

Şirketin sağlık alanına yönelik değerlendirme platformu çeşitli pratik denetim mekanizmaları sunuyor. Platform; korunan ve eğitim sürecinden ayrı tutulan test vakalarını, sürüm takibi yapılan görev ve puanlama sistemlerini, ayrıca hata örüntülerinin ve etkilenen nüfus gruplarının analizini içeriyor. Sürüm takibi, model sürümleri arasındaki karşılaştırmaları daha anlamlı kılıyor: Görev ve puanlama kuralları fark ettirmeden değişmediğinde, daha yüksek bir puanı yorumlamak kolaylaşıyor.

Platform; elektronik sağlık kayıtları, klinik notlar, görüntüleme, patoloji, sigorta talepleri ve sağlık sonuçları dâhil olmak üzere birbiriyle bağlantılı bilgilerden yararlanıyor. Data Lab, klinik soruları değerlendirme görevlerine ve referans yanıtlara dönüştürüyor. Bu yaklaşımın amacı, modellerin yalnızca tek tek tıbbi bilgileri tekrarlayıp tekrarlamadığını değil, klinik bağlamı nasıl kullandığını da test etmek.

Uzmanlaşmış Modeller Performans ve Maliyet Açısından Yarışıyor

Değerlendirmeler farklı görevleri inceliyor; bu nedenle sonuçları Disease Odyssey’den ayrı ele almak gerekiyor.

Standard Model Biomedicine ile yürütülen çalışmada Protege, meme ve akciğer kanserinde sağkalım ile hastanın bir sonraki tedavisine kadar geçen süreye ilişkin tahminleri değerlendirdi. Şirket, uzmanlaşmış modelin önde gelen sistemlerle rekabet edebilecek bir performans sergilediğini ve tahmin başına maliyetinin 36–170 kat daha düşük olduğunu bildiriyor.

Xlue AI’ın HealthSAW modeli için yapılan ayrı bir değerlendirmede kanser, kardiyovasküler hastalıklar ve nörolojik rahatsızlıklarla ilgili gelecekteki riskler incelendi. Protege, HealthSAW’ın 16 testin 14’ünde önde gelen modellerden daha iyi performans gösterdiğini ve hasta başına maliyetinin bu modellerin maliyetinin %0,1’inden az olduğunu belirtiyor.

Bunlar, Protege’nin bildirdiği göreve özgü karşılaştırmalardır; tek bir modelin her klinik ortamda en iyi seçenek olduğunu göstermez. Duyuruda maliyet hesaplama yönteminin tüm ayrıntıları açıklanmıyor. Tahmin maliyetlerinin düşmesi, tekrarlanan taramaları veya büyük ölçekli analizleri daha uygulanabilir kılabilir; ancak uygulama maliyetleri entegrasyona, denetime ve hatalı sonuçların yol açtığı iş yüküne de bağlıdır.

Değerlendirme Süreci Model Güncellemelerine Ayak Uydurmalı

Protege’nin daha geniş kapsamlı iş modeli, yapay zekâ geliştirme süreçleri için veri sağlamayı da içeriyor. Bu nedenle geliştirme verileriyle değerlendirme verilerinin birbirinden ayrılması, yaklaşımının önemli bir parçası. Şirketin materyallerinde verilerin kökeni, kontrollü erişim ve güncellenen hasta vakaları, testlerin zaman içinde yararlılığını korumaya yönelik yöntemler olarak öne çıkarılıyor.

Şirket, değerlendirmeleri patoloji, dermatoloji, onkoloji ve idari iş akışları gibi alanlara genişletmeyi planlıyor. Amaç, bir ürüne kalıcı olarak iliştirilen tek bir puan yerine, modeller değiştikçe yeniden yürütülebilen tekrarlanabilir bir süreç oluşturmak.

Bu, hem alıcılar hem de geliştiriciler için faydalıdır. Bir hastanenin, güncellenmiş bir modelin kendi hasta grubu ve iş akışı için hâlâ işe yarayıp yaramadığını bilmesi gerekir. Bir geliştiricinin ortalama puandan daha fazlasına ihtiyacı vardır: Hangi vakalarda başarısız olunduğunu ve bir alandaki iyileşmenin başka alanlarda zayıflıklara yol açıp açmadığını anlaması gerekir.

Bağımsız testler bu görüşmeleri daha somut hâle getirebilir; ancak geçmişe dönük kıyaslama performansı, klinik uygulamada fayda sağlandığının gösterilmesiyle aynı şey değildir. Prospektif çalışmalar, hasta grupları arasındaki performans, yanlış pozitif ve yanlış negatif oranları ile klinisyenlerin iş yükü üzerindeki etkiler, kanıtların önemli unsurları olmaya devam ediyor.

Protege’nin lansmanı, sağlık alanında yapay zekâ geliştiren şirketlerin önüne daha çarpıcı bir soru koyuyor: Vakalar tanıdık olmadığında ve testi başka biri tasarladığında sistem nasıl performans gösteriyor? Yeni hizmetin değeri, yöntemlerinin ve sonuçlarının kuruluşların bu soruyu ne kadar net yanıtlamasına yardımcı olduğuna ve testlerin, özenle hazırlanmış gösterimlerin gözden kaçırdığı sorunları ne kadar tutarlı biçimde ortaya çıkardığına bağlı olacak.