Google, sağlıkta yapay zekâyı değerlendirmek için çok yöntemli bir çerçeve yayımladı

Google’ın duyurduğu teknik rapor, 4 Kasım 2026’da sağlık alanındaki genel amaçlı üretken yapay zekâyı nasıl değerlendirdiğini ortaya koyuyor. Çerçeve; yaygın ve yüksek riskli senaryolarda doğruluğu, güvenliği ve yararlılığı değerlendirmek için yanıtı önceden belirlenmiş sorular içeren kıyaslamaları, yapay zekâ otomatik değerlendiricilerini ve uzmanların yaptığı insan incelemesini bir araya getiriyor.

Raporun yazarı Dr. Sarah Montgomery-Taylor, Google for Health’te klinik değerlendirme lideridir; Dr. Elizabeth McGlynn ve Dr. Dana Gelb Safran da çalışmaya katkıda bulunmuştur. Google, bu yaklaşımı geliştirdiğini ve modellerinin güvenli sağlık etkileşimlerini destekleyen yararlı ve doğru yanıtlar verip vermediğini değerlendirmek için kullanmayı sürdürdüğünü belirtiyor. Yöntemin yayımlanmasıyla şeffaflığın artırılması ve geliştiricilerin, araştırmacıların ve klinisyenlerin insanların güvenebileceği araçlar geliştirmesine yardımcı olunması amaçlanıyor.

Değerlendirmeyi Gerçek Klinik Kullanıma Göre Şekillendirmek

Yazarlar, birbirinden bağımsız görevler için geliştirilen değerlendirme yöntemlerinin genel amaçlı modelleri yeterince kapsamadığını savunuyor. Örnek olarak, bilgisayarlı tomografi (BT) görüntüsünde akciğer kanserini saptayabilen ancak mamografide meme kanserini tespit edemeyen ya da bir konuşmayı klinik bir nota özetleyemeyen, üretken yapay zekâ öncesi bir modeli ele alıyorlar. Tek bir model yüzlerce, binlerce hatta daha fazla görevi yerine getirebildiğinde geliştiricilerin ve sağlık kuruluşlarının etkileşimleri ve riskleri önceliklendirecek bir yönteme ihtiyacı oluyor.

Değerlendiriciler, test senaryolarını seçmeden önce Kritik Kullanıcı Yolculuğu’nu belirler: sistemi kimin kullandığını, neyi başarmak istediğini ve bunun için hangi adımları attığını inceler. Kullanıcılar arasında hastalar, aile üyeleri, klinisyenler veya yöneticiler bulunabilir. Bu haritalama, temsili test verilerinin ve ölçütlerin belirlenmesine yol gösterir. Ayrıca amaçlanan kullanımı ve yaygın yanlış kullanım biçimlerini; onaylı kullanım kapsamı dışındaki kullanıma dayanmayı ve güvenlik filtrelerini aşma girişimlerini de kapsar.

Her uygulama daha sonra üç alanda değerlendirilir. Doğruluk; tıbbi uzlaşıyı, kanıta dayalı olmayı, olgusal doğruluğu, klinik akıl yürütmeyi ve bağlama uygunluğu kapsar; tıbbi özetleme gibi görevlerde kaynaklara dayandırma da bu değerlendirmeye eklenir. Güvenlik değerlendirmesi, ifadelerin doğru olup olmadığının ötesine geçerek bir kişinin yanıtı yorumlayıp buna göre hareket etmesi ya da harekete geçmemesi durumunda ortaya çıkabilecek zararı ele alır. Değerlendirmelerde bu zararın hem ciddiyeti hem de olasılığı dikkate alınır. Yararlılık ise sağlık okuryazarlığını, ilgililiği, kapsamlılığı ve kişinin yanıta göre harekete geçip geçemeyeceğini değerlendirir. Dolayısıyla bir yanıt doğru olduğu hâlde güvenli olmayabilir ya da doğru ve güvenli olsa bile kullanıcıya yardımcı olamayacak kadar karmaşık veya eyleme dönüştürülemez olabilir.

Rapordaki örnekler, temel riskin göreve göre nasıl değiştiğini gösteriyor. Belirtilerini kontrol eden bir tüketici için temel güvenlik kaygısı, acil bakım gerektiren alarm belirtilerinin vurgulanmamasıdır; aşırı kaygı uyandıran bir yanıt gereksiz endişeye yol açabilirken, kişinin kendi durumunu değerlendirmesine yönelik belirsiz yönlendirmeler de uygun sonraki adımları atmasını engelleyebilir. Bir klinisyenin yapay zekâ tarafından hazırlanan taburculuk özetinde ise halüsinasyonlar, eksiklikler ve olgusal hatalar doğruluğu tehdit eder; gözden kaçan alerjiler veya kontrendike ilaçlar güvenlik riski yaratır; kafa karıştırıcı biçimlendirme ya da tutarsız zaman çizelgeleri de yararlılığı azaltabilir.

Otomasyonun Ölçeğini İnsan Değerlendirmesiyle Birleştirmek

İlk değerlendirme yöntemi, çoktan seçmeli sorular gibi kesin yanıtları olan testlerden yararlanır; bu sayede temel bilgi düzeyini büyük ölçekte ve görece düşük maliyetle ölçmek mümkün olur. Statik testler, gerçek etkileşimlerin karmaşıklığını ve temsil gücünü yansıtamaz. Verilerin kirlenmesi de başka bir sınırlamadır: Test soruları eğitim verilerinde yer aldığında sonuçlar, genellenebilir tıbbi akıl yürütmeden ziyade teste hazırlanmayı yansıtabilir. Bu nedenle çerçeve, başlangıç düzeyini belirlemek ve sonraki değerlendirmelere hedef koymak için bu kıyaslamalardan yararlanır; gerçek dünyadaki performansı doğrulamak içinse ek yöntemlere ihtiyaç duyar.

İkinci yöntemde puanlama başka bir yapay zekâ sistemine yaptırılır. Bu otomatik değerlendiriciler, açık uçlu yanıtları yazılı ölçütlere göre puanlayarak uzman değerlendiricilerin makul biçimde inceleyebileceğinden çok daha fazla senaryonun değerlendirilmesini sağlar. Kullanıcıların başlangıçta klinik ayrıntıları paylaşmadığı ve modelin yönlendirme sunmadan önce açıklayıcı sorular sorup sormadığının sınandığı, birden fazla turdan oluşan benzetilmiş konuşmaları değerlendirebilirler. Ancak otomatik değerlendiriciler yine de uzmanlarca oluşturulmuş referans verileriyle doğrulanmalıdır; çünkü gereğinden uzun yanıtları ödüllendirebilir, kendi model ailelerinden gelen yanıtları tercih edebilir ve tutarsız insan etiketlemelerini yaygınlaştırabilirler.

Klinisyenler ve diğer alan uzmanları daha sonra otomatik ölçütlerin en yetersiz kaldığı karmaşık klinik tablolar, uç durumlar ve klinik uzlaşının sınırlı olduğu konular gibi örnekleri inceler. Ayrıca çıktının yerel klinik normlara ve farklı hasta gruplarına uygun olup olmadığını değerlendirirler. Ayrı yürütülen kırmızı takım testleri; duygusal yakarışlar, kurgusal senaryolar veya ürünü amaçlanan kapsamının ötesinde yanıt vermeye yöneltmek için sağlık çalışanı kimliğine bürünme gibi taktiklerle güvenlik sınırlarını sınar. İnsan incelemesi de kusursuz değildir: Yazarlar, puanlama görevlerinde iki hekimin değerlendirmelerinin %30–40 veya daha fazla farklılaşabileceğini belirtiyor; bu nedenle değerlendiriciler arasındaki değişkenliği kontrol etmek ve uygun analizler yapmak gerekiyor.

Dağıtımdan Sonra da İzleme Sürer

Değerlendirme, ürün henüz ortada yokken, temel modelin genel yeteneklerinin ve güvenliğinin sınanmasıyla başlar. Model bir uygulamaya entegre edilmeye başladığında değerlendirme, o ürünün kullanıcılarına ve iş akışına özgü hâle gelir. Ürünün piyasaya sürülmesine yaklaşıldığında kontrollü dağıtım; sessiz gölge denemelerini, klinik pilotları veya aşamalı kullanıma sunmayı içerebilir. Daha geniş çapta kullanıma sunulmadan önce insan faktörleri ve kullanılabilirlik testleri de yapılır.

Klinik ve geliştirme ekipleri, evrensel ya da keyfî sayısal eşiklere dayanmak yerine, uygulamanın klinik risk profiline göre her ürün aşamasındaki geçiş ölçütlerini ve puanlama ağırlıklarını birlikte belirlemelidir. Geliştiriciler, ürün kullanıma sunulduktan sonra algoritmik kaymayı ve sistem kararlılığını izler. Ürünleri benimseyen kuruluşlar, profesyonel araçlarda klinik iş akışının güvenliğini; tüketici ürünlerinde ise kullanıcı güvenliğini ve kullanım örüntülerini takip eder.

Yazarlara göre kullanıcı şikâyetleri ve ciddi güvenlik olayları gibi tepkisel sinyaller, kullanıma sunma sonrası izleme yükünü tek başlarına taşıyamaz. Test kümeleri gerçek etkileşimlerden farklıdır; kullanıcılar deneyim kazandıkça istemlerini ve beklentilerini değiştirir. İzleme bulguları gereksinimlere, eğitime ve sonraki değerlendirme önceliklerine yansıtılmalıdır. Etkileşimlerin ve sağlık sonuçlarının uzun vadeli izlenmesi; veri silolarının yanı sıra gizlilikle ilgili, teknik ve kurumsal engellerle de karşı karşıyadır. Makale ayrıca geliştiricilerle sağlık sistemlerinin ortak sorumluluklarını, uygulama maliyetlerini, bağımsız doğrulamayı ve bilimsel uzlaşıyı henüz tamamlanması gereken yönetişim çalışmaları arasında sayıyor.

Geliştiriciler ve sağlık sistemleri açısından bu çerçeve, soruyu bir modelin statik bir kıyaslama testini geçip geçmediğinden, geliştirme ve kullanıma sunma sürecinin tamamında doğruluğun, güvenliğin ve faydanın gösterilip gösterilemeyeceğine kaydırıyor. Temel zorluk uygulamada yatıyor: sorumlulukları belirlerken, çalışmayı finanse ederken ve sonuçları kurumsal ve veri sınırlarının ötesinde bağımsız olarak doğrularken izlemeyi hesap verebilirliğe bağlamak.