Denetimsiz LLM’ler ve Sağlık Hizmetleri Uyum Sorunu

Endüstriler arasında, γενatif AI (GenAI), nispeten kısa bir süre içinde hızlı bir şekilde ilerleme kaydetmiştir. Bu ilerlemeler, The California Report on Frontier AI Policy tarafından “kaynak yoğun üretim gerektiren, önemli miktarda veri ve hesaplama gerektiren ve çeşitli aşağı akım AI uygulamalarını güçlendirme yetenekleri sunan genel amaçlı teknolojiler sınıfı” olarak tanımlanan temel modeller tarafından yönlendirilmektedir.

Bu genel amaçlı büyük dil modelleri (LLM’ler), Gemini ve ChatGPT gibi, veri analizi, yazma ve akıl yürütme gibi alanlarda insan bilişsel yeteneklerini taklit etme ve aşma gücünü giderek artırmaktadır. Sağlık hizmetleri alanında özellikle, GenAI benimsemesi, klinisyenler ve diğer sağlık profesyonellerinin teknolojiyi idari yükü azaltmak, operasyonları hızlandırmak ve hatta klinik karar vermeyi desteklemek için kullanma eğilimindedir.

Ancak, teknolojinin büyük vaatlerine rağmen, sağlık hizmetlerinde GenAI benimsemesi, sorumlu bir şekilde uygulanmazsa, uyumluluk riskleri oluşturur. Özellikle, genel amaçlı LLM’lerin kullanımı, sağlık organizasyonlarının tam olarak anlaması gereken belirli uyumluluk endişeleri ile birlikte gelir. Bu modeller, doğrulanmamış veri kaynaklarına dayanabilir, hasta sağlık bilgilerini yetkisiz şekilde kullanabilir veya önyargı ve/veya yanlış bilgileri yayabilir.

Hasta veri gizliliğini korumak, gelişen düzenlemelere uyumluluğu sağlamak ve maliyetli riskleri en aza indirmek için, sağlık liderleri “denetimsiz” LLM kullanımının “zaman bombası” uyumluluk riskini bertaraf etmek için kararlı bir yaklaşım benimsemelidir.

Sağlık Hizmetlerinde Genel Amaçlı LLM Kullanımının Mevcut Durumu

Sağlık hizmetleri genelinde, personel, günlük görevlerden hasta iletişimine kadar her şeyi desteklemek için LLM’leri giderek daha fazla kullanmaktadır. Çoklu modelli LLM’ler ayrıca bu uygulamaları, metin, resim ve sesi kolayca işleme yetenekleri ile genişletmektedir. İdari destekten başka, sağlayıcıların yalnızca büro işleri değil, aynı zamanda klinik görevler için de teknolojiye yöneldiğini de görmekteyiz.

Bu modeller, bazılarının etkileyici olarak görebileceği sonuçlar göstermeye zaten başlamıştır ve beberapa çalışmada, LLM performansının belirli alanlarda insan yeteneklerini karşıladığı veya hatta aşabileceği gösterilmiştir. Örneğin, GPT-4 modeli, toplam %86,7’lik bir skor ile Amerika Birleşik Devletleri Tıp Lisans Sınavını geçti.

Hibrit AI , sağlık hizmetlerinde GenAI kullanımına yönelik başka bir yaklaşım olup, makine öğrenimi (ML) ve LLM’leri karmaşık analizleri ele almak ve sonuçları sade dille çevirmek için birleştirir. Bu yaklaşım, LLM’lerin eksikliklerini, yani hayal powerini, yanlışlıkları ve önyargıları aşmaya çalışırken, güçlü yanlarına odaklanmayı amaçlar. Ajans AI de, hasta mesajlarına cevap vermek veya randevuları düzenlemek gibi anahtar görevleri insan girdisi olmadan otomatikleştirebilmesi nedeniyle benimsenmektedir.

Ancak, AI’nin potansiyeli aynı zamanda daha proaktif bir yönetim ihtiyacını vurgulamaktadır. Bu araçlar sağlık hizmetleri operasyonlarına ne kadar çok entegre olursa, doğruluk, güvenlik ve uyumluluk garantisi o kadar önemlidir.

Genel Amaçlı LLM’lerin Sağlık Hizmetlerinde Uyum Riskleri

Dijital benimseme, sağlık hizmetlerinde yeni olanaklar açmıştır, ancak aynı zamanda keyifli zayıflıkları da ortaya çıkarmıştır. Örneğin, 1 Kasım 2023 ile 31 Ekim 2024 tarihleri arasında, sağlık sektörü 1.710 güvenlik ihlali yaşadı ve bunların 1.542’si confirmed veri ifşalarını içeriyordu.

AI çağı, bu çatlakları derinleştirmekte ve veri gizliliği ve güvenliğine yeni bir karmaşıklık katmanı eklemektedir. Özellikle, sağlık hizmetlerinde genel amaçlı LLM’lerin kullanımı, sağlık organizasyonlarının tam olarak anlaması gereken belirli uyumluluk endişeleri ile birlikte gelir:

Risk #1: Şeffaf olmayan kutu geliştirme, sürekli izleme veya doğrulamayı engeller

Kapalı modeller geliştirme sürecinde şeffaflık hakkında bilgi vermez, örneğin modelin hangi specific veri kaynaklarına dayandığı veya güncellemelerin nasıl yapıldığı hakkında. Bu şeffaflık eksikliği, geliştiricilerin ve araştırmacıların modelin içine girerek güvenlik risklerinin kaynağını belirlemelerine veya karar verme süreçlerini anlamalarına engel olur. Sonuç olarak, kapalı LLM’ler, doğrulanmamış tıbbi veri kaynaklarının kullanılmasını sağlayabilir ve güvenlik zayıflıklarının kontrolsüz kalmasına izin verebilir.

Risk #2: Hasta veri sızıntısı

LLM’ler her zaman tanımlanmamış hasta verilerini kullanmaz. Özel.promptlar veya etkileşimler yanlışlıkla tanımlanabilir sağlık bilgilerini ifşa edebilir, potansiyel HIPAA ihlallerine neden olabilir.

Risk #3: Önyargı ve yanlış bilginin yayılması

Bir deneyde, araştırmacılar bir biyomedikal modelin bilgi tabanındaki bir kategoride küçük bir yanlış bilgi yüzdesi enjekte ettiler, ancak diğer tüm alanlarda davranışını korudular. Araştırmacılar, yanlış bilginin modelin çıktısı boyunca yayıldığını buldu, LLM’lerin yanlış bilgi saldırılarına karşı savunmasızlığını vurguladı.

Temel modellerdeki herhangi bir bozukluk, tüm alınan modeller ve sonuçlanan uygulamalar tarafından miras alınır. Çıktıdaki farklılıklar, yanlış rehberlik için yanlış rehberlik gibi sağlık eşitsizliklerini kötüleştirebilir.

Risk #4: Düzenleyici uyumsuzluk

Genel amaçlı LLM’lerin kullanımı, HIPAA, GDPR veya gelişen AI spesifik düzenlemelerine uyumlu olmayabilir, özellikle de satıcılar eğitim verilerini doğrulayamıyorsa. Bu riskler, sağlık hizmeti örgütlerinin çalışanlarının onaylanmamış veya izlenmeyen AI araçlarını kullanması veya gölge AI ile birlikte artmaktadır. IBM’ye göre, tüm sektörlerdeki %20’si gölge AI ile ilgili güvenlik olaylarına bağlı bir ihlale maruz kaldı.

Sonuç olarak, sağlık hizmetlerinde genel amaçlı LLM riskleri, gerçek dünya sonuçlarına sahiptir, bunlar arasında yasal action, itibar hasarı, hasta güveninin kaybı ve dava maliyetleri bulunur.

En İyi Uygulamalar: LLM Rehberleri ve Değerlendirmeler

Sorumlu bir şekilde GenAI benimsemek için, sağlık liderleri, hastaları ve organizasyonları koruyan net sınırlar oluşturmalıdır. Aşağıdaki en iyi uygulamalar, sağlık organizasyonlarının sorumlu AI kullanımına temel oluşturmasına yardımcı olabilir:

En İyi Uygulama #1: AI Teknolojisini Akıllıca Seçin

Satıcılardan AI teknolojisini nasıl geliştirdikleri ve hangi veri kaynaklarını kullandıkları hakkında açıklık talep edin. Sadece uzman tarafından doğrulanmış tıbbi içeriği kullanan, karar verme süreçlerinde şeffaf olan ve hasta sağlık bilgilerini eğitim modellerinde kullanmayan araçları önceliklendirin.

En İyi Uygulama #2: İnsan-İçin-Guardrails Oluşturun

Klinik kararları etkileyebilecek AI tarafından oluşturulan tüm çıktıların klinisyenler tarafından gözden geçirildiğinden emin olun. AI, güçlü bir araç olabilir, ancak doğrudan hasta yaşamını etkileyen bir endüstride, sorumlu kullanım ve AI destekli bilgilerin doğruluğu için klinik denetim anahtardır.

En İyi Uygulama #3: Eğitim ve Çalışan Hazırlığı

Klinik personeli ve personeli AI’nin faydaları ve riskleri hakkında eğitin, böylece gölge AI benimsemesini azaltın. Sağlık personeli, komplex bir işgücü içinde çalışmaktadır ve personel eksikliği ve yüksek yanma oranları ile karşı karşıyadır. AI eğitim sürecini basitleştirmek, uyumluluğu ek bir yük olmadan garantilemeye yardımcı olur.

En İyi Uygulama #4: Yönetim Kültürü Oluşturun

AI çözümlerinin güvenliği, güvenilirliği ve uyumluluğunu doğrulamak için üçüncü taraf değerlendirmelerini entegre edin. Aynı zamanda, AI kullanımını, onayını ve izlenmesini tanımlayan net, organizasyon çapında bir çerçeve uygulayarak teknolojiye güveni artırmaya ve personelin yetkisiz araçlara başvurmalarını önleyin.

En İyi Uygulama #5: Liderlik ile AI Vekilliği Konusunda İşbirliği Yapın

Liderlik ile işbirliği yaparak, gelişen düzenlemelere, FDA ve ONC rehberliğine uyum sağlayın. Düzenleyici çabalar eyalet düzeyinde ortaya çıkmaktadır. Örneğin, California, Şeffaflık Frontier AI Yasasını kurdu, bu yasa özellikle sağlık hizmetleri ortamlarında risk ifşası, şeffaflık ve azaltmaya vurgu yapmaktadır ve Colorado Yapay Zeka Yasası (CAIA) gibi, algoritmik ayrımcılığı önlemek amacıyla tasarlanan bir diğer yasa daha bulunmaktadır.

En İyi Uygulama #6: Sürekli İzleme ve Geri Bildirim Döngüleri

Sağlık hizmeti ortamında AI kullanımına “kur ve unut” zihniyeti ile yaklaşmayın. Sürekli izleme çerçevesi oluşturarak, AI araçlarının doğruluğunu garantilemek, hesap verebilirliği güçlendirmek ve zaman içinde uyumluluğu korumak yardımcı olabilir.

En İyi Uygulama #7: Denetim ve Araştırma için Ortaklıklar Kurun

Sağlık organizasyonları, düzenleyiciler ve kamu sektörü ile ortaklıklar kurarak, denetimi en üst düzeye çıkarmak, güvenlik standartlarına endüstri perspektifini katkıda bulunmak ve uzman kaynakları birleştirmek için çalışmalıdır.

Uyumluluk Liderliği ile Güven Oluşturmak

Sağlık hizmetlerinde AI çözümlerinin farklılaştırılması, uzman içeriğin kalitesi, değerlendirme süreçlerinin bütünlüğü ve klinik akışlara sorumlu entegrasyonuna giderek daha fazla bağlı olacaktır. AI benimsemesinin bir sonraki aşaması, koddan daha fazla uyumluluk liderliğine dayanacaktır.

Güven, uyumluluk kadar kritiktir. Teknolojinin gerçekten etkili olması için, hastalar ve sağlayıcılar AI’nin güvenli ve yüksek kaliteli, etik bakım ile hizalandığını bilmelidir. Uyumluluk liderliği, sadece bir savunma önlemi değil, bir stratejik avantajdır. Ön görülen organizasyonlar, zararlı olaylar meydana gelmeden önce erken güvenlik önlemleri oluşturacak ve AI destekli bir sağlık hizmetleri geleceğinde kendilerini ayırt edeceklerdir.