Denetimsiz LLM’ler ve Sağlık Hizmetleri Uyum Problemi

Endüstriler boyunca, üretken AI (GenAI), tương đối kısa bir süre içinde hızlı ilerlemeler kaydetmiştir. Bu ilerlemeler, The California Report on Frontier AI Policy tarafından “kaynak-yoğun üretim gerektiren, önemli miktarda veri ve hesaplama gerektiren, çeşitli aşağı akış AI uygulamalarını güçlendirebilen genel amaçlı teknolojiler sınıfı” olarak tanımlanan temel modeller tarafından sürülür.

Bu genel amaçlı büyük dil modelleri (LLM’ler), Gemini ve ChatGPT gibi, veri analizi, yazma ve akıl yürütme gibi alanlarda insan bilişsel yeteneklerini taklit etme ve aşma gücünü göstermektedir. Özellikle sağlık hizmetlerinde, GenAI benimsemesi artmaktadır, çünkü klinisyenler ve diğer sağlık profesyonelleri, teknolojiyi idari yükü azaltmak, operasyonları hızlandırmak ve hatta klinik karar vermeyi desteklemek için kullanmak istemektedirler.

Ancak, teknoloji büyük vaatlerde bulunsa da, sağlık hizmetlerinde GenAI benimsemesi, sorumlu bir şekilde uygulanmazsa, uyum riskleri yaratmaktadır. Özellikle, genel amaçlı LLM’lerin kullanımı, sağlık organizasyonlarının tam olarak anlaması gereken özel uyum endişeleri yaratmaktadır. Bu modeller, doğrulanmamış veri kaynaklarına güvenebilir, hasta sağlığı bilgilerini yetkisiz şekilde kullanabilir veya önyargı ve/veya yanlış bilgileri yayabilir.

Hasta verisi gizliliğini korumak, gelişen düzenlemelere uyum sağlamak ve maliyetli riskleri en aza indirmek için, sağlık liderleri, “denetimsiz” LLM kullanımının “zaman bombası”nı etkisiz hale getirmek için kararlı bir yaklaşım benimsemelidir.

Genel Amaçlı LLM Kullanımının Sağlık Hizmetlerindeki Mevcut Durumu

Sağlık hizmetleri boyunca, personel, idari işlerden hasta iletişimine kadar günlük görevleri desteklemek için artan şekilde LLM’leri kullanmaktadır. Çoklu modal LLM’ler ayrıca, metin, resim ve sesi kolayca işleyebilme yetenekleri ile bu uygulamaları daha da genişletmektedir. İdari destekten além, klinisyenlerin teknolojiyi sadece idari işler için değil, aynı zamanda klinik görevler için de kullanmaya başladıklarını görmekteyiz.

Bu modeller, bazılarının görüşüne göre etkileyici sonuçlar göstermektedir ve birkaç çalışma, LLM performansının belirli alanlarda insan yeteneklerini karşılayabileceğini veya hatta aşabileceğini göstermektedir. Örneğin, GPT-4 modeli, toplam puanı %86,7 ile Amerika Birleşik Devletleri Tıp Lisans Sınavı’nı geçti.

Hibrit AI, sağlık hizmetlerinde GenAI kullanımına yönelik başka bir yaklaşım olup, makine öğrenimi (ML) ve LLM’leri karmaşık analizleri gerçekleştirmek ve sonuçları basit dilde çevirmek için birleştirir. Bu yaklaşım, LLM’lerin eksikliklerini, yani hayal powerini, yanlışlıkları ve önyargıları aşmaya çalışırken, güçlü yanlarını oynamaya çalışır. Ajans AI de, hasta mesajlarına yanıt verme veya randevu alma gibi insan girdisi olmadan otomatik olarak önemli görevleri gerçekleştirebilme yeteneği nedeniyle benimsenmektedir.

Ancak, AI’nin potansiyeli aynı zamanda daha proaktif bir yönetim ihtiyacını vurgulamaktadır. Bu araçlar sağlık hizmetleri operasyonlarına ne kadar çok entegre olursa, doğruluk, güvenlik ve uyumun garantilenmesi için riskler o kadar yüksek olur.

Genel Amaçlı LLM’lerin Sağlık Hizmetlerindeki Uyum Riskleri

Dijital benimseme, sağlık hizmetlerinde yeni olanaklar açmıştır, ancak aynı zamanda keyfi zayıflıkları da ortaya çıkarmıştır. Örneğin, 1 Kasım 2023 ile 31 Ekim 2024 arasında, sağlık sektörü 1.710 güvenlik olayı ile karşı karşıya kaldı ve bu olayların 1.542’si doğrulanmış veri açıklamalarını içeriyordu.

AI çağı, veri gizliliği ve güvenliğine ilişkin bu çatlakları derinleştirmektedir. Özellikle, sağlık hizmetlerinde genel amaçlı LLM’lerin kullanımı, beberapa önemli uyum riski yaratmaktadır:

Risk #1: Şeffaf olmayan geliştirme, sürekli izleme veya doğrulamayı engeller

Kapalı modeller geliştirme süreçleri hakkında şeffaflık sağlamaz, yani modelin hangi specific veri kaynaklarına dayandığı veya güncellemelerin nasıl yapıldığı belli değildir. Bu şeffaflık eksikliği, geliştiricilerin ve araştırmacıların modeli incelemesini ve güvenlik risklerinin veya karar alma süreçlerinin kaynağını belirlemesini engeller. Sonuç olarak, kapalı LLM’ler, doğrulanmamış tıbbi veri kaynaklarının kullanılmasına ve güvenlik açıklarının gözden kaçmasına izin verebilir.

Risk #2: Hasta verisi sızıntısı

LLM’ler her zaman tanımlanmamış hasta verisi kullanmaz. Özel promt’lar veya etkileşimler tanımlanabilir sağlık bilgilerini istemeden ifşa edebilir, bu da HIPAA ihlallerine neden olabilir.

Risk #3: Önyargı ve yanlış bilginin yayılması

Bir deneyde, araştırmacılar bir biyomedikal modelin bilgi tabanına küçük bir yanlış veri yüzdesi enjekte ettiler, ancak modelin diğer tüm alanlardaki davranışını korudular. Araştırmacılar, yanlış bilginin modelin çıktısında yayıldığını ve LLM’lerin yanlış bilgi saldırılarına karşı savunmasız olduğunu gösterdiler.

Temel modellerdeki herhangi bir bozukluk, tüm採用 edilen modeller ve bunlardan oluşan uygulamalar tarafından miras alınır. Çıktıdaki farklılıklar, yanlış rehberlik için underrepresented gruplar gibi sağlık eşitsizliklerini kötüleştirebilir.

Risk #4: Düzenleyici uyumsuzluk

Genel amaçlı LLM’lerin kullanımı, HIPAA, GDPR veya gelişen AI özgü düzenlemelere uymayabilir, özellikle de satıcılar eğitim verilerini doğrulayamıyorsa. Bu riskler, sağlık kuruluşu çalışanlarının onaylanmamış veya izlenmeyen AI araçlarını kullanması veya gölge AI ile daha da artmaktadır. IBM’ye göre, soruşturulan organizasyonların %20’si tüm sektörlerde, gölge AI ile ilgili güvenlik olayları nedeniyle bir ihlalle karşı karşıya kaldı.

Sonuç olarak, sağlık hizmetlerinde genel amaçlı LLM riskleri, gerçek dünya sonuçları olan, yasal eylem, itibar hasarı, hasta güveninin kaybı ve dava maliyetleri gibi sonuçlar doğurabilir.

En İyi Uygulamalar: LLM Rehberleri ve Dikkat Edilmesi Gereken Hususlar

Sorumlu bir şekilde GenAI benimsemek için, sağlık liderleri, hastaları ve organizasyonları koruyan net sınırlar oluşturmalıdır. Aşağıdaki en iyi uygulamalar, sağlık organizasyonlarının sorumlu ve uyumlu AI kullanımına temel oluşturabilir:

En İyi Uygulama #1: AI Teknolojisini Akıllıca Seçin

Satıcılar tarafından AI teknolojisinin nasıl geliştirildiği ve hangi veri kaynaklarının kullanıldığı hakkında netlik talep edin. Sadece uzman tarafından doğrulanmış tıbbi içerik kullanan, karar alma süreçleri şeffaf olan ve hasta sağlığı bilgilerini modelleme için kullanmayan araçları önceliklendirin.

En İyi Uygulama #2: İnsan-Merkezli Güvenlik Önlemleri Oluşturun

Klinik kararları etkileyebilecek AI tarafından oluşturulan çıktıların klinisyenler tarafından gözden geçirilmesini sağlayın. AI, güçlü bir araç olabilir, ancak doğrudan hasta yaşamını etkileyen bir endüstride, klinisyen denetimi, sorumlu kullanımın ve AI destekli bilgilerin doğruluğunun garantilenmesi için anahtardır.

En İyi Uygulama #3: Eğitim ve İşgücü Hazırlığı

Klinisyenleri ve personeli AI kullanımının hem faydaları hem de riskleri hakkında eğitin, böylece gölge AI benimsemesini azaltın. Sağlık personeli, karmaşık bir işgücü içinde, personel eksikliği ve yüksek yanma oranları tarafından zorlanmaktadır. AI eğitim sürecini basitleştirmek, uyumu garantilemeden iş yükünü daha da artırmadan yardımcı olur.

En İyi Uygulama #4: Yönetim Kültürü Oluşturun

AI çözümlerinin güvenliği, güvenilirliği ve uyumu doğrulamak için üçüncü taraf değerlendirmelerini entegre edin. Aynı zamanda, AI denetimi için net, kuruluş genelinde bir çerçeve oluşturun, onay, kullanım ve izleme tanımlayın ve böylece teknolojiye güveni artırın ve personelin yetkisiz araçlara başvurmalarını önleyin.

En İyi Uygulama #5: AI Stewardship Konusunda Liderlikle Uyum Sağlayın

Liderlerle işbirliği yaparak, gelişen düzenlemelere ve FDA ve ONC’den gelen rehberliklere uyum sağlayın. Düzenleyici çabalar, eyalet düzeyinde ortaya çıkmaktadır. Örneğin, California, Çığır Açan AI Şeffaflık Kanununu çıkardı, bu kanun, özellikle sağlık hizmetlerinde, risk ifşası, şeffaflık ve hafifletme vurgulamaktadır ve Colorado Yapay Zeka Kanunu (CAIA) gibi, algoritmik ayrımcılığı önlemek amacıyla tasarlanan bir diğer kanun daha bulunmaktadır.

En İyi Uygulama #6: Sürekli İzleme ve Geri Bildirim Döngüleri

Sağlık hizmeti ortamında AI kullanımına, “kur ve unut” zihniyetiyle yaklaşmayın. Sürekli izleme için bir çerçeve oluşturmak, AI araçlarının doğruluğunu garantilemeye, hesap verebilirliği güçlendirmeye ve uyumu zaman içinde korumaya yardımcı olabilir.

En İyi Uygulama #7: Denetim ve Araştırma için Ortaklıklar Kurun

Sağlık organizasyonları, denetimi en üst düzeye çıkarmak, güvenlik standartlarına endüstri perspektifini katkıda bulunmak ve uzman kaynakları birleştirmek için düzenleyiciler ve kamu sektörü ile ortaklıklar kurmalıdır.

Uyum Liderliği ile Güven Oluşturmak

Sağlık hizmetlerinde AI çözümlerinin farklılaşması, uzman içeriğin kalitesi, değerlendirme süreçlerinin bütünlüğü ve klinik iş akışlarına sorumlu entegrasyonu ile daha çok ilgili olacaktır. AI benimsemesinin bir sonraki aşaması, koddan daha çok uyum liderliğine dayanacaktır.

Güven, uyum kadar kritiktir. Teknolojinin gerçekten etkili olması için, hastalar ve sağlayıcılar, AI’nin güvenli ve yüksek kaliteli, etik bakım ile hizalandığını inanmalıdır. Uyum liderliği, sadece savunma önlemi değil, stratejik bir avantajdır. Öncü organizasyonlar, zararlı olaylar meydana gelmeden önce, erken dönemde sınırlar oluşturarak, AI destekli bir sağlık hizmetleri geleceğinde kendilerini farklılaştıracaktır.