Ongecontroleerde LLM’s en het Compliance-dilemma in de Gezondheidszorg

Binnen verschillende industrieën heeft generatieve AI (GenAI) in een relatief korte periode snelle doorbraken behaald. Deze vooruitgang wordt gedreven door basismodellen, die The California Report on Frontier AI Policy definieert als “een klasse van algemene doelmodellen die resource-intensief zijn om te produceren, waarvoor aanzienlijke hoeveelheden data en compute nodig zijn om capaciteiten te kunnen bieden die een verscheidenheid aan downstream AI-toepassingen kunnen aandrijven.”

Deze algemene doel-grote taalmodellen (LLM’s), zoals Gemini en ChatGPT, laten een groeiende kracht zien om menselijke cognitieve capaciteiten te repliceren en te overtreffen in gebieden zoals data-analyse, schrijven en redeneren. In de gezondheidszorg in het bijzonder, neemt de adoptie van GenAI toe, omdat clinici en andere gezondheidszorgprofessionals naar de technologie kijken om de administratieve last te verlichten, operaties te versnellen en zelfs klinische besluitvorming te ondersteunen.

Echter, terwijl de technologie grote beloften biedt, roept de adoptie van GenAI in de gezondheidszorg ook belangrijke compliance-risico’s op als deze niet verantwoord wordt geïmplementeerd of gebruikt. In het bijzonder houdt het gebruik van algemene doel-LLM’s specifieke compliance-bezorgdheden in dat gezondheidsorganisaties deze volledig moeten begrijpen om privacy- of beveiligingsinbreuken te voorkomen. Deze modellen kunnen afhankelijk zijn van ongeverifieerde gegevensbronnen, patiëntgegevens op ongeautoriseerde wijze gebruiken of vooroordelen en/of onnauwkeurige informatie in stand houden.

Om patiëntgegevensprivacy te waarborgen, in overeenstemming te blijven met evoluerende regelgeving en kostbare risico’s te minimaliseren, moeten gezondheidsleiders een beslissende aanpak nemen om de tikende compliance-“tijdbom” van “ongecontroleerde” LLM-gebruik te deactiveren.

Huidige staat van het gebruik van algemene doel-LLM’s in de gezondheidszorg

Binnen de gezondheidszorg gebruiken steeds meer medewerkers LLM’s om dagelijkse taken te ondersteunen, van administratief werk tot patiëntcommunicatie. Multimodale LLM’s breiden deze toepassingen verder uit met hun vermogen om gemakkelijk tekst, afbeeldingen en audio te verwerken. Naast administratieve ondersteuning zien we ook een toename in het aantal aanbieders dat de technologie gebruikt om meer te ondersteunen dan alleen clericaal werk, maar ook klinische taken.

Deze modellen laten al indrukwekkende resultaten zien, met verschillende studies die aantonen dat de prestaties van LLM’s gelijk zijn aan of zelfs de menselijke capaciteiten overtreffen in specifieke gebieden. Zo behaalde het GPT-4-model een score van 86,7% op het United States Medical Licensing Examination.

Hybride AI is een andere opkomende benadering van GenAI-gebruik in de gezondheidszorg die machine learning (ML) en LLM’s combineert om complexe analyses uit te voeren en resultaten te vertalen in gewone taal. Door beide modellen te integreren, probeert deze benadering de tekortkomingen van LLM’s te overwinnen, zoals hallucinaties, onnauwkeurigheden en vooroordelen, en speelt hij in op zijn sterke punten. Agent AI wordt ook steeds vaker gebruikt vanwege zijn vermogen om belangrijke taken te automatiseren zonder menselijke invoer, zoals het beantwoorden van patiëntberichten of het plannen van afspraken.

Echter, het potentieel van AI benadrukt ook een dringende behoefte aan meer proactief bestuur. Hoe meer deze tools ingebed zijn in de gezondheidszorgoperaties, hoe hoger de inzet voor het waarborgen van nauwkeurigheid, veiligheid en compliance.

Compliance-risico’s van algemene doel-LLM’s in de gezondheidszorg

Terwijl digitale adoptie in de gezondheidszorg een groot aantal nieuwe mogelijkheden heeft ontsloten, heeft het ook belangrijke kwetsbaarheden blootgelegd. Tussen 1 november 2023 en 31 oktober 2024, bijvoorbeeld, heeft de gezondheidszorgsector 1.710 beveiligingsincidenten meegemaakt, waarvan 1.542 betrekking hadden op bevestigde gegevenslekken.

De AI-tijdperk verdiept deze scheuren, waardoor een nieuwe laag complexiteit aan gegevensprivacy en -beveiliging wordt toegevoegd. Meer specifiek roept het gebruik van algemene doel-LLM’s in de gezondheidszorg verschillende belangrijke compliance-risico’s op:

Risico #1: Opaque-box-ontwikkeling voorkomt continue monitoring of verificatie

Gesloten modellen ontbreken transparantie over hun ontwikkelingsproces, zoals welke specifieke gegevens het model is getraind op of hoe updates worden uitgevoerd. Deze ondoorzichtigheid voorkomt dat ontwikkelaars en onderzoekers in het model kunnen duiken om de oorsprong van veiligheidsrisico’s of besluitvormingsprocessen te bepalen. Als gevolg hiervan kunnen gesloten LLM’s het gebruik van ongeverifieerde medische gegevensbronnen mogelijk maken en veiligheidskwetsbaarheden ongecontroleerd laten.

Risico #2: Patiëntgegevenslek

LLM’s zijn niet altijd afhankelijk van geanonimiseerde patiëntgegevens. Gespecialiseerde prompts of interacties kunnen per ongeluk identificeerbare gezondheidsinformatie onthullen, waardoor potentiële HIPAA-schendingen ontstaan.

Risico #3: Instandhouding van vooroordelen en onnauwkeurige informatie

In één experiment injecteerden onderzoekers een klein percentage onjuiste feiten in één categorie van een biomedisch model van kennisbasis, terwijl het gedrag in alle andere domeinen behouden bleef. Onderzoekers vonden dat desinformatie werd verspreid over de uitvoer van het model, waardoor de kwetsbaarheid van LLM’s voor desinformatie-aanvallen werd benadrukt.

Elke defecten die worden gevonden in basismodellen worden geërfd door alle geadopteerde modellen en resulterende toepassingen van het oudermodel. Dispariteiten in uitvoer kunnen gezondheidsongelijkheden verergeren, zoals onnauwkeurig advies voor ondervertegenwoordigde groepen.

Risico #4: Reglementaire misalignement

Het gebruik van algemene doel-LLM’s kan niet in overeenstemming zijn met HIPAA, GDPR of evoluerende AI-specifieke regelgeving, vooral als leveranciers de trainingsgegevens niet kunnen valideren. Deze risico’s worden verergerd door het feit dat medewerkers van gezondheidszorgorganisaties ongeautoriseerde of ongecontroleerde AI-hulpmiddelen gebruiken, of schaduw-AI. Volgens IBM heeft 20% van de ondervraagde organisaties in alle sectoren een inbreuk meegemaakt als gevolg van beveiligingsincidenten met schaduw-AI.

Uiteindelijk hebben de risico’s van algemene doel-LLM’s in de gezondheidszorg reële gevolgen, waaronder juridische actie, reputatieschade, verlies van patiëntvertrouwen en proceskosten.

Beste praktijken: LLM-richtlijnen en overwegingen

Om GenAI op verantwoorde wijze te adopteren, moeten gezondheidsleiders duidelijke richtlijnen vaststellen die zowel patiënten als organisaties beschermen. De volgende beste praktijken kunnen gezondheidszorgorganisaties helpen een fundament te leggen voor verantwoord, compliant AI-gebruik:

Beste praktijk #1: Kies AI-tech verstandig

Vereis van leveranciers duidelijkheid over hoe AI-tech is ontwikkeld en welke gegevensbronnen worden gebruikt in het ontwikkelingsproces. Prioriteer tools die alleen expert-gevalideerde medische inhoud gebruiken, transparante besluitvormingsprocessen hebben en trainingsmodellen niet op patiëntgegevens baseren.

Beste praktijk #2: Bouw human-in-the-loop-beveiliging

Zorg ervoor dat clinici alle AI-gegenereerde uitvoer die de zorgbeslissingen kunnen beïnvloeden, controleren. AI kan een krachtig hulpmiddel zijn, maar in een industrie die een directe invloed heeft op het leven van patiënten, is klinische toezicht essentieel om verantwoord gebruik en de nauwkeurigheid van alle AI-ondersteunde informatie te waarborgen.

Beste praktijk #3: Opleiding en werkgeredheid

Educeer clinici en medewerkers over zowel de voordelen als de risico’s van AI-gebruik om de adoptie van schaduw-AI te verminderen. Gezondheidszorgmedewerkers navigeren een complexe werkkracht, belast door personeelstekorten en hoge uitvalpercentages. Het vereenvoudigen van het AI-educatieproces helpt ervoor zorgen dat de compliance zonder verdere belasting van hun werklast wordt gewaarborgd.

Beste praktijk #4: Stel een cultuur van bestuur in

Integreer derdepartij-beoordelingen van AI-oplossingen om veiligheid, betrouwbaarheid en compliance te verifiëren. In tandem implementeert u een duidelijk, organisatiebreed kader voor AI-toezicht dat goedkeuring, gebruik en monitoring definieert om het vertrouwen in de technologie verder te verhogen en te voorkomen dat medewerkers ongeautoriseerde tools gebruiken.

Beste praktijk #5: Aligneer met leiderschap op AI-stewardship

Collaboreer met leiders om voorop te lopen bij evoluerende regelgeving, evenals richtlijnen van de FDA en ONC. Reglementaire inspanningen komen op gang op het niveau van de staat. Zo heeft Californië de Transparency in Frontier AI Act ingesteld, die de klemtoon legt op risicodisclosure, transparantie en mitigatie, vooral in de gezondheidszorg, en er is ook de Colorado Artificial Intelligence Act (CAIA), die is ontworpen om algoritme-discriminatie te voorkomen.

Beste praktijk #6: Continue monitoring en feedback-lussen

Het gebruik van AI binnen een gezondheidszorgsetting mag nooit met de “set it and forget it”-mentaliteit worden benaderd. Het opzetten van een kader voor voortdurende monitoring kan helpen de nauwkeurigheid van AI-hulpmiddelen te waarborgen, aansprakelijkheid te versterken en compliance in de loop van de tijd te handhaven.

Beste praktijk #7: Ga partnerships aan om toezicht en onderzoek te optimaliseren

Gezondheidszorgorganisaties moeten partnerships aangaan met regelgevers en de publieke sector om toezicht te maximaliseren, hun industrie-perspectief bij te dragen aan veiligheidsnormen en expertbronnen te combineren.

Vertrouwen opbouwen door compliance-leiderschap

De differentiatie van AI-oplossingen in de gezondheidszorg zal steeds meer afhankelijk zijn van de kwaliteit van hun expert-inhoud, de integriteit van hun evaluatieprocessen en verantwoorde integratie in klinische workflows. De volgende fase van AI-adoptie zal minder afhankelijk zijn van code en meer van compliance-leiderschap.

Vertrouwen is net zo belangrijk als compliance zelf. Om de technologie echt effectief te maken, moeten patiënten en aanbieders geloven dat AI veilig is en aansluit bij hoge kwaliteit, ethische zorg. Compliance-leiderschap is een strategisch voordeel, niet alleen een defensieve maatregel. Vooruitstrevende organisaties die richtlijnen vaststellen voordat schadelijke incidenten plaatsvinden, zullen zich onderscheiden in een AI-gedreven gezondheidszorgtoekomst.