Ongecontroleerde LLM’s en het Compliance Dilemma in de Zorg

Over alle industrieën heen heeft generatieve AI (GenAI) in een relatief korte tijd snel doorbraken behaald. Deze vooruitgang wordt gedreven door foundation models, die The California Report on Frontier AI Policy definieert als “een klasse van general-purpose technologieën die resource-intensief zijn om te produceren, waarvoor significante hoeveelheden data en compute nodig zijn om capaciteiten te leveren die een variëteit aan downstream AI-toepassingen kunnen aandrijven.”

Deze general-purpose large language models (LLM’s), zoals Gemini en ChatGPT, laten een groeiende kracht zien om menselijke cognitieve capaciteiten te repliceren en te overtreffen in gebieden zoals data-analyse, schrijven en redeneren. In de zorg specifiek neemt de adoptie van GenAI toe, omdat clinici en andere zorgprofessionals naar de technologie kijken om administratieve lasten te verminderen, operaties te versnellen en zelfs klinische besluitvorming te ondersteunen.

Echter, terwijl de technologie veelbelovend is, roept de adoptie van GenAI in de zorg ook belangrijke compliance-risico’s op als deze niet verantwoord wordt geïmplementeerd of gebruikt. Met name het gebruik van general-purpose LLM’s komt met specifieke compliance-bezwaren die zorgorganisaties volledig moeten begrijpen om privacy- of beveiligingsinbreuken te voorkomen. Deze modellen kunnen afhankelijk zijn van ongeverifieerde gegevensbronnen, patiëntgegevens op ongeautoriseerde wijze gebruiken of vooroordelen en/of onnauwkeurige informatie verspreiden.

Om patiëntgegevens te beschermen, in overeenstemming te blijven met evoluerende regelgeving en dure risico’s te minimaliseren, moeten zorgleiders een beslissende aanpak nemen om de compliance-“tijdgebonden bom” van “ongecontroleerde” LLM-gebruik te deactiveren.

Huidige Stand van General-Purpose LLM-gebruik in de Zorg

Binnen de zorg gebruiken steeds meer medewerkers LLM’s om dagelijkse taken te ondersteunen, van administratief werk tot patiëntcommunicatie. Multimodale LLM’s breiden deze toepassingen verder uit met hun vermogen om gemakkelijk tekst, afbeeldingen en audio te verwerken. Naast administratieve ondersteuning zien we ook een toename in het gebruik van de technologie om meer dan alleen administratief werk te ondersteunen, maar ook klinische taken.

Deze modellen laten al indrukwekkende resultaten zien, met verschillende studies die aantonen dat LLM-prestaties gelijk zijn aan of zelfs de menselijke capaciteiten overtreffen in specifieke gebieden. Bijvoorbeeld, het GPT-4-model haalde een overall score van 86,7% bij het United States Medical Licensing Examination.

Hybride AI is een andere opkomende aanpak voor GenAI-gebruik in de zorg die machine learning (ML) en LLM’s combineert om complexe analyses uit te voeren en resultaten te vertalen in gewone taal. Door beide modellen te integreren, probeert deze aanpak de tekortkomingen van LLM’s te overwinnen, zoals hallucinaties, onnauwkeurigheden en vooroordelen, terwijl ze tegelijkertijd hun sterke punten benut. Agente AI wordt ook steeds vaker gebruikt vanwege zijn vermogen om belangrijke taken te automatiseren zonder menselijke input, zoals het beantwoorden van patiëntberichten of het plannen van afspraken.

Echter, het potentieel van AI benadrukt ook de noodzaak van meer proactieve governance. Hoe meer deze tools ingebed zijn in zorgoperaties, hoe hoger de inzet voor het waarborgen van nauwkeurigheid, veiligheid en compliance.

Compliance-risico’s van General-Purpose LLM’s in de Zorg

Terwijl digitale adoptie in de zorg een groot aantal nieuwe mogelijkheden heeft ontsloten, heeft het ook belangrijke kwetsbaarheden blootgelegd. Tussen 1 november 2023 en 31 oktober 2024, bijvoorbeeld, heeft de zorgsector 1.710 beveiligingsincidenten meegemaakt, waarvan 1.542 betrekking hadden op bevestigde gegevenslekken.

De AI-tijdperk verdiept deze scheuren, waardoor een nieuwe laag van complexiteit aan gegevensprivaciteit en -beveiliging wordt toegevoegd. Meer specifiek roept het gebruik van general-purpose LLM’s in de zorg verschillende belangrijke compliance-risico’s op:

Risico #1: Opaque-box ontwikkeling voorkomt continue monitoring of verificatie

Gesloten modellen ontbreken transparantie over hun ontwikkelingsproces, zoals welke specifieke gegevens het model is getraind op of hoe updates worden gemaakt. Deze ondoorzichtigheid voorkomt dat ontwikkelaars en onderzoekers in het model kunnen kijken om de oorsprong van veiligheidsrisico’s te bepalen of besluitvormingsprocessen te begrijpen. Als gevolg hiervan kunnen gesloten LLM’s het gebruik van ongeverifieerde medische gegevensbronnen mogelijk maken en veiligheidskwetsbaarheden ongecontroleerd laten.

Risico #2: Patiëntgegevenslek

LLM’s zijn niet altijd afhankelijk van geanonimiseerde patiëntgegevens. Gespecialiseerde prompts of interacties kunnen per ongeluk identificeerbare gezondheidsinformatie onthullen, waardoor potentieel HIPAA-schendingen kunnen ontstaan.

Risico #3: Verspreiding van vooroordelen en onnauwkeurige informatie

In één experiment, injecteerden onderzoekers een kleine percentage onjuiste feiten in één categorie van een biomedisch model’s kennisbasis, terwijl ze het gedrag in alle andere domeinen behielden. Onderzoekers vonden dat desinformatie werd verspreid over de uitvoer van het model, waardoor de kwetsbaarheid van LLM’s voor desinformatie-aanvallen werd benadrukt.

Elke defecten die worden gevonden in foundation models worden geërfd door alle geadopteerde modellen en resulterende toepassingen van de ouder. Dispariteiten in uitvoer kunnen gezondheidsongelijkheden verergeren, zoals onnauwkeurig advies voor ondervertegenwoordigde groepen.

Risico #4: Regelgevingsmisalignement

Het gebruik van general-purpose LLM’s kan niet in overeenstemming zijn met HIPAA, GDPR of evoluerende AI-specifieke regelgeving, vooral als leveranciers de trainingsgegevens niet kunnen valideren. Deze risico’s worden verergerd door het gebruik van ongeautoriseerde of ongecontroleerde AI-hulpmiddelen door zorgmedewerkers, of schaduw-AI. Volgens IBM heeft 20% van de ondervraagde organisaties in alle sectoren een inbreuk meegemaakt als gevolg van beveiligingsincidenten met betrekking tot schaduw-AI.

Uiteindelijk hebben de risico’s van general-purpose LLM’s in de zorg reële gevolgen, waaronder juridische acties, reputatieschade, verlies van patiëntvertrouwen en proceskosten.

Beste Praktijken: LLM-Richtlijnen en Overwegingen

Om GenAI verantwoord te adopteren, moeten zorgleiders duidelijke richtlijnen vaststellen die patiënten en organisaties beschermen. De volgende beste praktijken kunnen zorgorganisaties helpen om een fundament te leggen voor verantwoord, compliant AI-gebruik:

Beste Praktijk #1: Kies AI-technologie verstandig

Eis duidelijkheid van leveranciers over hoe AI-technologie wordt ontwikkeld en welke gegevensbronnen worden gebruikt in het ontwikkelingsproces. Prioriteer tools die alleen expert-gevalideerde medische inhoud gebruiken, transparante besluitvormingsprocessen hebben en geen patiëntgegevens gebruiken voor training.

Beste Praktijk #2: Bouw Human-in-the-Loop Beveiligingsmaatregelen

Zorg ervoor dat clinici alle AI-gegenereerde uitvoer die de zorgbeslissingen kunnen beïnvloeden, controleren. AI kan een krachtig instrument zijn, maar in een industrie die een directe invloed heeft op patiëntenlevens, is klinische toezicht essentieel om verantwoord gebruik en de nauwkeurigheid van alle AI-ondersteunde informatie te waarborgen.

Beste Praktijk #3: Training en Werknemersbereidheid

Onderwijs clinici en medewerkers over zowel de voordelen als de risico’s van AI-gebruik om schaduw-AI-adoptie te verminderen. Zorgmedewerkers navigeren een complexe werkkracht, belast door personeelstekorten en hoge uitvalcijfers. Het vereenvoudigen van het AI-onderwijsproces helpt ervoor zorgen dat de compliance zonder extra last voor hun workload wordt gewaarborgd.

Beste Praktijk #4: Stel een Cultuur van Governance in

Integreer derdepartijbeoordelingen van AI-oplossingen om veiligheid, betrouwbaarheid en compliance te verifiëren. Implementeer een duidelijk, organisatiebreed kader voor AI-toezicht dat goedkeuring, gebruik en monitoring definieert om vertrouwen in de technologie te vergroten en te voorkomen dat medewerkers ongeautoriseerde tools gebruiken.

Beste Praktijk #5: Aligneer met Leiderschap op AI-stewardship

Samenwerk met leiders om voorop te lopen bij evoluerende regelgeving, evenals richtlijnen van de FDA en ONC. Regelgevingsinspanningen komen op gang op het niveau van de staat. Bijvoorbeeld, Californië heeft de Transparantie in Frontier AI Act, ingesteld, die de klemtoon legt op risicodisclosure, transparantie en mitigatie, vooral in zorginstellingen, en er is ook de Colorado Artificial Intelligence Act (CAIA),, die is ontworpen om algoritme-discriminatie te voorkomen.

Beste Praktijk #6: Continue Monitoring en Feedback Lussen

Het gebruik van AI binnen een zorginstelling moet nooit met de “set it and forget it”-mentaliteit worden benaderd. Het opzetten van een kader voor voortdurende monitoring kan helpen om de nauwkeurigheid van AI-hulpmiddelen te waarborgen, aansprakelijkheid te versterken en compliance in de loop van de tijd te handhaven.

Beste Praktijk #7: Ga Partnerschappen aan om Toezicht en Onderzoek te Optimaliseren

Zorgorganisaties moeten partnerships aangaan met regelgevers en de publieke sector om toezicht te maximaliseren, hun industrie-perspectief bij te dragen aan veiligheidsnormen en expertbronnen te combineren.

Vertrouwen opbouwen door Compliance Leiderschap

De differentiatie van AI-oplossingen in de zorg zal steeds meer afhankelijk zijn van de kwaliteit van hun expertinhoud, de integriteit van hun evaluatieprocessen en verantwoorde integratie in klinische workflows. De volgende fase van AI-adoptie zal minder afhankelijk zijn van code en meer van compliance-leiderschap.

Vertrouwen is net zo belangrijk als compliance zelf. Om de technologie echt effectief te laten zijn, moeten patiënten en zorgverleners geloven dat AI veilig is en in overeenstemming met hoge kwaliteit, ethische zorg. Compliance-leiderschap is een strategisch voordeel, niet alleen een defensieve maatregel. Vooruitstrevende organisaties die guardrails vroeg instellen, voordat schadelijke incidenten optreden, zullen zich onderscheiden in een AI-gedreven zorgtoekomst.