Generatieve AI in de zorgsector heeft een dosis verklarbaarheid nodig

De opmerkelijke snelheid waarmee tekstgebaseerde generatieve AI-hulpmiddelen hoogwaardige schrijf- en communicatietaken kunnen uitvoeren, heeft een snaar geraakt bij bedrijven en consumenten. Maar de processen die achter de schermen plaatsvinden om deze indrukwekkende mogelijkheden te ondersteunen, kunnen het riskant maken voor gevoelige, door de overheid gereguleerde industrieën, zoals verzekeringen, financiën of zorg, om generatieve AI te gebruiken zonder aanzienlijke voorzichtigheid.

Sommige van de meest illustratieve voorbeelden hiervan kunnen worden gevonden in de zorgsector.

Dergelijke problemen zijn meestal gerelateerd aan de uitgebreide en diverse datasets die worden gebruikt om Large Language Models (LLM’s) te trainen – de modellen die tekstgebaseerde generatieve AI-hulpmiddelen gebruiken om hoogwaardige taken uit te voeren. Zonder expliciete interventie van buitenaf door programmeurs, hebben deze LLM’s de neiging om gegevens ondiscrimineerd vanuit verschillende bronnen op internet te verzamelen om hun kennisbasis uit te breiden.

Deze aanpak is het meest geschikt voor laagrisicovolle consumentengerichte use cases, waarbij het uiteindelijke doel is om klanten met precisie naar gewenste aanbiedingen te leiden. Steeds vaker echter verhullen grote datasets en de onduidelijke paden waarlangs AI-modellen hun uitvoer genereren, de verklarbaarheid die ziekenhuizen en zorgverleners nodig hebben om potentiële onnauwkeurigheden te traceren en te voorkomen.

In deze context verwijst verklarbaarheid naar de mogelijkheid om de logische paden van een bepaald LLM te begrijpen. Zorgprofessionals die assistieve generatieve AI-hulpmiddelen willen adopteren, moeten de middelen hebben om te begrijpen hoe hun modellen resultaten opleveren, zodat patiënten en personeel volledige transparantie hebben tijdens verschillende besluitvormingsprocessen. Met andere woorden, in een industrie als de zorg, waar levens op het spel staan, zijn de inzetten gewoon te hoog voor professionals om de gegevens die worden gebruikt om hun AI-hulpmiddelen te trainen, verkeerd te interpreteren.

Gelukkig is er een manier om het verklarbaarheidsprobleem van generatieve AI te omzeilen – het vereist alleen een beetje meer controle en focus.

Raad en scepsis

Bij generatieve AI is het concept van het begrijpen van hoe een LLM van punt A – de invoer – naar punt B – de uitvoer – komt, veel complexer dan bij niet-generatieve algoritmen die langs meer vaste patronen lopen.

Generatieve AI-hulpmiddelen maken ontelbare verbindingen tijdens het navigeren van invoer naar uitvoer, maar voor de buitenstaander blijft het een mysterie hoe en waarom ze een bepaalde reeks verbindingen maken. Zonder een manier om het ‘denkproces’ van een AI-algoritme te zien, ontbreekt het menselijke operators aan een grondige manier om hun redenering te onderzoeken en potentiële onnauwkeurigheden te traceren.

Bovendien compliceren de continu uitbreidende datasets die door ML-algoritmen worden gebruikt, de verklarbaarheid verder. Hoe groter de dataset, hoe waarschijnlijker het is dat het systeem zowel van relevante als irrelevante informatie leert en ‘AI-hallucinaties’ produceert – leugens die afwijken van externe feiten en contextuele logica, hoe overtuigend ook.

In de zorgsector kunnen dit soort gebrekkige resultaten een reeks problemen veroorzaken, zoals misdiagnoses en onjuiste recepten. Ethische, juridische en financiële gevolgen daargelaten, zouden dergelijke fouten gemakkelijk de reputatie van zorgverleners en de medische instellingen die ze vertegenwoordigen, kunnen schaden.

Dus, ondanks het potentieel om medische interventies te verbeteren, de communicatie met patiënten te verbeteren en de operationele efficiëntie te verhogen, blijft generatieve AI in de zorg omhuld in scepsis, en terecht – 55% van de clinici gelooft niet dat het klaar is voor medisch gebruik en 58% vertrouwt het helemaal niet. Toch gaan zorgorganisaties verder, met 98% die een generatieve AI-implementatie strategie integreren of plannen om de impact van de sectorbrede arbeids tekorten te compenseren.

De bron controleren

De zorgsector wordt vaak op de achtervoet betrapt in de huidige consumenten klimaat, die efficiëntie en snelheid boven het waarborgen van onwankelbare veiligheidsmaatregelen stelt. Recent nieuws over de valkuilen van het schrapen van onbeperkte gegevens voor het trainen van LLM’s, wat leidt tot rechtszaken wegens auteursrechtenschending, heeft deze problemen naar de voorgrond gebracht. Sommige bedrijven worden ook geconfronteerd met claims dat burgers’ persoonlijke gegevens zijn geraapt om deze taalmodellen te trainen, wat potentieel in strijd is met de privacywetgeving.

AI-ontwikkelaars voor hoog gereguleerde industrieën moeten daarom de controle over gegevensbronnen uitoefenen om potentiële fouten te beperken. Dat wil zeggen, gegevens extraheren uit vertrouwde, door de industrie goedgekeurde bronnen in plaats van extern webpagina’s lukraak en zonder uitdrukkelijke toestemming te schrapen. Voor de zorgsector betekent dit dat gegevensinvoer beperkt moet worden tot FAQ-pagina’s, CSV-bestanden en medische databases – onder andere interne bronnen.

Als dit enigszins beperkend klinkt, probeer dan een dienst te zoeken op de website van een groot zorgsysteem. Amerikaanse zorgorganisaties publiceren honderden, zo niet duizenden, informatieve pagina’s op hun platforms; de meeste zijn zo diep begraven dat patiënten ze nooit daadwerkelijk kunnen bereiken. Generatieve AI-oplossingen op basis van interne gegevens kunnen deze informatie aan patiënten gemakkelijk en naadloos leveren. Dit is een win-winsituatie voor alle partijen, aangezien het zorgsysteem eindelijk rendement ziet op deze inhoud, en patiënten de diensten die ze nodig hebben, onmiddellijk en moeiteloos kunnen vinden.

Wat is de volgende stap voor generatieve AI in gereguleerde industrieën?

De zorgsector kan op verschillende manieren profiteren van generatieve AI.

Overweeg bijvoorbeeld de wijdverbreide burn-out die de Amerikaanse zorgsector de laatste tijd teistert – bijna 50% van de beroepsbevolking wordt verwacht om tegen 2025 te vertrekken. Generatieve AI-geactiveerde chatbots kunnen een groot deel van de werklast helpen verlichten en de toegang tot patiënten voor overbelaste zorgteams behouden.

Aan de kant van de patiënt heeft generatieve AI het potentieel om de callcenterdiensten van zorgverleners te verbeteren. AI-automatisering heeft de kracht om een breed scala aan vragen te beantwoorden via verschillende contactkanalen, waaronder FAQ’s, IT-problemen, medicijnherhalingen en artsverwijzingen. Behalve de frustratie die voortkomt uit in de wacht staan, lukt het slechts ongeveer de helft van de Amerikaanse patiënten om hun problemen bij de eerste oproep op te lossen, resulterend in hoge stoppende tarieven en beperkte toegang tot zorg. De resulterende lage klanttevredenheid creëert verdere druk op de industrie om te handelen.

Om echt te profiteren van de implementatie van generatieve AI, moeten zorgverleners de gegevens die hun LLM’s gebruiken, opzettelijk herschikken.