Generatieve AI in de zorgsector heeft een dosis verklarbaarheid nodig

De opmerkelijke snelheid waarmee tekstgebaseerde generatieve AI-hulpmiddelen hoge-niveau schrijf- en communicatietaken kunnen voltooien, heeft een snaar geraakt bij bedrijven en consumenten. Maar de processen die achter de schermen plaatsvinden om deze indrukwekkende mogelijkheden te ermöglichen, kunnen het riskant maken voor gevoelige, door de overheid gereguleerde industrieën, zoals verzekeringen, financiën of zorg, om generatieve AI te gebruiken zonder aanzienlijke voorzichtigheid.

Sommige van de meest illustratieve voorbeelden hiervan kunnen worden gevonden in de zorgsector.

Dergelijke problemen zijn meestal gerelateerd aan de uitgebreide en diverse datasets die worden gebruikt om Large Language Models (LLM’s) te trainen – de modellen die tekstgebaseerde generatieve AI-hulpmiddelen gebruiken om hoge-niveau taken uit te voeren. Zonder expliciete interventie van buitenaf door programmeurs, hebben deze LLM’s de neiging om gegevens ondiscrimineerd van verschillende bronnen op internet te schrapen om hun kennisbasis uit te breiden.

Deze aanpak is het meest geschikt voor laag-risico consumentgerichte use cases, waarbij het uiteindelijke doel is om klanten met precisie naar gewenste aanbiedingen te leiden. Steeds vaker echter, verhullen grote datasets en de verwarde paden waarlangs AI-modellen hun uitvoer genereren, de verklarbaarheid die ziekenhuizen en zorgverleners nodig hebben om potentiële onnauwkeurigheden te traceren en te voorkomen.

In deze context verwijst verklarbaarheid naar de mogelijkheid om de logische paden van een bepaalde LLM te begrijpen. Zorgprofessionals die assistieve generatieve AI-hulpmiddelen willen adopteren, moeten de middelen hebben om te begrijpen hoe hun modellen resultaten opleveren, zodat patiënten en personeel volledige transparantie hebben tijdens verschillende besluitvormingsprocessen. Met andere woorden, in een industrie als de zorg, waar levens op het spel staan, zijn de inzetten gewoon te hoog voor professionals om de gegevens die worden gebruikt om hun AI-hulpmiddelen te trainen, verkeerd te interpreteren.

Gelukkig is er een manier om het verklarbaarheidsprobleem van generatieve AI te omzeilen – het vereist alleen een beetje meer controle en focus.

Mysterie en scepsis

Bij generatieve AI is het concept van het begrijpen van hoe een LLM van punt A – de invoer – naar punt B – de uitvoer – komt, veel complexer dan bij niet-generatieve algoritmen die langs meer vaste patronen lopen.

Generatieve AI-hulpmiddelen maken ontelbare verbindingen tijdens het navigeren van invoer naar uitvoer, maar voor de buitenstaander blijft het een mysterie hoe en waarom ze een bepaalde reeks verbindingen maken. Zonder een manier om de ‘denkproces’ van een AI-algoritme te zien, ontbreekt het menselijke operatoren aan een grondige manier om hun redenering te onderzoeken en potentiële onnauwkeurigheden te traceren.

Bovendien compliceren de continu uitbreidende datasets die door ML-algoritmen worden gebruikt, de verklarbaarheid verder. Hoe groter de dataset, hoe waarschijnlijker het is dat het systeem zowel relevante als irrelevante informatie leert en “AI-hallucinaties” produceert – leugens die afwijken van externe feiten en contextuele logica, hoe overtuigend ook.

In de zorgsector kunnen dit soort gebrekkige resultaten een reeks problemen veroorzaken, zoals misdiagnoses en onjuiste recepten. Ethische, juridische en financiële gevolgen daargelaten, kunnen dergelijke fouten gemakkelijk de reputatie van zorgverleners en de medische instellingen die ze vertegenwoordigen, schaden.

Dus, ondanks het potentieel om medische interventies te verbeteren, de communicatie met patiënten te verbeteren en de operationele efficiëntie te verhogen, blijft generatieve AI in de zorg omhuld in scepsis, en terecht – 55% van de clinici gelooft niet dat het klaar is voor medisch gebruik en 58% vertrouwt het helemaal niet. Toch gaan zorgorganisaties verder, met 98% die een generatieve AI-implementatiestrategie integreren of plannen om de impact van de voortdurende arbeids tekorten in de sector te compenseren.

Controleer de bron

De zorgsector wordt vaak op de achtervoet gevangen in de huidige consumenten klimaat, die efficiëntie en snelheid boven het waarborgen van onwankelbare veiligheidsmaatregelen waardeert. Recent nieuws over de valkuilen van het schrapen van bijna onbeperkte gegevens voor het trainen van LLM’s, wat leidt tot rechtszaken wegens inbreuk op het auteursrecht, heeft deze kwesties naar de voorgrond gebracht. Sommige bedrijven worden ook geconfronteerd met claims dat persoonlijke gegevens van burgers zijn geraapt om deze taalmodellen te trainen, wat potentieel inbreuk maakt op de privacywetgeving.

AI-ontwikkelaars voor hoog gereguleerde industrieën moeten daarom controle uitoefenen over gegevensbronnen om potentiële fouten te beperken. Dat wil zeggen, gegevens extracteren uit vertrouwde, door de industrie gevalideerde bronnen in plaats van extern webpagina’s lukraak en zonder uitdrukkelijke toestemming te schrapen. Voor de zorgsector betekent dit het beperken van gegevensinvoer tot FAQ-pagina’s, CSV-bestanden en medische databases – onder andere interne bronnen.

Als dit enigszins beperkend lijkt, probeer dan een dienst te zoeken op de website van een groot gezondheidszorgsysteem. Amerikaanse zorgorganisaties publiceren honderden, zo niet duizenden, informatieve pagina’s op hun platforms; de meeste zijn zo diep begraven dat patiënten ze nooit daadwerkelijk kunnen bereiken. Generatieve AI-oplossingen op basis van interne gegevens kunnen deze informatie aan patiënten handig en naadloos leveren. Dit is een win-winsituatie voor alle partijen, aangezien het gezondheidszorgsysteem eindelijk rendement ziet op deze inhoud, en patiënten de diensten kunnen vinden die ze nodig hebben, onmiddellijk en moeiteloos.

Wat is de volgende stap voor generatieve AI in gereguleerde industrieën?

De zorgsector heeft baat bij generatieve AI op een aantal manieren.

Bijvoorbeeld, de wijdverbreide burn-out die de Amerikaanse zorgsector de laatste tijd teistert – bijna 50% van de beroepsbevolking wordt verwacht om tegen 2025 te vertrekken. Generatieve AI-geactiveerde chatbots kunnen helpen om een groot deel van de werklast te verlichten en de toegang tot patiënten te behouden.

Aan de kant van de patiënt heeft generatieve AI het potentieel om de callcenterdiensten van zorgverleners te verbeteren. AI-automatisering heeft de kracht om een breed scala aan vragen te beantwoorden via verschillende contactkanalen, waaronder FAQ’s, IT-problemen, medicijnherhalingen en artsverwijzingen. Behalve de frustratie die voortkomt uit het wachten in de wacht, lukt het slechts ongeveer de helft van de Amerikaanse patiënten om hun problemen op te lossen bij hun eerste oproep, wat resulteert in hoge afbreukpercentages en beperkte toegang tot zorg. De resulterende lage klanttevredenheid creëert verdere druk op de industrie om te handelen.

Om de industrie echt te laten profiteren van de implementatie van generatieve AI, moeten zorgverleners de gegevens die hun LLM’s gebruiken, opzettelijk herschikken.