De gezondheidszorg AI heeft een verantwoordelijkheidsprobleem

In de gezondheidszorg is AI nu ingebed in alles, van klinische beslissingen tot HR en financiën. Toch ontbreekt het bij veel organisaties nog aan de risicobeheersdelegatie die nodig is om ervoor te zorgen dat AI-hulpmiddelen geen schade aanrichten. Het ontbreken van gestructureerd toezicht betekent dat AI-gerelateerde beslissingen worden genomen zonder duidelijke verantwoordelijkheid, waardoor organisaties worden blootgesteld aan het risico van ethische en regelgevingsinbreuken.

Wanneer niemand verantwoordelijk is voor de beslissingen en acties die AI neemt, zullen blind spots zich snel uitbreiden. De gevolgen van een AI-systeem dat hoge inzet beslissingen neemt zonder toezicht zijn talrijk en verstrekkend, vooral wanneer mensenlevens op het spel staan.

Vandaag de dag lijken de governance-gaps in AI veel op eerdere keerpunten waar de technologiecurve sneller steeg dan het vermogen van het bedrijf om het te beheren. We hebben dit meegemaakt met cloud computing: teams namen SaaS, IaaS en “shadow IT” om sneller te gaan, terwijl governance achterbleef op basisbeginselen als gegevensclassificatie, identiteit en toegangsbeheer, leveranciersbeheer, logging/monitoring en gedeelde verantwoordelijkheid—zodat verantwoordelijkheid over het IT-, beveiligings-, inkoop- en bedrijfsgebied werd verspreid. We hebben dit ook gezien bij de snelle consumentisering van IT en mobile/BYOD, waar medewerkers nieuwe apparaten en apps in gereguleerde omgevingen introduceerden lang voordat organisaties volwassen beleid hadden voor encryptie, eindpuntcontrole, app-keuring en e-discovery. In elk geval was de adoptie rationeel en vaak waardecreërend — maar het ontbreken van duidelijke eigendom, gestandaardiseerde controles en levenscyclusbeheer creëerde voorspelbare fouten. De les voor AI is rechttoe rechtaan: governance kan niet een nabeheer zijn dat aan innovatie wordt toegevoegd; het moet worden opgebouwd als andere kritieke infrastructuur—opzettelijk, met gedefinieerde beslissingsrechten, continue monitoring en afdwingbare beveiligingsmaatregelen.

Het probleem met verspreide verantwoordelijkheid

De snelle inzet van AI heeft de ontwikkeling van governance- en verantwoordelijkheidsnormen voorbijgestreefd, waardoor een “verspreide verantwoordelijkheid”-gat ontstaat waarin geen enkele entiteit verantwoordelijk is wanneer AI faalt.

Aansprakelijkheid is al een alomtegenwoordig probleem in de gezondheidszorg, en AI heeft alleen maar nieuwe uitdagingen gebracht. AI-hulpmiddelen hebben geen erkende juridische identiteit, wat betekent dat ze niet kunnen worden aangeklaagd of verzekerd, noch kunnen ze juridische compensatie betalen aan slachtoffers. In juridische procedures moet de schuld worden overgedragen aan een menselijke actor of een onderneming, niet aan een hulpmiddel.

Onderzoekers in The Lancet, een toonaangevend medisch onderzoekstijdschrift, betogen onlangs dat “institutionele aansprakelijkheidsstructuren de verantwoordelijkheid moeten herverdelen van clinici naar de organisaties die [AI]-hulpmiddelen ontwerpen en inzetten.” Het is duidelijk dat dergelijke vragen over aansprakelijkheid zich nog lang in de toekomst zullen voordoen.

De Europese Unie probeert deze kwesties aan te pakken op regionaal niveau. De Unie heeft twee belangrijke wetgevingsinstrumenten ingevoerd: de AI-wet, die AI-gebruik reguleert naar mate van risico en de behoud van menselijk toezicht benadrukt; en de AI-aansprakelijkheidsrichtlijn, die nieuwe regels vaststelt die het voor mensen gemakkelijker maken om compensatie te eisen voor schade veroorzaakt door AI.

Maar regelgeving alleen lost het probleem niet op. Ziekenhuizen opereren binnen een complex web van leveranciers, clinici, bestuurders en IT-teams, dus wanneer een AI-systeem een schadelijk of bevooroordeeld resultaat produceert, wordt de verantwoordelijkheid doorgegeven als een bal tussen stakeholders: de leverancier kan wijzen op onjuist gebruik, clinici kunnen zeggen dat het ontwerp gebrekkig is, en leiders kunnen de verantwoordelijkheid toeschrijven aan regelgevingsonzekerheid.

Alles bij elkaar genomen betekent dit dat verantwoordelijkheid wordt verspreid, waardoor ziekenhuizen kwetsbaar zijn voor grote juridische strijd.

Praktische stappen om governance-gaps te dichten

Het goede nieuws is dat zelfs zonder alomvattende regelgeving, gezondheidsorganisaties proactief governance-gaps in AI kunnen dichten. Om te beginnen kunnen leiders beginnen met het rapport van de Wereldgezondheidsorganisatie, “Ethiek en governance van kunstmatige intelligentie voor de gezondheid,” dat ertoe strekt de belofte van AI te maximaliseren en het risico te minimaliseren.

De stappen die in dit rapport worden beschreven, zijn gericht op het beschermen van autonomie, het bevorderen van menselijk welzijn en openbare veiligheid, het waarborgen van transparantie en verklarbaarheid, en het bevorderen van verantwoordelijkheid en verantwoordelijkheid. Om governance-gaps aan te pakken, laten we ons focussen op de laatste twee punten.

Voer een uniforme aanpak van AI-governance in, waarbij deze top-down wordt gericht door raden of deskundigen. Op dit moment laten veel organisaties individuele afdelingen AI gebruiken waar ze maar willen, waardoor leiders niet in staat zijn om uit te leggen hoe en waar de organisatie deze hulpmiddelen gebruikt. Zichtbaarheid is van het grootste belang, dus zorg ervoor dat u een lijst heeft van exact welke hulpmiddelen op welke plaats en voor welk doel worden gebruikt.

Het is even belangrijk om duidelijke verantwoordelijkheidslijnen te vestigen in de gehele AI-levenscyclus. Dit betekent dat een persoon of afdeling verantwoordelijk wordt gesteld voor alles, van inkoop en validatie tot inzet, monitoring en incidentrespons. Ziekenhuizen moeten van leveranciers eisen dat ze voldoen aan gedefinieerde transparantie- en controleerbare normen, en ervoor zorgen dat interne teams zijn opgeleid om zowel de mogelijkheden als de beperkingen van AI-systemen te begrijpen.

Tenslotte moet governance worden geoperationaliseerd, niet alleen gedocumenteerd. Integreer beleid in workflows door AI-risicobeoordelingen op te nemen in inkoopprocessen, regelmatige audits van AI-prestaties uit te voeren en mechanismen te creëren voor frontliniepersoneel om zonder wrijving zorgen te melden.

In de praktijk is het dichten van de governance-gap minder een kwestie van het introduceren van nieuwe principes en meer een kwestie van discipline afdwingen: standaardiseer hoe AI de organisatie binnenkomt, definieer wie het bezit op elk moment, en zorg ervoor dat de prestaties ervan voortdurend worden onderzocht. Zonder die discipline zullen AI-hulpmiddelen blijven voorspelen op de structuren die zijn ontworpen om ze veilig te houden.

De verborgen risico: gegevenskwaliteit

Zelfs wanneer verantwoordelijkheidsstructuren op hun plaats zijn, is er nog een ander risico dat vaak wordt onderschat: de integriteit van de gegevens die AI-systemen voeden en hoe die systemen in de loop van de tijd evolueren. Elk AI-systeem is alleen zo betrouwbaar als de gegevens waarop het is getraind en waarvan het voortdurend leert, en ziekenhuisgegevensomgevingen zijn berucht gefragmenteerd, inconsistent en vatbaar voor gaten.

Elektronische gezondheidsdossiers, beeldvormingssystemen en administratieve platforms werken vaak in silo’s, waardoor discrepanties ontstaan die direct van invloed kunnen zijn op AI-uitvoer. Een model getraind op onvolledige of bevooroordeelde datasets kan gebrekkige aanbevelingen produceren die mogelijk onopgemerkt blijven totdat de schade al is gebeurd. Het is vooral gevaarlijk in klinische omgevingen, waar kleine afwijkingen in nauwkeurigheid kunnen vertalen in significante gevolgen voor patiënten.

Het probleem wordt verergerd door ” model drift“: de neiging van AI-modellen om af te wijken van instructies en context naarmate meer gegevens in het systeem worden ingevoerd. Naarmate patiëntpopulaties evolueren, nieuwe behandelprotocollen worden geïntroduceerd en externe factoren de operaties beïnvloeden, kunnen de basisveronderstellingen van de AI-hulpmiddelen verschuiven. Zonder voortdurende monitoring en herkalibratie kan een AI-systeem dat ooit betrouwbaar presteerde, beginnen met het nemen van acties of het voorstellen van oplossingen die afwijken van zijn training.

Om model drift aan te pakken, moeten ziekenhuizen AI-systemen behandelen als dynamische, hoge-risicoactiva in plaats van statische hulpmiddelen. Dit betekent het implementeren van voortdurende prestatiebewaking, het vaststellen van duidelijke drempels voor aanvaardbare nauwkeurigheid en het definiëren van eigendom voor opnieuw trainen en valideren. Gegevensgovernance moet ook worden versterkt, met gestandaardiseerde praktijken voor gegevenskwaliteit, interoperabiliteit en vooroordeeldetectie.

Zonder de risico’s die verbonden zijn aan gegevenskwaliteit en model drift aan te pakken, zullen zelfs de beste AI-governance-kaders tekortschieten. Voor gezondheidszorg-AI-systemen, die alleen zo goed zijn als de gegevens waarop ze zijn gebaseerd, creëert het negeren van deze laag van risico het potentieel voor een systemische fout eerder of later.

Maak het goed voordat je het laat draaien

AI heeft het potentieel om de gezondheidszorg te transformeren door efficiëntie, nauwkeurigheid en patiëntresultaten te verbeteren. Maar zonder duidelijke eigendom van de risico’s die het naar boven brengt, kan dat potentieel snel een last worden.

Ziekenhuizen kunnen zich niet veroorloven om AI-governance te behandelen als een compliance-oefening. Het moet worden behandeld als een kernoperationele prioriteit: definieer eigendom, structuur toezicht en evalueer voortdurend. Omdat in de gezondheidszorg, wanneer iets misgaat, de gevolgen veel erger kunnen zijn dan wie schuld heeft.