De gezondheidszorg AI heeft een verantwoordelijkheidsprobleem

In de gezondheidszorg is AI nu ingebed in alles, van klinische beslissingen tot HR en financiën. Toch ontbreken veel organisaties nog steeds de risicobeheerdelegatie die nodig is om ervoor te zorgen dat AI-hulpmiddelen geen schade veroorzaken. Het ontbreken van gestructureerd toezicht betekent dat AI-gerelateerde beslissingen worden genomen zonder duidelijke verantwoordelijkheid, waardoor organisaties worden blootgesteld aan het risico van ethische en regelgevingsinbreuken.

Wanneer niemand verantwoordelijk is voor de beslissingen en acties van AI, zullen blinde vlekken zich snel uitbreiden. De gevolgen van een AI-systeem dat hoge inzet beslissingen neemt zonder toezicht zijn talrijk en verstrekkend, vooral wanneer mensenlevens op het spel staan.

Vandaag de dag zien de AI-governance-gaten eruit als eerder keerpunten waar de technologiecurve sneller steeg dan het vermogen van het bedrijf om het te beheren. We hebben dit meegemaakt met cloud computing: teams namen SaaS, IaaS en “shadow IT” over om sneller te gaan, terwijl governance achterbleef op basisbeginselen zoals gegevensclassificatie, identiteit en toegangsbeheer, leveranciersbeheer, logging/monitoring en gedeelde verantwoordelijkheid – dus verantwoordelijkheid werd verspreid over IT, beveiliging, inkoop en het bedrijf. We hebben dit ook gezien bij de snelle consumentisering van IT en mobiel/BYOD, waar medewerkers nieuwe apparaten en apps in gereguleerde omgevingen introduceerden lang voordat organisaties volwassen beleid hadden voor encryptie, eindpuntcontrole, app-keuring en e-discovery. In elk geval was de adoptie rationeel en vaak waardecreërend – maar het ontbreken van duidelijke eigendom, gestandaardiseerde controles en levenscyclusbeheer creëerde voorspelbare fouten. De les voor AI is rechttoe rechtaan: governance kan niet een nabeurt zijn die aan innovatie wordt toegevoegd; het moet worden opgebouwd als andere kritieke infrastructuur – opzettelijk, met gedefinieerde beslissingsrechten, continue monitoring en afdwingbare bewakingsmechanismen.

Het probleem met verspreide verantwoordelijkheid

De snelle inzet van AI heeft de ontwikkeling van governance- en verantwoordelijkheidsnormen voorbijgestreefd, wat leidt tot een “verspreide verantwoordelijkheid”-gat waarin geen enkele entiteit verantwoordelijk is wanneer AI faalt.

Aansprakelijkheid is al een alomtegenwoordig probleem in de gezondheidszorg, en AI heeft alleen maar nieuwe uitdagingen gebracht. AI-hulpmiddelen hebben geen erkende juridische identiteit, wat betekent dat ze niet kunnen worden aangeklaagd of verzekerd, noch kunnen ze juridische compensatie betalen aan slachtoffers. In juridische procedures moet de schuld worden overgedragen aan een menselijke actor of een onderneming, niet aan een hulpmiddel.

Onderzoekers in The Lancet, een toonaangevend medisch onderzoeksblad, betogen onlangs dat “institutionele aansprakelijkheidsstructuren de verantwoordelijkheid moeten herverdelen van clinici naar de organisaties die [AI]-hulpmiddelen ontwerpen en inzetten.” Het is duidelijk dat dergelijke vragen over aansprakelijkheid zich nog lang in de toekomst zullen voordoen.

De Europese Unie probeert deze problemen aan te pakken op regionaal niveau. De Unie heeft twee belangrijke wetgevingsinstrumenten ingevoerd: de AI-wet, die AI-gebruik reguleert op basis van risicograad en de handhaving van menselijk toezicht benadrukt; en de AI-aansprakelijkheidsrichtlijn, die nieuwe regels invoert die het voor mensen gemakkelijker maken om compensatie te eisen voor schade veroorzaakt door AI.

Maar regelgeving alleen lost het probleem niet op. Ziekenhuizen opereren binnen een complex web van leveranciers, clinici, administratieve teams en IT-teams, dus wanneer een AI-systeem een schadelijke of vooringenomen uitvoer produceert, wordt de verantwoordelijkheid doorgegeven als een bal tussen stakeholders: de leverancier kan wijzen op onjuist gebruik, clinici kunnen zeggen dat het ontwerp gebrekkig is, en leiders kunnen de verantwoordelijkheid toeschrijven aan regelgevingsonzekerheid.

Alles bij elkaar genomen betekent dit dat verantwoordelijkheid wordt verspreid, waardoor ziekenhuizen kwetsbaar zijn voor grote juridische strijd.

Praktische stappen om governance-gaten te dichten

Het goede nieuws is dat zelfs zonder alomvattende regelgeving, gezondheidsorganisaties proactief governance-gaten in AI kunnen dichten. Om te beginnen kunnen leiders beginnen met het rapport van de Wereldgezondheidsorganisatie, “Ethiek en governance van kunstmatige intelligentie voor de gezondheid,” dat ertoe strekt de belofte van AI te maximaliseren en het risico te minimaliseren.

De stappen die in dit rapport worden uiteengezet, zijn gericht op het beschermen van autonomie, het bevorderen van menselijk welzijn en openbare veiligheid, het waarborgen van transparantie en verklarbaarheid, en het bevorderen van verantwoordelijkheid en verantwoordelijkheid. Om governance-gaten aan te pakken, laten we ons focussen op de laatste twee punten.

Voer een uniforme aanpak van AI-governance in, waarbij deze wordt geleid van bovenaf door raden of deskundigen. Op dit moment laten veel organisaties individuele afdelingen AI gebruiken waar ze het nodig achten, waardoor leiders niet in staat zijn om uit te leggen hoe en waar de organisatie deze hulpmiddelen gebruikt. Zichtbaarheid is van het grootste belang, dus zorg ervoor dat u een lijst heeft van exact welke hulpmiddelen worden gebruikt waar en voor welk doel.

Het is even belangrijk om duidelijke verantwoordelijkheidslijnen vast te stellen gedurende de gehele AI-levenscyclus. Dit betekent dat een persoon of afdeling verantwoordelijk is voor alles, van inkoop en validatie tot implementatie, monitoring en incidentrespons. Ziekenhuizen moeten van leveranciers eisen dat ze voldoen aan gedefinieerde transparantie- en controleerbare normen, en ervoor zorgen dat interne teams zijn opgeleid om zowel de mogelijkheden als de beperkingen van AI-systemen te begrijpen.

Tenslotte moet governance worden geoperationaliseerd, niet alleen gedocumenteerd. Integreer beleid in workflows door AI-risicobeoordelingen op te nemen in inkoopprocessen, regelmatige audits van AI-prestaties uit te voeren en mechanismen te creëren voor frontliniepersoneel om zonder wrijving zorgen te melden.

In de praktijk is het dichten van de governance-kloof minder gaan over het introduceren van nieuwe principes en meer over het afdwingen van discipline: standaardiseer hoe AI de organisatie binnenkomt, definieer wie het bezit op elk moment, en zorg ervoor dat de prestaties ervan continu worden onderzocht. Zonder die discipline zullen AI-hulpmiddelen blijven voorspellen op de structuren die zijn ontworpen om ze veilig te houden.

De verborgen risico’s: gegevenskwaliteit

Zelfs wanneer verantwoordelijkheidsstructuren op hun plaats zijn, wordt een ander risico vaak onderschat: de integriteit van de gegevens die AI-systemen voeden en hoe die systemen in de loop van de tijd evolueren. Elk AI-systeem is alleen zo betrouwbaar als de gegevens waarop het is getraind en continu leert, en ziekenhuisgegevensomgevingen zijn berucht gefragmenteerd, inconsistent en vatbaar voor gaten.

Elektronische gezondheidsdossiers, beeldvormingssystemen en administratieve platforms werken vaak in silo’s, waardoor discrepanties ontstaan die rechtstreeks van invloed kunnen zijn op AI-uitvoer. Een model getraind op onvolledige of vooringenomen datasets kan gebrekkige aanbevelingen produceren die mogelijk onopgemerkt blijven totdat de schade al is gebeurd. Het is vooral gevaarlijk in klinische omgevingen, waar kleine afwijkingen in nauwkeurigheid kunnen vertalen in significante gevolgen voor patiënten.

Deze kwestie wordt verergerd door ” model drift“: de neiging van AI-modellen om af te wijken van instructies en context wanneer meer gegevens in het systeem worden ingevoerd. Naarmate patiëntpopulaties evolueren, nieuwe behandelingen worden geïntroduceerd en externe factoren de operaties beïnvloeden, kunnen de basisveronderstellingen van AI-hulpmiddelen verschuiven. Zonder continue monitoring en herkalibratie kan een AI-systeem dat ooit betrouwbaar presteerde, beginnen met het nemen van acties of het voorstellen van oplossingen die afwijken van zijn training.

Om model drift aan te pakken, moeten ziekenhuizen AI-systemen behandelen als dynamische, hoge-risicoactiva in plaats van statische hulpmiddelen. Dit betekent het implementeren van continue prestatiebewaking, het vaststellen van duidelijke drempels voor aanvaardbare nauwkeurigheid en het definiëren van eigendom voor opnieuw trainen en valideren. Gegevensbeheer moet ook worden versterkt, met gestandaardiseerde praktijken voor gegevenskwaliteit, interoperabiliteit en vooringenomenheidsdetectie.

Zonder de risico’s in verband met gegevenskwaliteit en model drift aan te pakken, zullen zelfs de beste AI-governance-kaders tekortschieten. Voor gezondheidszorg-AI-systemen, die alleen zo goed zijn als de gegevens waarop ze zijn gebaseerd, creëert het negeren van deze laag van risico het potentieel voor een systeemfalen eerder of later.

Zorg ervoor dat het goed is voordat je het laat draaien

AI heeft het potentieel om de gezondheidszorg te transformeren door efficiëntie, nauwkeurigheid en patiëntresultaten te verbeteren. Maar zonder duidelijke eigendom van de risico’s die het naar boven brengt, kan dat potentieel snel een last worden.

Ziekenhuizen kunnen zich niet veroorloven om AI-governance te behandelen als een compliance-oefening. Het moet worden behandeld als een kernoperationele prioriteit: definieer eigendom, structuur toezicht en evalueer continu. Omdat in de gezondheidszorg, wanneer er iets misgaat, de gevolgen veel erger kunnen zijn dan wie schuld heeft.