Wie is verantwoordelijk als gezondheidszorg AI faalt?

Wie is verantwoordelijk als AI-fouten in de gezondheidszorg ongevallen, verwondingen of erger veroorzaken? Afhankelijk van de situatie kan het de AI-ontwikkelaar, een gezondheidsprofessional of zelfs de patiënt zijn. Aansprakelijkheid is een steeds complexer en serieuzer probleem nu AI meer gebruikt wordt in de gezondheidszorg. Wie is verantwoordelijk voor AI die verkeerd gaat en hoe kunnen ongevallen worden voorkomen?

Het risico van AI-fouten in de gezondheidszorg

Er zijn veel geweldige voordelen van AI in de gezondheidszorg, van verhoogde precisie en nauwkeurigheid tot snellere hersteltijden. AI helpt artsen bij het stellen van diagnoses, het uitvoeren van operaties en het bieden van de beste mogelijke zorg voor hun patiënten. Helaas zijn AI-fouten altijd een mogelijkheid.

Er zijn veel scenario’s waarin AI in de gezondheidszorg verkeerd kan gaan. Artsten en patiënten kunnen AI gebruiken als puur software-gebaseerd beslissingsinstrument of AI kan de hersenen zijn van fysieke apparaten zoals robots. Beide categorieën hebben hun risico’s.

Bijvoorbeeld, wat gebeurt er als een AI-gecontroleerde operatierobot defect raakt tijdens een procedure? Dit kan een ernstig letsel of zelfs de dood van de patiënt veroorzaken. Evenzo, wat als een medicijn-diagnose-algoritme de verkeerde medicatie voor een patiënt aanbeveelt en ze een negatief bijwerking ervaren? Zelfs als de medicatie de patiënt niet schaadt, kan een verkeerde diagnose de juiste behandeling vertragen.

De oorzaak van AI-fouten zoals deze ligt in de aard van AI-modellen zelf. De meeste AI vandaag gebruiken “black box”-logica, wat betekent dat niemand kan zien hoe het algoritme beslissingen neemt. Black box AI ontbreekt transparantie, wat leidt tot risico’s zoals logische vooroordelen, discriminatie en onnauwkeurige resultaten. Helaas is het moeilijk om deze risicofactoren te detecteren totdat ze al problemen hebben veroorzaakt.

AI die verkeerd gaat: wie is verantwoordelijk?

Wat gebeurt er als er een ongeval gebeurt tijdens een AI-gecontroleerde medische procedure? De mogelijkheid van AI die verkeerd gaat is altijd aanwezig tot op zekere hoogte. Als iemand gewond raakt of erger, is de AI de schuld? Niet noodzakelijk.

Wanneer de AI-ontwikkelaar verantwoordelijk is

Het is belangrijk om te onthouden dat AI niets meer is dan een computerprogramma. Het is een zeer geavanceerd computerprogramma, maar het is nog steeds code, net als elk ander stuk software. Aangezien AI niet zelfstandig of onafhankelijk is als een mens, kan het niet aansprakelijk worden gesteld voor ongevallen. Een AI kan niet voor de rechter worden gebracht of naar de gevangenis worden gestuurd.

AI-fouten in de gezondheidszorg zouden waarschijnlijk de verantwoordelijkheid zijn van de AI-ontwikkelaar of de medische professional die de procedure controleert. Welke partij verantwoordelijk is voor een ongeval kan variëren van geval tot geval.

Bijvoorbeeld, de ontwikkelaar zou waarschijnlijk verantwoordelijk zijn als gegevensvooroordeel een AI ertoe bracht om oneerlijke, onnauwkeurige of discriminatoire beslissingen of behandelingen te nemen. De ontwikkelaar is verantwoordelijk voor het waarborgen dat de AI werkt zoals beloofd en alle patiënten de beste mogelijke behandeling geeft. Als de AI door nalatigheid, verwaarlozing of fouten van de ontwikkelaar defect raakt, is de arts niet aansprakelijk.

Wanneer de arts of arts verantwoordelijk is

Het is echter ook mogelijk dat de arts of zelfs de patiënt verantwoordelijk is voor AI die verkeerd gaat. Bijvoorbeeld, de ontwikkelaar doet alles goed, geeft de arts uitgebreide instructies en schetst alle mogelijke risico’s. Als het tijd is voor de procedure, kan de arts afgeleid, moe, vergeten of gewoon nalatig zijn.

Enquêtes laten zien dat meer dan 40% van de artsen burn-out ervaren op het werk, wat kan leiden tot onoplettendheid, langzame reflexen en slecht geheugen. Als de arts zijn eigen fysieke en psychologische behoeften niet aanpakt en zijn toestand een ongeval veroorzaakt, is dat de schuld van de arts.

Afhangend van de omstandigheden kan de werkgever van de arts uiteindelijk verantwoordelijk worden gesteld voor AI-fouten in de gezondheidszorg. Bijvoorbeeld, wat als een manager in een ziekenhuis een arts dreigt met het onthouden van een promotie als ze niet akkoord gaan met overwerken? Dit dwingt hen om zichzelf over te werken, wat leidt tot burn-out. De werkgever van de arts zou waarschijnlijk verantwoordelijk worden gesteld in een unieke situatie zoals deze.

Wanneer de patiënt verantwoordelijk is

Wat als zowel de AI-ontwikkelaar als de arts alles goed doen? Als een patiënt onafhankelijk een AI-instrument gebruikt, kan een ongeval de schuld van de patiënt zijn. AI die verkeerd gaat is niet altijd het gevolg van een technische fout. Het kan het resultaat zijn van slecht of onjuist gebruik.

Bijvoorbeeld, misschien legt een arts een AI-instrument grondig uit aan zijn patiënt, maar de patiënt negeert veiligheidsinstructies of voert onjuiste gegevens in. Als dit zorgeloze of onjuiste gebruik resulteert in een ongeval, is het de schuld van de patiënt. In dit geval was de patiënt verantwoordelijk voor het juiste gebruik van de AI of het verstrekken van accurate gegevens en heeft dat nagelaten.

Zelfs als patiënten hun medische behoeften kennen, kunnen ze de instructies van een arts niet opvolgen om verschillende redenen. Bijvoorbeeld, 24% van de Amerikanen die voorgeschreven medicijnen nemen, melden dat het moeilijk is om hun medicijnen te betalen. Een patiënt kan medicijnen overslaan of tegen een AI liegen over het nemen van een medicijn omdat ze zich schamen over het niet kunnen betalen van hun recept.

Als het onjuiste gebruik van de patiënt te wijten was aan een gebrek aan leiding van de arts of de AI-ontwikkelaar, kan de schuld elders liggen. Het hangt uiteindelijk af van waar de oorsprong van het ongeval of de fout lag.

Reguleringen en potentiële oplossingen

Is er een manier om AI-fouten in de gezondheidszorg te voorkomen? Hoewel geen enkele medische procedure volledig risicovrij is, zijn er manieren om de kans op ongunstige resultaten te minimaliseren.

Reguleringen voor het gebruik van AI in de gezondheidszorg kunnen patiënten beschermen tegen AI-gecontroleerde instrumenten en procedures met hoge risico’s. De FDA heeft reguleringen voor AI-medische apparaten, waarin test- en veiligheidsvereisten en de beoordelingsprocedure worden uiteengezet. Leidende medische toezichtorganen kunnen in de komende jaren ook ingrijpen om het gebruik van patiëntgegevens met AI-algoritmen te reguleren.

Naast strikte, redelijke en grondige reguleringen moeten ontwikkelaars stappen nemen om AI-scenario’s die verkeerd gaan te voorkomen. Verklaarbare AI — ook bekend als white box AI — kan transparantie- en gegevensvooroordeelproblemen oplossen. Verklaarbare AI-modellen zijn opkomende algoritmen die ontwikkelaars en gebruikers toegang geven tot de logica van het model.

Wanneer AI-ontwikkelaars, artsen en patiënten kunnen zien hoe een AI tot zijn conclusies komt, is het veel gemakkelijker om gegevensvooroordeel te identificeren. Artsten kunnen ook feitelijke onnauwkeurigheden of ontbrekende informatie sneller opmerken. Door het gebruik van verklaarbare AI in plaats van black box AI kunnen ontwikkelaars en zorgverleners de betrouwbaarheid en effectiviteit van medische AI verhogen.

Veilige en effectieve gezondheidszorg AI

Kunstmatige intelligentie kan geweldige dingen doen in de medische sector, mogelijk zelfs levens redden. Er zal altijd enige onzekerheid verbonden zijn aan AI, maar ontwikkelaars en gezondheidsorganisaties kunnen actie ondernemen om die risico’s te minimaliseren. Als AI-fouten in de gezondheidszorg optreden, zullen juridische adviseurs waarschijnlijk de aansprakelijkheid bepalen op basis van de oorsprong van de fout.