Hvem er ansvarlig, hvis sundheds-AI fejler?

Hvem er ansvarlig, når AI-fejl i sundhedssektoren forårsager ulykker, skader eller noget værre? Afhængigt af situationen, kan det være AI-udvikleren, en sundhedsprofessionel eller endda patienten. Ansvar er en stadig mere kompleks og alvorlig bekymring, da AI bliver mere almindelig i sundhedssektoren. Hvem er ansvarlig for AI, der er gået galt, og hvordan kan ulykker forebygges?

Risikoen for AI-fejl i sundhedssektoren

Der er mange fantastiske fordele ved AI i sundhedssektoren, fra øget præcision og nøjagtighed til hurtigere genhelbredelse. AI hjælper læger med at stille diagnoser, udføre operationer og give patienterne den bedst mulige behandling. Desværre er AI-fejl altid en mulighed.

Der er en bred vifte af AI-fejlscenarier i sundhedssektoren. Læger og patienter kan bruge AI som ren software-baseret beslutningstagning eller AI kan være hjernen bag fysiske enheder som robotter. Begge kategorier har deres risici.

For eksempel, hvad sker der, hvis en AI-drevet operationsrobot fejler under en procedure? Dette kan forårsage en alvorlig skade eller potentielt sogar dræbe patienten. Ligesom, hvad hvis en medicin-diagnosealgoritme anbefaler den forkerte medicin til en patient, og de oplever en negativ bivirkning? Selv hvis medicinen ikke skader patienten, kan en fejldiagnose forsinke den rette behandling.

Til roden af AI-fejl som disse er AI-modellernes natur selv. De fleste AI i dag bruger “black box”-logik, hvilket betyder, at ingen kan se, hvordan algoritmen tager beslutninger. Black box AI mangle transparens, leder til risici som logisk bias, diskrimination og upræcise resultater. Desværre er det svært at opdage disse risikofaktorer, før de har forårsaget problemer.

AI fejl: Hvem er skyldig?

Hvad sker der, når en ulykke indtræffer i en AI-drevet medicinsk procedure? Muligheden for AI-fejl vil altid være til stede til en vis grad. Hvis nogen bliver skadet eller værre, er AI’en skyldig? Ikke nødvendigvis.

Når AI-udvikleren er skyldig

Det er vigtigt at huske, at AI ikke er andet end et computerprogram. Det er et meget avanceret computerprogram, men det er stadig kode, ligesom ethvert andet stykke software. Da AI ikke er bevidst eller uafhængig som et menneske, kan det ikke holdes ansvarligt for ulykker. En AI kan ikke gå til retten eller blive idømt fængsel.

AI-fejl i sundhedssektoren ville sandsynligvis være ansvarlig for AI-udvikleren eller den medicinske professionel, der overvåger proceduren. Hvem der er skyldig i en ulykke, kan variere fra sag til sag.

For eksempel ville udvikleren sandsynligvis være skyldig, hvis data-bias forårsagede, at AI gav urimelige, upræcise eller diskriminerende beslutninger eller behandling. Udvikleren er ansvarlig for at sikre, at AI fungerer, som det lovede, og giver alle patienter den bedst mulige behandling. Hvis AI fejler på grund af uagtsomhed, oversigt eller fejl fra udviklerens side, ville lægen ikke være ansvarlig.

Når lægen eller lægen er skyldig

Det er dog stadig muligt, at lægen eller endda patienten kunne være ansvarlig for AI-fejl. For eksempel kunne udvikleren gøre alt rigtigt, give lægen omfattende instruktioner og fremhæve alle mulige risici. Når det kommer til proceduren, kunne lægen være distraheret, træt, glemsom eller simpelthen uagtsom.

Undersøgelser viser over 40% af læger oplever udbrændthed på arbejdet, hvilket kan føre til uopmærksomhed, langsomme reflekser og dårlig hukommelse. Hvis lægen ikke beskæftiger sig med sine egne fysiske og psykologiske behov, og deres tilstand forårsager en ulykke, er det lægens skyld.

Afhsængigt af omstændighederne kunne lægens arbejdsgiver ultimativt blive beskyldt for AI-fejl i sundhedssektoren. For eksempel, hvad hvis en leder på et hospital truer med at nægte en læge en forfremmelse, hvis de ikke accepterer at arbejde overtid? Dette tvinger dem til at overarbejde sig selv, hvilket fører til udbrændthed. Lægens arbejdsgiver ville sandsynligvis blive holdt ansvarlig i en sådan situation.

Når patienten er skyldig

Hvad hvis både AI-udvikleren og lægen gør alt rigtigt, så? Når en ulykke sker, når patienten uafhængigt bruger et AI-værktøj, kan det være patientens skyld. AI-fejl er ikke altid på grund af en teknisk fejl. Det kan være resultatet af dårlig eller forkert brug.

For eksempel kunne en læge forklare et AI-værktøj grundigt til patienten, men de ignorerer sikkerhedsinstruktioner eller indtaster forkert data. Hvis denne uagtsomme eller forkerte brug resulterer i en ulykke, er det patientens skyld. I dette tilfælde var de ansvarlige for at bruge AI korrekt eller give præcise data og forsømte at gøre det.

Selv når patienter kender deres medicinske behov, kan de ikke følge en læges instruktioner af en række årsager. For eksempel 24% af amerikanerne, der tager receptpligtig medicin, rapporterer, at de har svært ved at betale for deres medicin. En patient kan springe over medicin eller lyve til en AI om at tage en, fordi de er flove over ikke at kunne betale for deres recept.

Hvis patientens forkerte brug skyldes mangel på vejledning fra lægen eller AI-udvikleren, kunne skylden være et andet sted. Det afhænger ultimativt af, hvor rodfejlen eller fejlen opstod.

Reguleringer og potentielle løsninger

Er der en måde at forhindre AI-fejl i sundhedssektoren på? Selv om ingen medicinsk procedure er helt risikofri, er der måder at minimere sandsynligheden for ugunstige resultater på.

Reguleringer på brugen af AI i sundhedssektoren kan beskytte patienter mod højrisikable AI-drevne værktøjer og procedurer. FDA har allerede reguleringsrammer for AI-medical enheder, der fastlægger test- og sikkerheds krav og gennemgangsprocessen. Ledende medicinske tilsynsorganisationer kan også træde ind for at regulere brugen af patientdata med AI-algoritmer i de kommende år.

Ud over strenge, rimelige og omfattende reguleringer, bør udviklere tage skridt for at forhindre AI-fejlscenarier. Forklarlig AI — også kendt som white box AI — kan løse transparens- og data-bias-problemer. Forklarlig AI-modeller er opkomne algoritmer, der giver udviklere og brugere adgang til modellens logik.

Når AI-udviklere, læger og patienter kan se, hvordan en AI kommer til sine konklusioner, er det meget lettere at identificere data-bias. Læger kan også fange faktuelle uændringer eller manglende information hurtigere. Ved at bruge forklarlig AI i stedet for black box AI kan udviklere og sundhedsudbydere øge tilliden og effektiviteten af medicinsk AI.

Sikker og effektiv sundheds-AI

Kunstig intelligens kan gøre fantastiske ting i det medicinske felt, potentielt sogar redde liv. Der vil altid være en vis usikkerhed forbundet med AI, men udviklere og sundhedsorganisationer kan tage skridt for at minimere disse risici. Når AI-fejl i sundhedssektoren indtræffer, vil juridiske rådgivere sandsynligvis afgøre ansvar baseret på rodfejlen i ulykken.