Hvem er ansvarlig hvis helse-ai feiler?

Hvem er ansvarlig når ai-feil i helsevesenet fører til ulykker, skader eller verre? Avhengig av situasjonen, kan det være ai-utvikleren, en helseperson eller selv pasienten. Ansvar er en stadig mer komplisert og alvorlig bekymring ettersom ai blir mer vanlig i helsevesenet. Hvem er ansvarlig for ai som feiler og hvordan kan ulykkene forebygges?

Risikoen for ai-feil i helsevesenet

Det er mange fantastiske fordeler med ai i helsevesenet, fra økt presisjon og nøyaktighet til raskere rekoveringstider. Ai hjelper leger med å stille diagnoser, utføre operasjoner og gi de beste mulige behandlinger for pasientene. Dessverre er ai-feil alltid en mulighet.

Det finnes en rekke ai-feilscenarier i helsevesenet. Leger og pasienter kan bruke ai som ren programvarebasert beslutningstøtte eller ai kan være hjernen bak fysiske enheter som roboter. Begge kategorier har sine risikoer.

For eksempel, hva skjer hvis en ai-drevet operasjonsrobot feiler under en prosedyre? Dette kan føre til alvorlige skader eller potensielt sogar drepe pasienten. Liksom, hva hvis en legemiddeldiagnosealgoritme anbefaler feil medisiner for en pasient og de lider av en negativ bivirkning? Selv om medisinen ikke skader pasienten, kan en feildiagnose forsinke riktig behandling.

Ved roten av ai-feil som disse ligger ai-modellens natur selv. De fleste ai i dag bruker “black box”-logikk, noe som betyr at ingen kan se hvordan algoritmen tar beslutninger. Black box ai mangler transparens, noe som fører til risikoer som logisk forvrengning, diskriminering og uaktuelle resultater. Dessverre er det vanskelig å oppdage disse risikofaktorene før de allerede har forårsaket problemer.

Ai feiler: Hvem er skyldig?

Hva skjer når en ulykke skjer i en ai-drevet medisinsk prosedyre? Muligheten for ai-feil vil alltid være til stede til en viss grad. Hvis noen blir skadet eller verre, er ai skyldig? Ikke nødvendigvis.

Når ai-utvikleren er skyldig

Det er viktig å huske at ai er ingenting mer enn et dataprogram. Det er et svært avansert dataprogram, men det er likevel kode, akkurat som ethvert annet programvare. Siden ai ikke er bevisst eller uavhengig som et menneske, kan det ikke holdes ansvarlig for ulykker. En ai kan ikke gå til retten eller bli dømt til fengsel.

Ai-feil i helsevesenet ville mest sannsynlig være ai-utviklerens eller den medisinske profesjonellens ansvar som overvåker prosedyren. Hvem som er skyldig for en ulykke kan variere fra sak til sak.

For eksempel, ville utvikleren sannsynligvis være skyldig hvis datasammenstilling førte til at ai ga uriktige, uaktuelle eller diskriminerende beslutninger eller behandlinger. Utvikleren er ansvarlig for å sikre at ai fungerer som lovet og gir alle pasienter den beste mulige behandlingen. Hvis ai feiler på grunn av uaktsomhet, oversikt eller feil fra utviklerens side, ville legen ikke være ansvarlig.

Når legen eller lege er skyldig

Likevel er det mulig at legen eller selv pasienten kan være ansvarlig for ai-feil. For eksempel, kan utvikleren gjøre alt riktig, gi legen grundige instruksjoner og angi alle mulige risikoer. Når det blir tid for prosedyren, kan legen være distraherende, trøtt, glømsk eller simpelthen uaktsom.

Undersøkelser viser at over 40% av leger opplever utbrenthet på jobben, noe som kan føre til uoppmerksomhet, langsomme reflekser og dårlig hukommelse. Hvis legen ikke tar hånd om sine fysiske og psykiske behov og deres tilstand fører til en ulykke, er det legens feil.

Avhengig av omstendighetene, kan legens arbeidsgiver til slutt bli klandret for ai-feil i helsevesenet. For eksempel, hva hvis en leder på et sykehus truer med å nekte en lege en forfremmelse hvis de ikke går med på å arbeide overtid? Dette tvinger dem til å overarbeide seg selv, noe som fører til utbrenthet. Legens arbeidsgiver ville sannsynligvis bli holdt ansvarlig i en slik unik situasjon.

Når pasienten er skyldig

Hva hvis både ai-utvikleren og legen gjør alt riktig, likevel? Når en ulykke skjer, kan det være pasientens feil. Ai-feil er ikke alltid på grunn av en teknisk feil. Det kan være resultatet av dårlig eller uriktig bruk, også.

For eksempel, kan en lege forklare en ai-verktøy grundig til pasienten, men de ignorerer sikkerhetsinstruksjoner eller innfører feil data. Hvis denne uaktsomme eller uriktige bruken fører til en ulykke, er det pasientens feil. I dette tilfelle var de ansvarlige for å bruke ai riktig eller gi nøyaktig data og forsømte å gjøre det.

Selv om pasienter kjenner sine medisinske behov, kan de likevel ikke følge en leges instruksjoner av en rekke årsaker. For eksempel, 24% av amerikanerne som tar reseptmedisiner rapporterer å ha vanskeligheter med å betale for sine medisiner. En pasient kan hoppe over medisin eller lyve til en ai om å ta en fordi de er flokete over å ikke kunne betale for sin resept.

Hvis pasientens uriktige bruk var på grunn av manglende veiledning fra legen eller ai-utvikleren, kan skylden ligge et annet sted. Det avhenger ultimate av hvor ulykken eller feilen skjedde.

Reguleringer og potensielle løsninger

Er det en måte å forebygge ai-feil i helsevesenet? Mens ingen medisinsk prosedyre er helt risikofri, finnes det måter å minimere sannsynligheten for ugunstige resultater.

Reguleringer på bruken av ai i helsevesenet kan beskytte pasienter mot høyrisikable ai-drevne verktøy og prosedyrer. FDA har allerede reguleringsrammer for ai-mediske enheter, som angir testing og sikkerhetskrav og gjennomgangsprosessen. Ledende medisinske tilsynsorganer kan også gå inn og regulere bruken av pasientdata med ai-algoritmer i årene som kommer.

I tillegg til strenge, fornuftige og grundige reguleringer, bør utviklere ta skritt for å forebygge ai-feilscenarier. Forklarbar ai — også kjent som white box ai — kan løse transparens- og datasammenstillingproblemer. Forklarbar ai-modeller er nye algoritmer som tillater utviklere og brukere å få tilgang til modellens logikk.

Når ai-utviklere, leger og pasienter kan se hvordan en ai kommer til sine konklusjoner, er det mye enklere å identifisere datasammenstilling. Leger kan også fange faktiske uaktualiteter eller manglende informasjon raskere. Ved å bruke forklarbar ai i stedet for black box ai, kan utviklere og helseleverandører øke tillitsverdigheten og effektiviteten av medisinsk ai.

Sikker og effektiv helse-ai

Kunstig intelligens kan gjøre fantastiske ting i det medisinske feltet, potensielt sogar redde liv. Det vil alltid være en viss usikkerhet forbundet med ai, men utviklere og helseorganisasjoner kan ta skritt for å minimere disse risikoene. Når ai-feil i helsevesenet skjer, vil juridiske rådgivere sannsynligvis bestemme ansvar basert på feilens rotårsak.