Vem är ansvarig om hälso- och sjukvårds-AI misslyckas?

Vem är ansvarig när AI-fel i hälso- och sjukvården orsakar olyckor, skador eller värre? Beroende på situationen kan det vara AI-utvecklaren, en hälso- och sjukvårdspersonal eller till och med patienten. Ansvar är ett alltmer komplext och allvarligt problem när AI blir vanligare i hälso- och sjukvården. Vem är ansvarig för AI som går fel och hur kan olyckor förhindras?

Risken med AI-fel i hälso- och sjukvården

Det finns många fantastiska fördelar med AI i hälso- och sjukvården, från ökad precision och noggrannhet till snabbare återhämtningstider. AI hjälper läkare att ställa diagnoser, utföra operationer och ge patienterna den bästa möjliga vården. Tyvärr är AI-fel alltid en möjlighet.

Det finns ett brett spektrum av AI-fel i hälso- och sjukvården. Läkare och patienter kan använda AI som enbart en programvarubaserad beslutsfattande verktyg eller AI kan vara hjärnan i fysiska enheter som robotar. Båda kategorierna har sina risker.

Till exempel, vad händer om en AI-styrd operationsrobot går sönder under en procedur? Detta kan orsaka allvarliga skador eller till och med döda patienten. På samma sätt, vad händer om ett läkemedelsdiagnosalgoritm rekommenderar fel läkemedel för en patient och de lider av en negativ bieffekt? Även om läkemedlet inte skadar patienten, kan en felaktig diagnos försena rätt behandling.

I grund och botten av AI-fel som dessa ligger AI-modellernas natur. De flesta AI-idag använder “svarta låda”-logik, vilket innebär att ingen kan se hur algoritmen fattar beslut. Svarta låda-AI saknar transparens, vilket leder till risker som logisk bias, diskriminering och felaktiga resultat. Tyvärr är det svårt att upptäcka dessa riskfaktorer tills de redan har orsakat problem.

AI som går fel: Vem är ansvarig?

Vad händer när en olycka inträffar i en AI-styrd medicinsk procedur? Möjligheten att AI går fel kommer alltid att finnas till en viss grad. Om någon skadas eller värre, är AI ansvarig? Inte nödvändigtvis.

När AI-utvecklaren är ansvarig

Det är viktigt att komma ihåg att AI är ingenting mer än ett datorprogram. Det är ett mycket avancerat datorprogram, men det är fortfarande kod, precis som alla andra program. Eftersom AI inte är medveten eller oberoende som en människa, kan den inte hållas ansvarig för olyckor. En AI kan inte gå till domstol eller dömas till fängelse.

AI-fel i hälso- och sjukvården skulle troligen vara ansvarigt för AI-utvecklaren eller den medicinska personalen som övervakar proceduren. Vilken part som är ansvarig för en olycka kan variera från fall till fall.

Till exempel, om data-bias orsakade ett AI att ge orättvisa, felaktiga eller diskriminerande beslut eller behandling, skulle utvecklaren troligen vara ansvarig. Utvecklaren är ansvarig för att se till att AI fungerar som utlovat och ger alla patienter den bästa möjliga behandlingen. Om AI går sönder på grund av oaktsamhet, försummelse eller fel på utvecklarens sida, skulle läkaren inte vara ansvarig.

När läkaren eller läkare är ansvarig

Det är dock möjligt att läkaren eller till och med patienten kan vara ansvarig för AI som går fel. Till exempel, om utvecklaren gör allt rätt, ger läkaren tydliga instruktioner och beskriver alla möjliga risker. När det är dags för proceduren, kan läkaren vara distraherad, trött, glömsk eller enkelt oaktsam.

Enkäter visar att över 40% av läkare upplever utbrändhet på jobbet, vilket kan leda till ouppmärksamhet, långsamma reflexer och dåligt minne. Om läkaren inte tar hand om sina fysiska och psykologiska behov och deras tillstånd orsakar en olycka, är det läkarens fel.

Beroende på omständigheterna, kan läkarens arbetsgivare slutligen vara ansvarig för AI-fel i hälso- och sjukvården. Till exempel, om en chef på ett sjukhus hotar att neka en läkare en befordran om de inte går med på att arbeta övertid, tvingar de läkaren att överanstränga sig, vilket leder till utbrändhet. I ett sådant unikt fall skulle läkarens arbetsgivare troligen vara ansvarig.

När patienten är ansvarig

Vad händer om både AI-utvecklaren och läkaren gör allt rätt, men? När en patient oberoende använder ett AI-verktyg, kan en olycka vara patientens fel. AI som går fel är inte alltid orsakat av ett tekniskt fel. Det kan vara resultatet av dålig eller olämplig användning.

Till exempel, om en läkare förklarar ett AI-verktyg för patienten, men patienten ignorerar säkerhetsanvisningarna eller anger felaktiga data. Om denna oaktsamma eller olämpliga användning resulterar i en olycka, är det patientens fel. I det fallet var patienten ansvarig för att använda AI korrekt eller tillhandahålla korrekta data och försummade att göra det.

Även om patienter känner till sina medicinska behov, kan de inte följa läkarens instruktioner av olika skäl. Till exempel, 24% av amerikaner som tar receptbelagda läkemedel rapporterar att de har svårt att betala för sina läkemedel. En patient kan hoppa över läkemedel eller ljuga för AI om att ta ett läkemedel eftersom de är generade över att inte kunna betala för sitt recept.

Om patientens olämpliga användning berodde på brist på vägledning från läkaren eller AI-utvecklaren, kunde skulden ligga någon annanstans. Det beror slutligen på var roten till olyckan eller felet inträffade.

Regleringar och potentiella lösningar

Finns det ett sätt att förhindra AI-fel i hälso- och sjukvården? Medan ingen medicinsk procedur är helt riskfri, finns det sätt att minimera sannolikheten för negativa resultat.

Regleringar om användningen av AI i hälso- och sjukvården kan skydda patienter från högrisk-AI-styrda verktyg och procedurer. FDA har redan regleringsramar för AI-medical produkter, som beskriver test- och säkerhetskrav och granskningsprocessen. Ledande medicinska tillsynsorgan kan också träda in för att reglera användningen av patientdata med AI-algoritmer i framtiden.

Förutom strikta, rimliga och omfattande regleringar, bör utvecklare vidta åtgärder för att förhindra AI-fel. Förklarlig AI — också känd som vit låda-AI — kan lösa transparens- och data-bias-problem. Förklarlig AI-modeller är nya algoritmer som tillåter utvecklare och användare att komma åt modellens logik.

När AI-utvecklare, läkare och patienter kan se hur en AI kommer till sina slutsatser, är det mycket lättare att identifiera data-bias. Läkare kan också upptäcka faktiska felaktigheter eller saknad information snabbare. Genom att använda förklarlig AI istället för svarta låda-AI, kan utvecklare och hälso- och sjukvårdspersonal öka tillförlitligheten och effektiviteten hos medicinsk AI.

Säker och effektiv hälso- och sjukvårds-AI

Artificiell intelligens kan göra fantastiska saker inom hälso- och sjukvården, potentiellt till och med rädda liv. Det kommer alltid att finnas en viss osäkerhet förknippad med AI, men utvecklare och hälso- och sjukvårdsorganisationer kan vidta åtgärder för att minimera dessa risker. När AI-fel i hälso- och sjukvården inträffar, kommer juridiska rådgivare troligen att fastställa ansvar baserat på roten till felet.