Hälso- och sjukvårdens AI har ett ansvarighetsproblem

I hälso- och sjukvården är AI nu en integrerad del av allt från kliniska beslut till HR och ekonomi. Trots detta saknar många organisationer fortfarande den riskhantering och delegering som behövs för att säkerställa att AI-verktyg inte orsakar skada. Avsaknaden av strukturerad tillsyn innebär att AI-relaterade beslut fattas utan tydligt ansvar, vilket utsätter organisationer för risken att bryta mot etiska och regulatoriska krav.

När ingen är ansvarig för de beslut och åtgärder som AI vidtar, kommer blind fläckar att öka snabbt. Konsekvenserna av att ett AI-system fattar beslut med höga insatser utan tillsyn är många och långtgående, särskilt när människors liv står på spel.

I dag ser AI-styrningens luckor ut som tidigare inflexionspunkter där teknikutvecklingen gick snabbare än företagens förmåga att hantera den. Vi gick igenom detta med molntjänster: team antog SaaS, IaaS och “skugg-IT” för att gå fortare, medan styrningen halkade efter på grund av brister i dataklassificering, identitet och åtkomsthantering, leverantörstillsyn, loggning/övervakning och tydliga ansvarsförhållanden – så ansvarigheten spreds ut över IT, säkerhet, inköp och verksamheten. Vi har också sett detta med den snabba konsumentiseringen av IT och mobil/BYOD, där anställda förde in nya enheter och appar i reglerade miljöer långt innan organisationer hade mogna policys för kryptering, slutpunktskontroll, appgranskning och e-upptäckt. I varje fall var antagandet rationellt och ofta värdeskapande – men avsaknaden av tydligt ägande, standardiserade kontroller och livscykelstyrning skapade förutsägbara misslyckanden. Lektionen för AI är tydlig: styrning kan inte vara en eftertanke som skruvas fast på innovationen; den måste byggas som annan kritisk infrastruktur – medvetet, med definierade beslutsrättigheter, kontinuerlig övervakning och genomförbara skyddsräcken.

Problemet med diffus ansvarighet

Den snabba utrullningen av AI har överträffat utvecklingen av styrnings- och ansvarighetsstandarder, vilket lett till en “diffus ansvarighetslucka” där ingen enskild enhet tar ansvar när AI misslyckas.

Ansvarighet är redan ett överallt förekommande problem inom hälso- och sjukvården, och AI har bara medfört nya utmaningar. AI-verktyg har ingen erkänd juridisk identitet, vilket innebär att de inte kan stämmas eller försäkras, och de kan inte heller betala skadestånd till offer. I rättsliga förfaranden måste skulden överföras till en mänsklig aktör eller ett företag, inte ett verktyg.

Forskare i The Lancet, en ledande medicinsk forskningstidskrift, hävdade nyligen att “institutionella ansvarighetsstrukturer måste omfördela ansvar från kliniker till de organisationer som utformar och distribuerar [AI]-verktyg.” Det är tydligt att sådana frågor om ansvarighet kommer att bestå långt in i framtiden.

Europeiska unionen försöker hantera dessa frågor på en regional nivå. Blocket har infört två stora lagstiftningsinstrument: AI-lagen, som reglerar AI-användning efter riskgrad och betonar bevarandet av mänsklig tillsyn; och AI-ansvarighetsdirektivet, som inför nya regler som gör det lättare för människor att söka skadestånd för skador orsakade av AI.

Men reglering ensam kommer inte att lösa problemet. Sjukhus opererar inom ett komplext nätverk av leverantörer, kliniker, administratörer och IT-team, så när ett AI-system producerar en skadlig eller partisk utdata, överförs ansvaret som en boll mellan intressenter: leverantören kan peka på felaktig användning, kliniker kan säga att designen är bristfällig, och ledningen kan skylla på regulatorisk tvetydighet.

Allt detta innebär att ansvarighet är diffus, vilket gör sjukhus sårbara för stora rättsliga strider.

Praktiska steg för att stänga styrningsluckor

Den goda nyheten är att även utan omfattande regleringar kan hälso- och sjukvårdsorganisationer proaktivt stänga luckor i AI-styrningen. För att börja kan ledare börja med Världshälsoorganisationens rapport, “Etik och styrning av artificiell intelligens för hälsa,” som syftar till att maximera AI:s löfte samtidigt som risken minimeras.

De steg som beskrivs i denna rapport syftar till att skydda autonomi, främja mänskligt välbefinnande och allmän säkerhet, säkerställa transparens och förklarbarhet, och främja ansvarighet. För att hantera styrningsluckor bör vi fokusera på de två sistnämnda punkterna.

Genomför en enhetlig strategi för AI-styrning, säkerställ att den styrs uppifrån av styrelser eller experter. För närvarande låter många organisationer enskilda avdelningar använda AI där de ser fit, vilket gör det omöjligt för ledare att förklara hur och var organisationen använder dessa verktyg. Synlighet är av yttersta vikt, så se till att du har en lista över exakt vilka verktyg som används var och för vilket syfte.

Det är lika viktigt att etablera tydliga ansvarslinjer över hela AI-livscykeln. Detta innebär att en person eller avdelning ansvarar för allt från inköp och validering till driftsövervakning och incidenthantering. Sjukhus måste kräva att leverantörer uppfyller definierade krav på transparens och granskningsbarhet, och säkerställa att interna team är utbildade för att förstå både AI-systemens förmågor och begränsningar.

Slutligen måste styrningen operationaliseras, inte bara dokumenteras. Införliva policys i arbetsflöden genom att integrera AI-riskbedömningar i inköpsprocesser, genomföra regelbundna granskningar av AI-prestanda och skapa mekanismer för personal på golvet att rapportera problem utan friktion.

I praktiken handlar stängning av styrningsluckan mindre om att införa nya principer och mer om att upprätthålla disciplin: standardisera hur AI kommer in i organisationen, definiera vem som äger det i varje skede och säkerställa att dess prestanda kontinuerligt granskas. Utan den disciplinen kommer AI-verktyg att fortsätta överträffa de strukturer som är utformade för att hålla dem säkra.

Den dolda risken: datakvalitet

Även när ansvarighetsstrukturer är på plats finns en annan risk som ofta underskattas: integriteten hos de data som matar AI-system och hur dessa system utvecklas över tid. Varje AI-system är bara så tillförlitligt som de data det tränas på och kontinuerligt lär sig från, och sjukhusets datamiljöer är notoriskt fragmenterade, inkonsekventa och benägna att ha luckor.

Elektroniska hälsoregister, bildsystem och administrativa plattformar fungerar ofta i silos, vilket skapar diskrepanser som direkt kan påverka AI-utdata. En modell som tränats på ofullständiga eller partiska dataset kan producera felaktiga rekommendationer som kan gå obemärkt förbi tills skadan redan är skedd. Det är särskilt farligt i kliniska miljöer, där små avvikelser i precision kan översättas till betydande konsekvenser för patienter.

Detta förstärks av “modellglidning”: tendensen hos AI-modeller att avvika från instruktioner och sammanhang när mer data kommer in i systemet. När patientpopulationer utvecklas, nya behandlingsprotokoll införs och yttre faktorer påverkar verksamheten, kan AI-verktygens basantaganden förskjutas. Utan kontinuerlig övervakning och omkalibrering kan ett AI-system som en gång fungerade tillförlitligt börja vidta åtgärder eller föreslå lösningar som avviker från dess utbildning.

För att hantera modellglidning måste sjukhus behandla AI-system som dynamiska, högrisktillgångar snarare än statiska verktyg. Detta innebär att implementera kontinuerlig prestandaövervakning, etablera tydliga trösklar för acceptabel precision och definiera ägande för omträning och validering. Datastyrning måste också stärkas, med standardiserade metoder för datakvalitet, samverkansförmåga och partiskhetssökning.

Utan att hantera de risker som är kopplade till datakvalitet och modellglidning kommer även de bästa AI-styrningsramarna att komma för kort. För hälso- och sjukvårdens AI-system, som bara är så bra som de data som ligger till grund för dem, att försumma denna risknivå skapar potentialen för ett systemfel tidigare eller senare.

Få det rätt innan du får det att fungera

AI har potentialen att förvandla hälso- och sjukvården genom att förbättra effektivitet, precision och patientresultat. Men utan tydligt ägande av de risker det medför, kan den potentialen snabbt bli en belastning.

Sjukhus kan inte ha råd att behandla AI-styrning som en regelefterlevnadsövning. Den måste behandlas som en kärnoperativ prioritet: definiera ägande, strukturera tillsyn och utvärdera kontinuerligt. För i hälso- och sjukvården, när något går fel, kan konsekvenserna vara mycket värre än vem som är ansvarig.