Helsevesenets AI har et ansvarligheitsproblem

I helsevesenet er AI nå innbygget i alt fra kliniske beslutninger til HR og finans. Likevel mangler mange organisasjoner den risikostyringen som trengs for å sikre at AI-verktøy ikke forårsaker skade. Fraværet av strukturert tilsyn betyr at AI-relaterte beslutninger tas uten tydelig ansvar, og dette utsetter organisasjonene for risiko for etiske og regulatoriske overtredelser.

Når ingen er ansvarlig for beslutninger og handlinger som AI tar, vil blinde flekker utvide seg raskt. Konsekvensene av at et AI-system tar høyrisikodecisjoner uten tilsyn er tallrike og langtrekkende, særlig når menneskeliv er på spill.

I dag ser AI-styringsgapene ut som tidligere vendepunkter der teknologikurven ble brattere enn bedriftens evne til å håndtere det. Vi gikk gjennom dette med skytjenester: team tok i bruk SaaS, IaaS og “skygget IT” for å flytte raskere, mens styring ble etterfulgt på grunnleggende punkter som dataklassifisering, identitet og tilgangsstyring, leverandørstyring, logging/overvåking og fellesansvar – så ansvar ble spredt over IT, sikkerhet, innkjøp og bedrift. Vi har også sett dette med den raske forbrukeriseringen av IT og mobil/BYOD, der ansatte tok med nye enheter og apper inn i regulerte miljøer lenge før organisasjonene hadde modne politikker for kryptering, endpoint-kontroll, app-vurdering og e-oppdagelse. I hver enkelt tilfelle var innføringen rasjonell og ofte verdiskapende – men fraværet av tydelig eierskap, standardiserte kontroller og livssyklusstyring skapte forutsigbare feil. Lektien for AI er rett frem: styring kan ikke være en ettertanke som festes på innovasjon; det må bygges som annen kritisk infrastruktur – bevisst, med definerte beslutningsrettigheter, kontinuerlig overvåking og gjennomførbare retningslinjer.

Problemet med diffusert ansvar

Den raske utrullingen av AI har forbigått utviklingen av styring og ansvarstandarder, noe som har ført til et “diffusert ansvar”-gap der ingen enkelt enhet tar ansvar når AI feiler.

Ansvar er allerede et overalt tilstedeværende problem i helsevesenet, og AI har bare bragt nye utfordringer. AI-verktøy har ingen anerkjent juridisk identitet, noe som betyr at de ikke kan saksøkes eller forsikres mot, og de kan heller ikke betale juridisk kompensasjon til ofre. I rettslige prosesser må feil overføres til en menneskelig aktør eller en korporasjon, ikke et verktøy.

Forskere i The Lancet, et ledende medisinsk forskningstidsskrift, argumenterte nylig for at “institusjonelle ansvarlige strukturer må omfordele ansvar fra kliniske ansatte til organisasjonene som designer og distribuerer [AI]-verktøy.” Det er tydelig at slike spørsmål om ansvar vil bestå lenge inn i fremtiden.

Den europeiske union prøver å løse disse problemene på en regional skala. Blokken har introdusert to store lovgivningsinstrumenter: AI-loven, som regulerer AI-bruk etter risikonivå og betoner bevarelse av menneskelig tilsyn; og AI-ansvarlig direktiv, som etablerer nye regler som gjør det lettere for mennesker å søke kompensasjon for skader forårsaket av AI.

Men regulering alene vil ikke løse problemet. Sykehus opererer innenfor et komplekst nettverk av leverandører, kliniske ansatte, administratorer og IT-team, så når et AI-system produserer en skadelig eller forvrengt utgang, overføres ansvar som en ball mellom interessenter: leverandøren kan peke på feil bruk, kliniske ansatte kan si at designet er feil, og ledelsen kan skyld på regulatorisk tvetydighet.

Alt dette betyr at ansvar er diffusert, og sykehusene er sårbare for store rettslige kamper.

Praktiske skritt for å lukke styringsgap

Det gode nyheten er at selv uten omfattende reguleringer, kan helseorganisasjoner proaktivt lukke gap i AI-styring. For å starte, kan ledere begynne med Verdens helseorganisasjons rapport, “Etikk og styring av kunstig intelligens for helse,” som søker å maksimere løftet av AI samtidig som risikoen minimeres.

Skrittene som er beskrevet i denne rapporten, søker å beskytte autonomi, fremme menneskelig velferd og offentlig sikkerhet, sikre gjennomsiktighet og forklarbarhet, og fremme ansvar og ansvarlighet. For å løse styringsgap, la oss fokusere på de to siste punktene.

Implementer en samlet tilnærming til AI-styring, sikre at det er rettet top-down av styre eller eksperter. For tiden lar mange organisasjoner enkeltavdelinger bruke AI der de ser fit, og ledere er ikke i stand til å forklare hvordan og hvor organisasjonen bruker disse verktøyene. Gjennomsiktighet er avgjørende, så sikre at du har en liste over eksakt hvilke verktøy som brukes hvor og til hva formål.

Det er like viktig å etablere tydelige ansvarslinjer over hele AI-livssyklusen. Dette betyr å gjøre en person eller en avdeling ansvarlig for alt fra innkjøp og validering til utrullingsovervåking og hendelsesrespons. Sykehus må kreve at leverandører møter definerte krav til gjennomsiktighet og granskningsbarhet, og sikre at interne team er trent til å forstå både evnene og begrensningene til AI-systemer.

Til slutt må styring operationaliseres, ikke bare dokumenteres. Innfør politikker i arbeidsflyter ved å integrere AI-risikovurderinger i innkjøpsprosesser, gjennomføre regelmessige auditter av AI-ytelse, og skape mekanismer for frontlinjepersonale til å melde bekymringer uten friksjon.

I praksis handler lukking av styringsgapet mindre om å innføre nye prinsipper og mer om å påtvinge disiplin: standardisere hvordan AI kommer inn i organisasjonen, definere hvem eier det på hvert trinn, og sikre at ytelsen kontinuerlig overvåkes. Uten den disiplinen vil AI-verktøyene fortsette å overgå strukturer som er designet for å holde dem trygge.

Den skjulte risikoen: datakvalitet

Selv når ansvarstrukturer er på plass, er det en annen risiko som ofte undervurderes: integriteten til dataene som mates AI-systemer og hvordan disse systemene utvikler seg over tid. Ethvert AI-system er bare like pålitelig som dataene det er trent på og kontinuerlig lærer fra, og sykehusdata-miljøer er beryktet for å være fragmenterte, inkonsistente og utsatt for hull.

Elektroniske helsejournaler, bilde-systemer og administrative plattformer opererer ofte i siloer, noe som skaper inkonsistenser som kan direkte påvirke AI-utgang. En modell som er trent på ufullstendige eller forvrengte datasett kan produsere feilaktige anbefalinger som kan gå ubemerket til skaden allerede er skjedd. Dette er særlig farlig i kliniske settinger, der små avvik i nøyaktighet kan oversette til betydelige konsekvenser for pasienter.

En annen faktor som forverrer problemet, er “modell-drift”: tendensen hos AI-modeller til å avvike fra instruksjoner og kontekst når mer data kommer inn i systemet. Ettersom pasientpopulasjoner utvikler seg, nye behandlingsprotokoller introduseres og eksterne faktorer påvirker operasjoner, kan AI-verktøyenes basisantagelser skifte. Uten kontinuerlig overvåking og omkalibrering kan et AI-system som en gang fungerte pålitelig, begynne å ta handlinger eller foreslå løsninger som avviker fra sin trening.

For å løse modell-drift, må sykehus behandle AI-systemer som dynamiske, høyrisikotilganger i stedet for statiske verktøy. Dette betyr å implementere kontinuerlig ytelsesovervåking, etablere tydelige terskler for akseptabel nøyaktighet og definere eierskap for om-trening og validering. Datastyring må også styrkes, med standardiserte praksiser for datakvalitet, interoperabilitet og bias-oppdaging.

Uten å konfrontere risikoene knyttet til datakvalitet og modell-drift, vil selv de beste AI-styringsrammeverkene falle kort. For helse-AI-systemer, som bare er like gode som dataene som ligger under, overser denne lag av risiko og skaper potensialet for et systemisk sammenbrudd tidligere eller senere.

Få det rett før du setter det i gang

AI har potensialet til å transformere helsevesenet ved å forbedre effisiens, nøyaktighet og pasientresultater. Men uten tydelig eierskap av risikoene det åpner opp, kan dette potensialet raskt bli en belastning.

Sykehus kan ikke tillate å behandle AI-styring som en overholdelsesøvelse. Det må behandles som en kjerneoperativ prioritet: definere eierskap, strukturere tilsyn og evaluere kontinuerlig. For i helsevesenet, når noe går galt, kan konsekvensene være mye verre enn hvem som er skyldig.