Helsevesenets AI har et ansvarligheitsproblem

I helsevesenet er AI nå innbygget i alt fra kliniske beslutninger til HR og finans. Likevel mangler mange organisasjoner fortsatt den risikostyringen som trengs for å sikre at AI-verktøy ikke skader. Fraværet av strukturert tilsyn betyr at AI-relaterte beslutninger tas uten tydelig ansvar, og det eksponerer organisasjonene for risikoen for etiske og regulatoriske overtredelser.

Når ingen er ansvarlig for beslutningene og handlingene AI tar, vil blinde flekker utvide seg raskt. Konsekvensene av at et AI-system tar høyrisikable beslutninger uten tilsyn er tallrike og langtrekkende, særlig når menneskeliv er på spill.

I dag ser AI-styringsgapene ut som tidligere vendepunkter der teknologikurven ble brattere enn bedriftens evne til å håndtere det. Vi gikk gjennom dette med skytjenester: team adopterte SaaS, IaaS og “skygge-IT” for å flytte raskere, mens styring lå etter på grunnleggende ting som dataklassifisering, identitet og tilgangsstyring, leverandørtilsyn, logging/overvåking og felles ansvar – så ansvar ble spredt over IT, sikkerhet, innkjøp og forretningen. Vi har også sett dette med den raske forbrukeriseringen av IT og mobil/BYOD, der ansatte tok med nye enheter og apper inn i regulerte miljøer lenge før organisasjonene hadde modne politikker for kryptering, endpoint-kontroll, app-vurdering og e-oppdagelse. I hver enkelt tilfelle var adopsjonen rasjonell og ofte verdiskapende – men fraværet av tydelig eierskap, standardiserte kontroller og livssyklus-tilsyn skapte forutsigbare feil. Leksjonen for AI er rett frem: styring kan ikke være en ettertanke som festes på innovasjon; det må bygges som annen kritisk infrastruktur – bevisst, med definerte beslutningsrettigheter, kontinuerlig overvåking og gjennomførbare retningslinjer.

Problemet med diffusert ansvar

Den raske utrullingen av AI har forbigått utviklingen av styring og ansvarstandarder, og ført til et “diffusert ansvar”-gap der ingen enkelt enhet tar ansvar når AI feiler.

Ansvar er allerede et overalt tilstedeværende problem i helsevesenet, og AI har bare bragt nye utfordringer. AI-verktøy har ingen anerkjent juridisk identitet, noe som betyr at de ikke kan saksøkes eller forsikres mot, og de kan heller ikke betale juridisk kompensasjon til ofre. I rettslige prosesser må feil overføres til en menneskelig aktør eller et selskap, ikke et verktøy.

Forskere i The Lancet, et ledende medisinsk forskningstidsskrift, argumenterte nylig for at “institusjonelle ansvarlige strukturer må omfordele ansvar fra kliniske ansatte til organisasjonene som designer og distribuerer [AI]-verktøy.” Det er klart at slike spørsmål om ansvar vil vedvare lenge inn i fremtiden.

Den europeiske union prøver å løse disse problemene på en regional skala. Blokken har introdusert to store lovgivningsinstrumenter: AI-loven, som regulerer AI-bruk etter risikonivå og betoner bevarelse av menneskelig tilsyn; og AI-ansvarlig direktivet, som etablerer nye regler som gjør det enklere for mennesker å søke kompensasjon for skader forårsaket av AI.

Men regulering alene vil ikke løse problemet. Sykehus opererer innenfor et komplekst nettverk av leverandører, kliniske ansatte, administratorer og IT-team, så når et AI-system produserer en skadelig eller forvrengt utgang, overføres ansvar som en ball mellom interessenter: leverandøren kan peke på feil bruk, kliniske ansatte kan si at designet er feil, og ledelsen kan skyld på regulatorisk tvetydighet.

All dette betyr at ansvar er diffusert, og sykehus er sårbare for store rettssaker.

Praktiske skritt for å lukke styringsgap

Det gode nyhetene er at selv uten omfattende reguleringer kan helseorganisasjoner proaktivt lukke gap i AI-styring. For å starte kan ledere begynne med Verdens helseorganisasjons rapport, “Etikk og styring av kunstig intelligens for helse,” som søker å maksimere løftet av AI samtidig som risikoen minimeres.

Skrittene som er beskrevet i denne rapporten sikter på å beskytte autonomi, fremme menneskelig velferd og offentlig sikkerhet, sikre gjennomsiktighet og forklarbarhet, og fremme ansvar og ansvarlighet. For å løse styringsgap, la oss fokusere på de to siste punktene.

Implementer en enhetlig tilnærming til AI-styring, sikre at det er rettet topp-ned av styre eller eksperter. For tiden lar mange organisasjoner enkeltavdelinger bruke AI der de ser fit, og ledere er ikke i stand til å forklare hvordan og hvor organisasjonen bruker disse verktøyene. Synlighet er avgjørende, så sikre at du har en liste over nøyaktig hvilke verktøy som brukes hvor og til hva formål.

Det er like viktig å etablere tydelige ansvarslinjer over hele AI-livssyklusen. Dette betyr å gjøre en person eller en avdeling ansvarlig for alt fra innkjøp og validering til utrullingsovervåking og hendelsesrespons. Sykehus må kreve at leverandører møter definerte krav til gjennomsiktighet og revisjon, og sikre at interne team er trent til å forstå både evnene og begrensningene til AI-systemer.

Til slutt må styring operationaliseres, ikke bare dokumenteres. Innfør politikker i arbeidsflyter ved å integrere AI-risikovurderinger i innkjøpsprosesser, gjennomføre regelmessige auditor av AI-ytelse, og skape mekanismer for frontlinjepersonale til å melde bekymringer uten friksjon.

I praksis er å lukke styringsgapet mindre om å innføre nye prinsipper og mer om å påtvinge disiplin: standardisere hvordan AI kommer inn i organisasjonen, definere hvem eier det på hver enkelt stadium, og sikre at ytelsen kontinuerlig skannes. Uten den disiplinen vil AI-verktøyene fortsette å overgå strukturer som er designet for å holde dem trygge.

Den skjulte risikoen: datakvalitet

Selv når ansvarsstrukturer er på plass, er en annen risiko ofte undervurdert: integriteten til dataene som mates AI-systemer og hvordan disse systemene utvikler seg over tid. Ethvert AI-system er bare like pålitelig som dataene det er trent på og kontinuerlig lærer fra, og sykehusdata-miljøer er notorisk fragmenterte, inkonsistente og utsatt for hull.

Elektroniske helsejournaler, bilde-systemer og administrative plattformer opererer ofte i siloer, og skaper inkonsistenser som kan direkte påvirke AI-utgang. En modell trent på ufullstendige eller forvrengde datasett kan produsere feilaktige anbefalinger som kan gå uoppdaget til skaden allerede er skjedd. Dette er særlig farlig i kliniske settinger, der små avvik i nøyaktighet kan oversette til betydelige konsekvenser for pasienter.

En annen faktor som forverrer problemet, er “modell-drift”: tendensen hos AI-modeller til å avvike fra instruksjoner og kontekst når mer data kommer inn i systemet. Etterhvert som pasientpopulasjoner utvikler seg, nye behandlingsprotokoller introduseres og eksterne faktorer påvirker drift, kan AI-verktøyenes basisantagelser skifte. Uten kontinuerlig overvåking og omkalibrering kan et AI-system som en gang fungerte pålitelig, begynne å ta handlinger eller foreslå løsninger som avviker fra sin trening.

For å løse modell-drift, må sykehus behandle AI-systemer som dynamiske, høyrisikable aktiva snarere enn statiske verktøy. Dette betyr å implementere kontinuerlig ytelsesovervåking, etablere tydelige terskler for akseptabel nøyaktighet og definere eierskap for om-trening og validering. Datastyring må også styrkes, med standardiserte praksiser for datakvalitet, interoperabilitet og bias-oppdaging.

Uten å konfrontere risikoen knyttet til datakvalitet og modell-drift, vil selv de beste AI-styringsrammene falle kort. For helse-AI-systemer, som bare er like gode som dataene som ligger under, skaper dette en systemisk feil tidlig eller senere.

Få det rett før du setter det i gang

AI har potensialet til å transformere helsevesenet ved å forbedre effisiens, nøyaktighet og pasientresultater. Men uten tydelig eierskap av risikoen det åpner for, kan dette potensialet raskt bli en byrde.

Sykehus kan ikke tillate å behandle AI-styring som en overholdelsesøvelse. Det må behandles som en kjerneoperasjonsprioritet: definere eierskap, strukturere tilsyn og evaluere kontinuerlig. For i helsevesenet, når noe går galt, kan konsekvensene være mye verre enn hvem som er skyldig.