Sundhedssektorens AI har et ansvarlighedsproblem

I sundhedssektoren er AI nu integreret i alt fra kliniske beslutninger til HR og finans. Alligevel mangler mange organisationer stadig den risikostyring, der er nødvendig for at sikre, at AI-værktøjer ikke forårsager skade. Mangel på struktureret tilsyn betyder, at AI-relaterede beslutninger træffes uden tydelig ansvarlighed, hvilket udsætter organisationer for risiko for etiske og lovmæssige overtrædelser.

Når ingen er ansvarlig for de beslutninger og handlinger, AI træffer, vil blinde pletter udvide sig hurtigt. Konsekvenserne af, at et AI-system træffer højrisikable beslutninger uden tilsyn, er talrige og langtrækkende, især når menneskers liv er på spil.

I dag ligner AI-styringsluktene meget de tidligere vendinger, hvor teknologikurven steg hurtigere end virksomhedens evne til at styre den. Vi gik igennem dette med cloud-computing: teams adopterede SaaS, IaaS og “skygge-IT” for at flytte hurtigere, mens styring lå efter på grundlæggende områder som dataklassificering, identitet og adgangsstyring, leverandørtilsyn, logføring/overvågning og fællesansvarlighedsklarhed – så ansvarlighed blev spredt over IT, sikkerhed, indkøb og forretningen. Vi har også set dette med den hurtige forbrugerisering af IT og mobile/BYOD, hvor medarbejdere bragte nye enheder og apps ind i regulerede miljøer langt før organisationer havde modne politikker for kryptering, endpoint-kontrol, app-godkendelse og e-opdagelse. I hvert tilfælde var adoptionen rationel og ofte værdiskabende – men mangel på tydelig ejerskab, standardiserede kontroller og livscyklus-tilsyn skabte forudsigelige fejl. Lektien for AI er ligefrem: styring kan ikke være en eftertanke, der er boltet på innovation; det må bygges som andet kritisk infrastruktur – bevidst, med definerede beslutningsrettigheder, kontinuerlig overvågning og gennemførbare sikringsforanstaltninger.

Problemet med diffus ansvarlighed

Den hurtige udrulning af AI har overhalet udviklingen af styrings- og ansvarlighedsstandarder, hvilket har ført til en “diffus ansvarlighedsluktur”, hvor ingen enkelt enhed tager ansvar, når AI fejler.

Ansvarlighed er allerede et altomfattende problem i sundhedssektoren, og AI har kun bragt nye udfordringer. AI-værktøjer har ingen anerkendt juridisk identitet, hvilket betyder, at de ikke kan sagsøges eller forsikres imod, og de kan ikke betale erstatning til ofre. I retslige forhold må skyld overføres til en menneskelig aktør eller en virksomhed, ikke et værktøj.

Forskere i The Lancet, et førende medicinsk forskningstidsskrift, argumenterede nylig for, at “institutionelle ansvarlighedsstrukturer må omfordelle ansvarlighed fra kliniske ansatte til de organisationer, der designer og udruller [AI]-værktøjer.” Det er klart, at sådanne spørgsmål om ansvarlighed vil bestå langt ind i fremtiden.

Den Europæiske Union forsøger at løse disse problemer på en regional skala. Blokken har introduceret to store lovgivningsinstrumenter: AI-loven, som regulerer AI-brug efter risikoniveau og betoner bevarelse af menneskelig tilsyn; og AI-ansvarlighedsdirektivet, som etablerer nye regler, der gør det lettere for mennesker at søge erstatning for skader forårsaget af AI.

Men lovgivning alene vil ikke løse problemet. Hospitaler opererer inden for et komplekst netværk af leverandører, kliniske ansatte, administratorer og IT-hold, så når et AI-system producerer en skadelig eller fordomsfuld output, overføres ansvarligheden som en bold mellem interessenter: leverandøren kan pege på forkert brug, kliniske ansatte kan sige, at designet er fejlbehæftet, og ledelsen kan beskyldde retslig usikkerhed.

Alt dette betyder, at ansvarlighed er diffus, og hospitaler er sårbare over for store retslige kampe.

Praktiske skridt til at lukke styringslukt

Det gode nyheds er, at selv uden omfattende lovgivning kan sundhedsorganisationer proaktivt lukke lukt i AI-styring. For at starte kan ledere begynde med Verdenssundhedsorganisationens rapport, “Etik og styring af kunstig intelligens til sundhed,” som søger at maksimere løftet fra AI, mens risikoen minimiseres.

De skridt, der er beskrevet i denne rapport, sigter mod at beskytte selvstændighed, fremme menneskeligt velvære og offentlig sikkerhed, sikre gennemsigtighed og forklarbarhed, og fremme ansvarlighed. For at løse styringsluktene skal vi fokusere på de to sidste punkter.

Implementer en samlet tilgang til AI-styring, så det er rettet top-down af bestyrelser eller eksperter. For tiden lader mange organisationer enkelte afdelinger bruge AI, hvor de ser det passer, hvilket gør det umuligt for ledere at forklare, hvordan og hvor organisationen bruger disse værktøjer. Synlighed er afgørende, så sikr dig, at du har en liste over, hvilke værktøjer der bruges hvor og til hvilket formål.

Det er lige så vigtigt at etablere klare ansvarlighedslinjer på tværs af AI-livscyklussen. Dette betyder, at en person eller afdeling er ansvarlig for alt fra indkøb og validering til udrulning, overvågning og reaktion på hændelser. Hospitaler må kræve, at leverandører opfylder definerede standarder for gennemsigtighed og revision, og sikre, at interne hold er uddannet til at forstå både AI-systemers muligheder og begrænsninger.

Til sidst må styring operationaliseres, ikke kun dokumenteres. Integrer politikker i arbejdsgange ved at integrere AI-risikovurderinger i indkøbsprocesser, gennemføre regelmæssige audits af AI-ydelse og oprette mekanismer for, at frontlinjepersonale kan rapportere bekymringer uden gnidning.

I praksis handler lukning af styringsluktene mere om at introducere disciplin end om at introducere nye principper: standardiser, hvordan AI kommer ind i organisationen, definer, hvem der ejer det på hvert trin, og sikr, at dets ydelse er kontinuerligt underkastet skærpet overvågning. Uden denne disciplin vil AI-værktøjer fortsætte med at overgå de strukturer, der er designet til at holde dem sikre.

Den skjulte risiko: datakvalitet

Selv når ansvarlighedsstrukturer er på plads, er der en anden risiko, der ofte bliver underskattet: integriteten af de data, der fødes AI-systemer, og hvordan disse systemer udvikler sig over tid. Ethvert AI-system er kun så pålideligt, som de data det er trænet på og kontinuerligt lærer af, og hospitalers data-miljøer er berømt for at være fragmenterede, inkonsistente og tilbøjelige til huller.

Elektroniske patientjournaler, billedsystemer og administrative platforme opererer ofte i siloer, hvilket skaber diskrepanser, der direkte kan påvirke AI-udgang. En model, der er trænet på ufuldstændige eller fordomsfulde datasæt, kan producere fejlbehæftede anbefalinger, der måske ikke bliver bemærket, før skaden allerede er sket. Det er særligt farligt i kliniske miljøer, hvor små afvigelser i nøjagtighed kan oversætte sig til betydelige konsekvenser for patienter.

Det, der forværrer dette problem, er ” model-drift“: tendensen hos AI-modeller til at afvige fra instruktioner og kontekst, når mere data kommer ind i systemet. Da patientpopulationer udvikler sig, nye behandlingsprotokoller introduceres og eksterne faktorer påvirker operationer, kan AI-værktøjerne grundlæggende antagelser skifte. Uden kontinuerlig overvågning og omkalibrering kan et AI-system, der tidligere har fungeret pålideligt, begynde at tage handlinger eller foreslå løsninger, der afviger fra dets træning.

For at løse model-drift må hospitaler behandle AI-systemer som dynamiske, højrisikable aktiver snarere end statiske værktøjer. Dette betyder implementering af kontinuerlig ydelsesovervågning, fastlæggelse af klare grænser for acceptabel nøjagtighed og defineren af ejerskab for gen-træning og validering. Datastyring må også styrkes, med standardiserede praksisser for datakvalitet, interoperabilitet og fordomsdetektering.

Uden at konfrontere de risici, der er forbundet med datakvalitet og model-drift, vil selv de bedste AI-styringsrammer blive utilstrækkelige. For sundhedssektorens AI-systemer, der kun er så gode som de data, der ligger til grund, skaber oversigt over denne risikolag en mulighed for en systemisk fejl før eller senere.

Få det rette, før du får det kørende

AI har potentialet til at forvandle sundhedssektoren ved at forbedre effektivitet, nøjagtighed og patientresultater. Men uden klart ejerskab af de risici, det fremhæver, kan dette potentiale hurtigt blive en byrde.

Hospitaler kan ikke tillade sig at behandle AI-styring som en overholdelsesøvelse. Det må behandles som en kerneoperationel prioritet: definer ejerskab, struktur tilsyn og vurder kontinuerligt. For i sundhedssektoren kan konsekvenserne af, at noget går galt, være langt værre end, hvem der er ansvarlig.