Sundhedsorganisationer har et ansvarlighedsproblem med kunstig intelligens

I sundhedssektoren er kunstig intelligens nu integreret i alt fra kliniske beslutninger til HR og finans. Alligevel mangler mange organisationer stadig den risikostyring, der er nødvendig for at sikre, at kunstig intelligens-værktøjer ikke forårsager skade. Mangel på struktureret tilsyn betyder, at beslutninger relateret til kunstig intelligens træffes uden klart ansvar, hvilket udsætter organisationer for risiko for etiske og lovmæssige overtrædelser.

Når ingen er ansvarlig for de beslutninger og handlinger, som kunstig intelligens træffer, vil blinde pletter udvide sig hurtigt. Konsekvenserne af, at et kunstig intelligens-system træffer højrisikable beslutninger uden tilsyn, er mange og langtrækkende, især når menneskers liv er på spil.

I dag ligner hullerne i kunstig intelligens-styring meget de tidligere vendinger, hvor teknologikurven steg hurtigere end virksomhedens evne til at styre den. Vi gennemgik dette med cloud-computing: hold adopterede SaaS, IaaS og “skygge-IT” for at flytte hurtigere, mens styring lå efter på grundlæggende områder som dataklassificering, identitet og adgangsadministration, leverandørtilsyn, logføring/overvågning og fællesansvarlighedsklarhed – så ansvarlighed blev spredt over IT, sikkerhed, indkøb og forretningsområdet. Vi har også set dette med den hurtige forbrugerisering af IT og mobile/BYOD, hvor medarbejdere bragte nye enheder og apps ind i regulerede miljøer langt før organisationer havde modne politikker for kryptering, endpoint-kontrol, app-godkendelse og e-opdagelse. I hvert tilfælde var adoptionen rationel og ofte værdiskabende – men manglen på klart ejerskab, standardiserede kontroller og livscyklus-tilsyn skabte forudsigelige fejl. Lektien for kunstig intelligens er ligefrem: styring kan ikke være en eftertanke, der er boltet på innovationen; det må bygges som anden kritisk infrastruktur – bevidst, med definerede beslutningsrettigheder, kontinuerlig overvågning og gennemførbare sikringsforanstaltninger.

Problemet med diffus ansvarlighed

Den hurtige udvikling af kunstig intelligens har overhalet udviklingen af styrings- og ansvarlighedsstandarder, hvilket har ført til et “diffus ansvarligheds”-gap, hvor ingen enkelt enhed tager ansvar, når kunstig intelligens fejler.

Ansvarlighed er allerede et altomfattende problem i sundhedssektoren, og kunstig intelligens har kun bragt nye udfordringer. Kunstig intelligens-værktøjer har ingen anerkendt juridisk identitet, hvilket betyder, at de ikke kan sagsøges eller forsikres imod, og de kan ikke betale erstatning til ofre. I retssager skal fejl overføres til en menneskelig aktør eller en virksomhed, ikke et værktøj.

Forskere i The Lancet, et førende medicinsk forskningstidsskrift, argumenterede nylig for, at “institutionelle ansvarlighedsstrukturer må omfordelle ansvarlighed fra kliniske ansatte til de organisationer, der designer og implementerer [kunstig intelligens]-værktøjer.” Det er klart, at sådanne spørgsmål om ansvarlighed vil bestå langt ind i fremtiden.

Den Europæiske Union forsøger at løse disse problemer på en regional skala. Blokken har indført to store lovgivningsinstrumenter: kunstig intelligens-loven, som regulerer kunstig intelligens-brug efter risikoniveau og betoner bevarelse af menneskelig tilsyn; og kunstig intelligens-ansvarlighedsdirektivet, som fastsætter nye regler, der gør det lettere for mennesker at søge erstatning for skader forårsaget af kunstig intelligens.

Men lovgivning alene vil ikke løse problemet. Hospitaler opererer inden for et komplekst netværk af leverandører, kliniske ansatte, administratorer og IT-hold, så når et kunstig intelligens-system producerer en skadelig eller fordomsfuld output, overføres ansvarlighed som en bold mellem interessenter: leverandøren kan pege på forkert brug, kliniske ansatte kan sige, at designet er fejlbehæftet, og ledelsen kan beskyldde lovmæssig uklarhed.

Alt dette betyder, at ansvarlighed er diffus, hvilket gør hospitaler sårbare over for store retssager.

Praktiske skridt til at lukke styringshuller

Det gode nyheder er, at selv uden omfattende lovgivning kan sundhedsorganisationer proaktivt lukke huller i kunstig intelligens-styring. For at starte kan ledere begynde med Verdenssundhedsorganisationens rapport, “Etik og styring af kunstig intelligens til sundhed,” som søger at maksimere løftet fra kunstig intelligens, samtidig med at risikoen minimiseres.

De skridt, der er beskrevet i denne rapport, sigter mod at beskytte selvstændighed, fremme menneskeligt velvære og offentlig sikkerhed, sikre gennemsigtighed og forklarbarhed, og fremme ansvarlighed. For at løse styringshuller skal vi fokusere på de to sidstnævnte punkter.

Implementer en samlet tilgang til kunstig intelligens-styring, så det er rettet top-down af bestyrelser eller eksperter. I øjeblikket lader mange organisationer enkeltafdelinger bruge kunstig intelligens, hvor de ser det passer, hvilket gør det umuligt for ledere at forklare, hvordan og hvor organisationen bruger disse værktøjer. Synlighed er afgørende, så sikr, at du har en liste over, hvilke værktøjer der bruges, hvor og til hvad formål.

Det er lige så vigtigt at etablere klare ansvarslinjer på tværs af kunstig intelligens-livscyklussen. Dette betyder, at en person eller afdeling er ansvarlig for alt fra indkøb og validering til implementering, overvågning og reaktion på hændelser. Hospitaler må kræve, at leverandører opfylder definerede standarder for gennemsigtighed og revision, og sikre, at interne hold er uddannet til at forstå både kapaciteterne og begrænsningerne af kunstig intelligens-systemer.

Til sidst skal styring operationaliseres, ikke kun dokumenteres. Integrer politikker i arbejdsgange ved at integrere kunstig intelligens-risikovurderinger i indkøbsprocesser, gennemføre regelmæssige audits af kunstig intelligens-ydelse og oprette mekanismer for, at frontlinjepersonale kan rapportere bekymringer uden gnidning.

I praksis handler lukning af styringshullet mere om at gennemføre disciplin end om at introducere nye principper: standardiser, hvordan kunstig intelligens kommer ind i organisationen, definer, hvem der ejer det på hvert trin, og sikr, at dets ydelse kontinuerligt overvåges. Uden denne disciplin vil kunstig intelligens-værktøjer fortsætte med at overhalte de strukturer, der er designet til at holde dem sikre.

Den skjulte risiko: datakvalitet

Selv når ansvarlighedsstrukturer er på plads, er der en anden risiko, der ofte bliver undervurderet: integriteten af de data, der fødes kunstig intelligens-systemer, og hvordan disse systemer udvikler sig over tid. Ethvert kunstig intelligens-system er kun så pålideligt, som de data det er trænet på og kontinuerligt lærer af, og hospitalers data-miljøer er berømt for at være fragmenterede, inkonsistente og udsatte for huller.

Elektroniske patientjournaler, billedsystemer og administrative platforme opererer ofte i siloer, hvilket skaber diskrepanser, der direkte kan påvirke kunstig intelligens-outputs. En model, der er trænet på ufuldstændige eller fordomsfulde datasæt, kan producere fejlbehæftede anbefalinger, der måske ikke bliver opdaget, før skaden allerede er sket. Det er særlig farligt i kliniske miljøer, hvor små afvigelser i nøjagtighed kan oversætte sig til betydelige konsekvenser for patienter.

Det, der forværrer dette problem, er “model-drift“: tendensen for kunstig intelligens-modeller til at afvige fra instruktioner og kontekst, når mere data kommer ind i systemet. Når patientpopulationer udvikler sig, nye behandlingsprotokoller introduceres, og eksterne faktorer påvirker operationer, kan kunstig intelligens-værktøjers grundantagelser skifte. Uden kontinuerlig overvågning og omkalibrering kan et kunstig intelligens-system, der engang fungerede pålideligt, begynde at tage handlinger eller foreslå løsninger, der afviger fra dets træning.

For at løse model-drift må hospitaler behandle kunstig intelligens-systemer som dynamiske, højrisikable aktiver snarere end statiske værktøjer. Dette betyder implementering af kontinuerlig ydelsesovervågning, fastlæggelse af klare grænser for acceptabel nøjagtighed og defineren af ejerskab for gen-træning og validering. Datastyring må også styrkes, med standardiserede praksisser for datakvalitet, interoperabilitet og fordoms-detection.

Uden at konfrontere de risici, der er forbundet med datakvalitet og model-drift, vil selv de bedste kunstig intelligens-styringsrammer blive utilstrækkelige. For sundheds-kunstig intelligens-systemer, der kun er så gode som de data, der ligger under, skaber oversigt over denne lag af risiko potentialet for et systemisk sammenbrud før eller senere.

Få det ret før du får det kørende

Kunstig intelligens har potentialet til at forvandle sundhedssektoren ved at forbedre effektivitet, nøjagtighed og patientresultater. Men uden klart ejerskab af de risici, det fremhæver, kan dette potentiale hurtigt blive en byrde.

Hospitaler kan ikke tillade sig at behandle kunstig intelligens-styring som en compliance-øvelse. Det må behandles som en kerneoperationel prioritet: definer ejerskab, struktur tilsyn og vurder kontinuerligt. For i sundhedssektoren kan konsekvenserne af, at noget går galt, være langt værre end, hvem der er ansvarlig.