Ukontrollerede LLM’er og sundhedscompliance-konundrummet

På tværs af brancher har generativ AI (GenAI) opnået hurtige gennembrud på en relativt kort tid. Disse fremskridt drives af grundlæggende modeller, som The California Report on Frontier AI Policy definerer som, “en klasse af generelle formålsteknologier, der er ressourcekrævende at producere, og som kræver betydelige mængder data og beregning for at kunne udvikle evner, der kan drive en række downstream AI-applikationer.”

Disse generelle formål store sprogmodeller (LLM’er), som Gemini og ChatGPT, viser en stigende evne til at replikere og overgå menneskelige kognitive evner inden for områder som dataanalyse, skrivning og resonnering. I sundhedssektoren specifikt stiger GenAI-adoptionsraten, da kliniske og andre sundhedsfaglige søger at udnytte teknologien til at reducere administrative byrder, accelerere operationer og endda støtte kliniske beslutninger.

Men selvom teknologien har store løfter, rejser GenAI-adoptionsen i sundhedssektoren også nøglecompliance-risici, hvis den ikke implementeres eller anvendes ansvarligt. Specielt medfører brugen af generelle formål LLM’er bestemte compliance-bekymringer, som sundhedsorganisationer må fuldt ud forstå for at forebygge privatlivs- eller sikkerhedsbrud. Disse modeller kan afhænge af uverificerede datakilder, udnytte patientens sundhedsinformation på ikke-autoriserede måder eller fastholde fordomme og/eller urigtige oplysninger.

For at opretholde patientdatas privatliv, forblive i overensstemmelse med udviklende regler og minimere dyre risici, må sundhedsledere tage en afgørende tilgang til at afvikle den tikkende compliance-“tidsbob” af “ukontrolleret” LLM-brug.

Nuværende tilstand af generel formål LLM-brug i sundhedssektoren

På tværs af sundhedssektoren anvender personalet i stigende grad LLM’er til at støtte daglige opgaver, fra administrative arbejder til patientkommunikation. Multimodale LLM’er udvider også disse anvendelser yderligere med deres evne til let at behandle tekst, billeder og lyd. Ud over administrativt støtte ser vi også en stigende tendens til, at leverandører søger at anvende teknologien til at støtte mere end blot kontorarbejde, men også kliniske opgaver.

Disse modeller viser allerede, hvad nogen kan betragte som imponerende resultater, med flere studier, der viser, at LLM-præstationer opfylder eller endda overgår menneskelige evner inden for bestemte områder. For eksempel bestod GPT-4-modellen den amerikanske lægelicensuddannelse med en samlet score på 86,7%.

Hybrid AI er en anden opkomende tilgang til GenAI-brug i sundhedssektoren, der kombinerer maskinlæring (ML) og LLM’er til at håndtere komplekse analyser og oversætte resultater til almindeligt sprog. Ved at integrere begge modeller søger denne tilgang at overvinde LLM’ers mangler, herunder hallucinationer, urigtigheder og fordomme, samtidig med at den udnytter dens styrker. Agentic AI er også stigende i anvendelse på grund af sin evne til at automatisere nøgleopgaver uden menneskelig indput, såsom at svare på patientbeskeder eller planlægge møder.

Men den potentiale, AI har, fremhæver også et presserende behov for mere proaktiv styring. Jo mere disse værktøjer indlejres i sundhedsoperationer, desto højere er spillet for at sikre nøjagtighed, sikkerhed og compliance.

Compliance-risici ved generel formål LLM’er i sundhedssektoren

Selvom digital adoption i sundhedssektoren har låst op for en række nye muligheder, har det også eksponeret nøglevulnerabiliteter. Mellem den 1. november 2023 og den 31. oktober 2024 oplevede sundhedssektoren for eksempel 1.710 sikkerhedsincidenter, hvoraf 1.542 involverede bekræftede dataafsløringer.

AI-alderen dypper disse revner, og tilføjer et nyt lag af kompleksitet til datasikkerhed og -privatliv. Mere specifikt rejser brugen af generelle formål LLM’er i sundhedssektoren flere nøglecompliance-risici:

Risiko #1: Opaque-box-udvikling forhindrer kontinuerlig overvågning eller verificering

Lukkede modeller mangler gennemsigtighed omkring deres udviklingsproces, såsom hvilke specifikke data modellen er trænet på eller hvordan opdateringer foretages. Denne uigennemsigtighed forhindrer udviklere og forskere i at grave dybt i modellen for at bestemme oprindelsen af sikkerhedsrisici eller afgøre beslutningsprocesser. Som resultat kan lukkede LLM’er aktivere brugen af uverificerede medicinske datakilder og tillade sikkerhedsvulnerabiliteter at forblive ukontrollerede.

Risiko #2: Patientdata-lækage

LLM’er afhænger ikke altid af deidentificerede patientdata. Specialiserede prompts eller interaktioner kunne utilsigtet afsløre identificerbare sundhedsinformationer, og skabe potentielle HIPAA-overtrædelser.

Risiko #3: Fastholdelse af fordomme og urigtige oplysninger

I et eksperiment, indførte forskere en lille procentdel af forkerte faktiske oplysninger i en biomedicinsk models videnbas, mens de bevarede dens adfærd i alle andre domæner. Forskerne fandt, at misinformationen blev videregivet over modellens output, og fremhævede LLM’ers sårbarhed over for misinformation-angreb.

Enhver defekt fundet i grundlæggende modeller arves af alle de antagne modeller og resulterende applikationer fra forælderen. Uligheder i output kan forværre sundhedsuligheder, såsom urigtig rådgivning for underrepræsenterede grupper.

Risiko #4: Regulatorisk misalignering

Brugen af generelle formål LLM’er kan ikke være i overensstemmelse med HIPAA, GDPR eller udviklende AI-specifikke regler, især hvis leverandører ikke kan validere træningsdata. Disse risici er forstærket af sundhedsorganisationernes ansatte, der bruger ikke-godkendte eller ikke-overvågede AI-værktøjer, eller skygge-AI. Ifølge IBM oplevede 20% af de undersøgte organisationer på tværs af alle sektorer et brud på grund af sikkerhedsincidenter, der involverede skygge-AI.

Ultimo, har generelle formål LLM-risici i sundhedssektoren reelle verdensomspændende implikationer, herunder retslige handlinger, reputationsbeskadigelse, tab af patienttillid og retssager.

Bedste praksis: LLM-retningslinjer og overvejelser

For at ansvarligt adoptere GenAI må sundhedsledere etablere klare retningslinjer, der beskytter både patienter og organisationer. Følgende bedste praksis kan hjælpe sundhedsorganisationer med at etablere en grundlag for ansvarlig, compliant AI-brug:

Bedste praksis #1: Vælg AI-teknologi med omhu

Kræv klarhed fra leverandører om, hvordan AI-teknologi udvikles og hvilke datakilder bruges i udviklingsprocessen. Prioriter værktøjer, der kun udnytter ekspertvalideret medicinsk indhold, har gennemsigtige beslutningsprocesser og undgår at træne modeller på patientens sundhedsinformation.

Bedste praksis #2: Byg human-in-the-loop-sikkerhedsforanstaltninger

Sikr, at kliniske ansatte gennemgår alle AI-genererede output, der kan påvirke behandlingsbeslutninger. AI kan være et kraftfuldt værktøj, men i en branche, der har en direkte indvirkning på patienters liv, er klinisk oversigt nøglen til ansvarlig brug og nøjagtighed af enhver AI-assisteret information.

Bedste praksis #3: Uddannelse og arbejdsstyrkeparathed

Uddann kliniske ansatte og personale om både fordelene og risici ved AI-brug for at reducere skygge-AI-adoptionsraten. Sundhedspersonalet navigerer i en kompleks arbejdsstyrke, belastet af personalemangel og høje udbrændthedsrater. At simplificere AI-uddannelsesprocessen hjælper med at sikre compliance uden at tilføje yderligere byrde til deres arbejdslast.

Bedste praksis #4: Etabler en kultur af styring

Integrer tredjeparts-evalueringer af AI-løsninger for at verificere sikkerhed, pålidelighed og compliance. I tandem implementer en klar, organisationsovergribende ramme for AI-overvågning, der definerer godkendelse, brug og overvågning for yderligere at styrke tillid til teknologien og forhindre, at personalet søger til ikke-godkendte værktøjer.

Bedste praksis #5: Aligner med ledelse på AI-forvaltning

Samarbejd med ledelse for at følge med udviklende regler samt vejledning fra FDA og ONC. Regulatoriske bestræbelser opstår på delstatsniveau. For eksempel indførte Californien Transparency in Frontier AI Act,, der fremhæver risikoafløsning, gennemsigtighed og mitigering, især i sundhedsindstillinger, og der er også Colorado Artificial Intelligence Act (CAIA),, der er designet til at forhindre algoritme-diskrimination.

Bedste praksis #6: Kontinuerlig overvågning og feedback-løkker

Brugen af AI inden for en sundhedsindstilling skal aldrig tilnærmes med en “set it and forget it”-holdning. At etablere en ramme for kontinuerlig overvågning kan hjælpe med at sikre nøjagtigheden af AI-værktøjer, styrke ansvarlighed og opretholde compliance over tid.

Bedste praksis #7: Forfølge partnerskaber for at optimere overvågning og forskning

Sundhedsorganisationer skal udnytte partnerskaber med regulatorer og offentlige sektorer for at maksimere overvågning, bidrage med deres brancheperspektiv til sikkerhedsstandarder og kombinere ekspertressourcer.

Opbygning af tillid gennem compliance-ledelse

Differentieringen af AI-løsninger i sundhedssektoren vil i stigende grad afhænge af kvaliteten af deres ekspertindhold, integriteten af deres evalueringprocesser og ansvarlig integration i kliniske arbejdsprocesser. Den næste fase af AI-adoptionshastighed vil afhænge mindre af kode og mere af compliance-ledelse.

Tillid er lige så kritisk som compliance i sig selv. For teknologien til at være virkelig effektiv, må patienter og leverandører tro, at AI er sikkert og aligneret med højkvalitets-, etisk sundhedspleje. Compliance-ledelse er en strategisk fordel, ikke kun en defensiv foranstaltning. Fremadskuende organisationer, der etablerer retningslinjer tidligt, før skadelige incidenter indtræffer, vil differentiere sig selv i en AI-dreven sundhedsfremtid.