Ukontrollerte LLM-er og helsevesenets compliance-konundrum

Across industrier, har generative AI (GenAI) oppnådd raske gjennombrudd på en relativt kort tid. Disse fremgangene drives av foundation-modeller, som The California Report on Frontier AI Policy definerer som, “en klasse av generelle formålsteknologier som er ressurskrevende å produsere, og som krever betydelige mengder data og beregningskraft for å kunne gi kapasiteter som kan brukes i en rekke nedstrøms AI-applikasjoner.”

Disse generelle formål store språkmodellene (LLM-er), som Gemini og ChatGPT, viser en økende evne til å replikere og overgå menneskelige kognitive evner i områder som dataanalyse, skriving og resonnering. I helsevesenet spesifikt, er GenAI-adoptsjonen økende, ettersom kliniske og andre helsepersoner ser på teknologien for å redusere administrative byrder, akselerere operasjoner og sogar støtte kliniske beslutninger.

Imidlertid, mens teknologien tilbyr stor løfte, raiser GenAI-adoptsjon i helsevesenet også nøkkel compliance-risikoer hvis den ikke implementeres eller brukes ansvarlig. Spesielt, har bruk av generelle formål LLM-er med seg spesielle compliance-bekymringer som helseorganisasjoner må fullt ut forstå for å forebygge personvern eller sikkerhetsbrudd. Disse modellene kan avhenge av uverifiserte datakilder, bruke pasienthelseinformasjon på uautorisert vis, eller videreformidle fordommer og/eller uriktige opplysninger.

For å opprettholde pasientdatavern, forbli i samsvar med utviklende reguleringer og minimere kostbare risikoer, må helseledere ta en avgjørende tilnærming for å uskjerpe den tikkende compliance-“tikkbommen” av “ukontrollert” LLM-bruk.

Dagens tilstand for generelle formål LLM-bruk i helsevesenet

Over hele helsevesenet, er personalet i økende grad å bruke LLM-er for å støtte hverdagsoppgaver, fra administrative arbeid til pasientkommunikasjon. Multimodale LLM-er utvider også disse applikasjonene med deres evne til å enkelt prosessere tekst, bilder og lyd. I tillegg til administrativ støtte, ser vi også en økning i leverandører som vender seg til teknologien for å støtte mer enn bare kontorarbeid, men også kliniske oppgaver.

Disse modellene demonstrerer allerede hva noen kan se som imponerende resultater, med flere studier som viser at LLM-ytelsen møter eller sogar overgår menneskelige evner i bestemte områder. For eksempel, passerte GPT-4-modellen den amerikanske medisinske lisensiatursprøven med en samlet score på 86,7%.

Hybrid AI er en annen fremvoksende tilnærming til GenAI-bruk i helsevesenet som kombinerer maskinlæring (ML) og LLM-er for å håndtere kompleks analyse og oversette resultater til vanlig språk. Ved å integrere begge modeller, søker denne tilnærmingen å overvinne LLM-ernes mangler, inkludert hallucinasjoner, uriktigheter og fordommer, mens den spiller på sine styrker. Agentic AI er også i økende bruk på grunn av sin evne til å automatisere nøkkeloppgaver uten menneskelig inngripen, som å svare på pasientmeldinger eller planlegge møter.

Imidlertid høylytter den potensialet AI har også en presserende behov for mer proaktiv styring. Jo mer disse verktøyene blir integrert i helsevesenets operasjoner, jo høyere er innsatsen for å sikre nøyaktighet, sikkerhet og compliance.

Compliance-risikoer for generelle formål LLM-er i helsevesenet

Mens digital tilpasning i helsevesenet har låst opp en mengde nye muligheter, har den også eksponert nøkkel svakheter. Mellom 1. november 2023 og 31. oktober 2024, for eksempel, opplevde helsevesenet 1 710 sikkerhets hendelser, 1 542 av disse involverte bekreftede datauttidelinger.

AI-alderen dype disse sprekker, og legger til en ny lag kompleksitet til datapersonvern og sikkerhet. Mer spesifikt, har bruk av generelle formål LLM-er i helsevesenet med seg flere nøkkel compliance-risikoer:

Risiko #1: Opaque-box utvikling forhindrer kontinuerlig overvåking eller verifisering

Lukkede modeller mangler transparens om utviklingsprosessen, som hva slags data modellen ble trent på eller hvordan oppdateringer gjøres. Denne uklarheten forhindrer utviklere og forskere fra å grave seg inn i modellen for å bestemme opphavet til sikkerhetsrisikoer eller avgjørelsesprosesser. Som resultat, kan lukkede LLM-er muliggjøre bruk av uverifiserte medisinske datakilder og tillate sikkerhetsvulnerabiliteter å forbli ukontrollert.

Risiko #2: Pasientdatalekkasje

LLM-er avhenger ikke alltid av deidentifiserte pasientdata. Spesialiserte promter eller interaksjoner kunne uaktsomt avsløre identifiserbar helseinformasjon, og skape potensielle HIPAA-brudd.

Risiko #3: Videreformidling av fordommer og uriktige opplysninger

I ett eksperiment, injiserte forskerne en liten prosent feilfakta i en kategori av en biomedisinsk modells kunnskapsbase, mens de bevarte dens atferd i alle andre domener. Forskerne fant at feilinformasjon ble videreformidlet over modellens utgang, og høylytter LLM-ernes sårbarhet for feilinformasjonsangrep.

Enhver feil funnet i foundation-modeller arves av alle adopterte modeller og resulterende applikasjoner fra foreldren. Ulikheter i utgang kan forverre helseulikhet, som uriktige råd for underrepresenterte grupper.

Risiko #4: Reguleringsmisalignering

Bruk av generelle formål LLM-er kan ikke være i samsvar med HIPAA, GDPR eller utviklende AI-spesifikke reguleringer, spesielt hvis leverandører ikke kan validere treningsdata. Disse risikoene er forsterket av helseorganisasjonsansatte som bruker ugodkjente eller uovervåkede AI-verktøy, eller skygge-AI. Ifølge IBM, 20% av undersøkte organisasjoner over alle sektorer opplevde et brudd på grunn av sikkerhets hendelser som involverte skygge-AI.

Til slutt, har generelle formål LLM-risikoer i helsevesenet reelle verdensimplikasjoner, inkludert rettslige tiltak, omdømmeskader, tap av pasienttillit og rettslige kostnader.

Beste praksis: LLM-retningslinjer og overveielser

For å ansvarlig adoptere GenAI, må helseledere etablere klare retningslinjer som beskytter pasienter og organisasjoner. Følgende beste praksis kan hjelpe helseorganisasjoner å etablere en basis for ansvarlig, samsvarig AI-bruk:

Beste praksis #1: Velg AI-teknologi med omsorg

Krev klarhet fra leverandører om hvordan AI-teknologi utvikles og hva slags datakilder som brukes i utviklingsprosessen. Prioriter verktøy som utelukkende bruker ekspertvaliderende medisinsk innhold, har transparente avgjørelsesprosesser og unngår å trene modeller på pasienthelseinformasjon.

Beste praksis #2: Bygg menneske-i-løkken sikkerhetsforanstaltninger

Sikre at kliniske ansatte gjennser alle AI-genererte utgang som kan påvirke behandlingsbeslutninger. AI kan være et kraftig verktøy, men i en bransje som har en direkte innvirkning på pasientliv, er klinisk tilsyn nøkkel til å sikre ansvarlig bruk og nøyaktighet av all AI-assistert informasjon.

Beste praksis #3: Opplæring og arbeidsstyrkeberedskap

Utdann kliniske ansatte og personalet om både fordeler og risikoer med AI-bruk for å redusere skygge-AI-adoptsjon. Helsepersonale navigerer en kompleks arbeidsstyrke, belastet av bemanningsmangler og høye rates av utbrenthet. Enkeliggjøring av AI-utdanningsprosessen hjelper å sikre samsvar uten å legge til ytterligere byrde på arbeidsstyrken.

Beste praksis #4: Etablere en kultur av styring

Integrer tredjeparts evalueringer av AI-løsninger for å verifisere sikkerhet, pålitelighet og samsvar. I tillegg, implementer en klar, organisasjonsomfattende ramme for AI-tilsyn som definerer godkjenning, bruk og overvåking for å ytterligere styrke tillit til teknologien og forhindre at personalet vender seg til ugodkjente verktøy.

Beste praksis #5: Alignere med ledelse på AI-forvaltning

Samarbeid med ledelse for å holde seg foran utviklende reguleringer, samt veiledning fra FDA og ONC. Reguleringsinnsatsen er fremvoksende på delstatsnivå. For eksempel, innførte California Transparency in Frontier AI Act, som betoner risikodisklosur, transparens og mitigasjon, spesielt i helsevesen, og det er også Colorado Artificial Intelligence Act (CAIA), som er designet for å forhindre algoritme-diskriminering.

Beste praksis #6: Kontinuerlig overvåking og tilbakemeldingsløkker

Bruk av AI innenfor et helsevesen må aldri nærme seg med en “sett det og glem det”-holdning. Opprettelse av en ramme for kontinuerlig overvåking kan hjelpe å sikre nøyaktighet av AI-verktøy, styrke ansvar og opprettholde samsvar over tid.

Beste praksis #7: Etterspør partnerskap for å optimalisere tilsyn og forskning

Helseorganisasjoner bør utnytte partnerskap med reguleringer og offentlig sektor for å maksimere tilsyn, bidra med deres bransjeperspektiv til sikkerhetsstandarder og kombinere ekspertressurser.

Bygging tillit gjennom compliance-ledelse

Differensieringen av AI-løsninger i helsevesenet vil i økende grad avhenge av kvaliteten på deres ekspertinnhold, integriteten til deres evalueringprosesser og ansvarlig integrering i kliniske arbeidsflyter. Den neste fasen av AI-adoptsjon vil henge mindre på kode og mer på compliance-ledelse.

Tillit er like kritisk som samsvar selv. For teknologien til å virkelig være effektiv, må pasienter og leverandører tro at AI er trygg og i samsvar med høykvalitets, etisk omsorg. Compliance-ledelse er en strategisk fordel, ikke bare en defensiv måte. Fremtidsrettede organisasjoner som etablerer retningslinjer tidlig, før skadelige hendelser skjer, vil differensiere seg selv i en AI-drevet helsevesen-fremtid.