Okontrollerade LLM:er och hälsorelaterad regelefterlevnadskonundrum

Över hela branschen har generativ AI (GenAI) uppnått snabba genombrott på relativt kort tid. Dessa framsteg drivs av grundmodeller, som The California Report on Frontier AI Policy definierar som, “en klass av allmänna teknologier som är resurskrävande att producera, och kräver betydande mängder data och beräkningskraft för att ge funktioner som kan driva en mängd olika nedströms AI-applikationer.”

Dessa allmänna stora språkmodeller (LLM:er), som Gemini och ChatGPT, visar en växande förmåga att replikera och överträffa mänskliga kognitiva förmågor inom områden som dataanalys, skrivande och resonemang. Inom hälso- och sjukvården specifikt ökar antagandet av GenAI, eftersom kliniker och andra hälso- och sjukvårdspersonal ser till tekniken för att minska administrativa bördor, påskynda verksamheten och till och med stödja kliniska beslutsfattanden.

Men medan tekniken erbjuder stora löften, så medför GenAI-antagandet i hälso- och sjukvården också viktiga regelefterlevnadsrisker om den inte implementeras eller används på ett ansvarsfullt sätt. Särskilt medför användningen av allmänna LLM:er specifika regelefterlevnadsproblem som hälso- och sjukvårdsorganisationer måste förstå fullständigt för att förhindra intrång i privatliv eller säkerhetsöverträdelser. Dessa modeller kan förlita sig på overifierade datakällor, utnyttja patienternas hälsouppgifter på obehöriga sätt eller sprida partiskhet och/eller felaktig information.

För att upprätthålla patienternas dataskydd, följa de utvecklande reglerna och minimera dyra risker, måste hälso- och sjukvårdsledare ta ett beslutande tillvägagångssätt för att oskadliggöra den tickande regelefterlevnads-“tidsbomben” för “okontrollerad” LLM-användning.

Nuvarande tillstånd för allmänna LLM:er i hälso- och sjukvården

Över hela hälso- och sjukvården använder personal alltmer LLM:er för att stödja vardagliga uppgifter, från administrativt arbete till patientkommunikation. Multimodala LLM:er utvidgar dessutom dessa tillämpningar med deras förmåga att enkelt bearbeta text, bilder och ljud. Utöver administrativt stöd ser vi också en ökning av vårdgivare som vänder sig till tekniken för att stödja mer än bara kontorsarbete, men också kliniska uppgifter.

Dessa modeller visar redan imponerande resultat, med flera studier som visar att LLM-prestanda möter eller till och med överträffar mänskliga förmågor inom specifika områden. Till exempel klarade GPT-4-modellen den amerikanska läkarexamen med en totalpoäng på 86,7%.

Hybrid AI är ett annat framväxande tillvägagångssätt för GenAI-användning inom hälso- och sjukvården som kombinerar maskinlärning (ML) och LLM:er för att hantera komplex analys och översätta resultat till vanligt språk. Genom att integrera båda modellerna syftar detta tillvägagångssätt till att övervinna LLM:ernas brister, inklusive hallucinationer, felaktigheter och partiskhet, medan man utnyttjar dess styrkor. Agentic AI ökar också i antagande för sin förmåga att automatisera nyckeluppgifter utan mänsklig inmatning, såsom att svara på patientmeddelanden eller boka tider.

Men den potential som AI har framhäver också ett brådskande behov av mer proaktiv styrning. Ju mer dessa verktyg integreras i hälso- och sjukvårdsverksamheten, desto högre är insatserna för att säkerställa noggrannhet, säkerhet och regelefterlevnad.

Regelefterlevnadsrisker för allmänna LLM:er i hälso- och sjukvården

Medan digital antagande inom hälso- och sjukvården har låst upp en mängd nya möjligheter, har det också exponerat nyckelväsentligheter. Mellan den 1 november 2023 och den 31 oktober 2024, till exempel, upplevde hälso- och sjukvårdssektorn 1 710 säkerhetsincidenter, varav 1 542 involverade bekräftade dataavslöjanden.

AI-eran fördjupar dessa sprickor och lägger till en ny komplexitet till dataskydd och säkerhet. Mer specifikt väcker användningen av allmänna LLM:er inom hälso- och sjukvården flera viktiga regelefterlevnadsrisker:

Risk #1: Opaque-box-utveckling förhindrar kontinuerlig övervakning eller verifiering

Stängda modeller saknar transparens om utvecklingsprocessen, såsom vilka specifika data modellen tränades på eller hur uppdateringar görs. Denna opacitet förhindrar utvecklare och forskare från att granska modellen för att fastställa ursprunget till säkerhetsrisker eller avgöra beslutsprocesser. Som ett resultat kan stängda LLM:er möjliggöra användningen av overifierade medicinska datakällor och tillåta säkerhetsvulnerabiliteter att förbli oövervakade.

Risk #2: Patientdata läckage

LLM:er förlitar sig inte alltid på avidentifierade patientdata. Specialiserade prompter eller interaktioner kunde oavsiktligt avslöja identifierbar hälsouppgift, vilket skapar potentiella HIPAA-överträdelser.

Risk #3: Spridning av partiskhet och felaktig information

I ett experiment, injicerade forskare en liten andel felaktiga fakta i en biomedicinsk modells kunskapsbas, medan de bevarade dess beteende i alla andra domäner. Forskarna fann att felaktig information spreds över modellens utdata, vilket framhäver LLM:ernas sårbarhet för desinformationsattacker.

Eventuella defekter som påträffas i grundmodeller ärver alla antagna modeller och resulterande applikationer från föräldern. Olikheter i utdata kan förvärra hälsoujämlikhet, såsom felaktig rådgivning för underrepresenterade grupper.

Risk #4: Regleringsfelanpassning

Användningen av allmänna LLM:er kan inte följa HIPAA, GDPR eller utvecklande AI-specifika regler, särskilt om leverantörer inte kan validera träningsdata. Dessa risker förvärras av att hälso- och sjukvårdsorganisationers anställda använder ogodkända eller oövervakade AI-verktyg, eller skugg-AI. Enligt IBM upplevde 20% av de tillfrågade organisationerna över hela sektorerna en brottsskada på grund av säkerhetsincidenter som involverade skugg-AI.

Till slut har de allmänna LLM-riskerna inom hälso- och sjukvården verkliga världsimplicationer, inklusive rättsliga åtgärder, skador på anseende, förlust av patientförtroende och rättegångskostnader.

Metodtips: LLM-riktlinjer och överväganden

För att ansvarsfullt anta GenAI måste hälso- och sjukvårdsledare etablera tydliga skydd för att skydda patienter och organisationer. Följande metodtips kan hjälpa hälso- och sjukvårdsorganisationer att etablera en grund för ansvarsfull och regelefterlevande AI-användning:

Metodtips #1: Välj AI-teknik klokt

Kräv tydlighet från leverantörer om hur AI-teknik utvecklas och vilka datakällor som används i utvecklingsprocessen. Prioritera verktyg som utnyttjar endast expertvaliderat medicinskt innehåll, har transparenta beslutsprocesser och undviker att träna modeller på patienthälsoinformation.

Metodtips #2: Bygg mänskliga säkerhetsåtgärder

Se till att kliniker granskar alla AI-genererade utdata som kan påverka vårdbeslut. AI kan vara ett kraftfullt verktyg, men i en bransch som har en direkt inverkan på patienters liv, är klinisk tillsyn nyckeln till att säkerställa ansvarsfull användning och noggrannhet i all AI-assisterad information.

Metodtips #3: Utbildning och arbetsplatsberedskap

Utbilda kliniker och personal om både fördelarna och riskerna med AI-användning för att minska antagandet av skugg-AI. Hälso- och sjukvårdspersonal navigerar en komplex arbetsplats, som är ansträngd av personalbrist och höga nivåer av utbrändhet. Att förenkla AI-utbildningsprocessen hjälper till att säkerställa regelefterlevnad utan att lägga till ytterligare bördor på deras arbetsbelastning.

Metodtips #4: Etablera en kultur av styrning

Integrera tredjepartsutvärderingar av AI-lösningar för att validera säkerhet, tillförlitlighet och regelefterlevnad. I tandem, implementera en tydlig, organisationsovergripande ram för AI-övervakning som definierar godkännande, användning och övervakning för att ytterligare förbättra förtroendet för tekniken och förhindra att personal vänder sig till obehöriga verktyg.

Metodtips #5: Samverka med ledning om AI-ansvar

Samverka med ledning för att ligga före de utvecklande reglerna, samt vägledning från FDA och ONC. Regleringsinsatser växer fram på delstatsnivå. Till exempel, införde Kalifornien Transparens i Frontier AI Act, som betonar riskavslöjande, transparens och mitigering, särskilt inom hälso- och sjukvården, och det finns också Colorado Artificial Intelligence Act (CAIA), som är utformad för att förhindra algoritmisk diskriminering.

Metodtips #6: Kontinuerlig övervakning och återkopplingsloopar

Användningen av AI inom en hälso- och sjukvårdsinställning bör aldrig närmas med en “ställ in och glöm”-inställning. Att etablera en ram för kontinuerlig övervakning kan hjälpa till att säkerställa noggrannhet i AI-verktyg, stärka ansvar och upprätthålla regelefterlevnad över tid.

Metodtips #7: Söka partnerskap för att optimera övervakning och forskning

Hälso- och sjukvårdsorganisationer bör utnyttja partnerskap med regulatorer och den offentliga sektorn för att maximera övervakning, bidra med sin branschperspektiv till säkerhetsstandarder och kombinera expertresurser.

Att bygga förtroende genom regelefterlevnadsledarskap

Differentieringen av AI-lösningar inom hälso- och sjukvården kommer alltmer att bero på kvaliteten på deras expertinnehåll, integriteten i deras utvärderingsprocesser och ansvarsfull integrering i kliniska flöden. Den nästa fasen av AI-antagande kommer att hänga mindre på kod och mer på regelefterlevnadsledarskap.

Förtroende är lika viktigt som regelefterlevnad i sig. För att tekniken ska vara verkligen effektiv, måste patienter och vårdgivare tro att AI är säker och anpassad till högkvalitativ, etisk vård. Regelefterlevnadsledarskap är en strategisk fördel, inte bara en defensiv åtgärd. Framåtriktade organisationer som etablerar skydd tidigt, innan skadliga incidenter inträffar, kommer att differentiera sig i en AI-driven hälso- och sjukvårdsframtid.