Okontrollerade LLM:er och hälsosjukvårdens regelefterlevnadsdilemma

Över branscherna har generativ AI (GenAI) uppnått snabba genombrott under en relativt kort tid. Dessa framsteg drivs av grundmodeller, som The California Report on Frontier AI Policy definierar som, “en klass av allmänna teknologier som är resurskrävande att producera, och som kräver betydande mängder data och beräkningskraft för att ge förmågor som kan driva en mängd olika nedströms AI-applikationer.”

Dessa allmänna storskaliga språkmodeller (LLM:er), som Gemini och ChatGPT, visar en växande förmåga att replikera och överträffa mänskliga kognitiva förmågor inom områden som dataanalys, skrivande och resonemang. Inom hälso- och sjukvården specifikt ökar antagandet av GenAI, eftersom kliniker och andra hälso- och sjukvårdspersonal ser till tekniken för att minska administrativa bördor, påskynda verksamheten och till och med stödja kliniska beslutsfattanden.

Men medan tekniken erbjuder stora löften, så väcker GenAI-antagandet i hälso- och sjukvården också viktiga regelefterlevnadsrisker om den inte implementeras eller används på ett ansvarsfullt sätt. Särskilt medför användningen av allmänna LLM:er specifika regelefterlevnadsproblem som hälso- och sjukvårdsorganisationer måste förstå fullständigt för att förhindra intrång i patientdatas integritet eller säkerhetsbrott. Dessa modeller kan förlita sig på overifierade datakällor, använda patienthälsoinformation på obehöriga sätt eller sprida fördomar och/eller felaktig information.

För att upprätthålla patientdatas integritet, förbli i överensstämmelse med utvecklande regler och minimera dyra risker, måste hälso- och sjukvårdsledare vidta en beslutsam strategi för att oskadliggöra den tickande regelefterlevnads-“tidsbomben” för “okontrollerad” LLM-användning.

Nuvarande tillstånd för allmänna LLM:er i hälso- och sjukvården

Inom hälso- och sjukvården använder personal alltmer LLM:er för att stödja vardagliga uppgifter, från administrativt arbete till patientkommunikation. Multimodala LLM:er utvidgar dessutom dessa tillämpningar med sin förmåga att enkelt bearbeta text, bilder och ljud. Utöver administrativt stöd ser vi också en ökning av vårdgivare som vänder sig till tekniken för att stödja mer än bara kontorsarbete, men också kliniska uppgifter.

Dessa modeller visar redan vad som kan betraktas som imponerande resultat, med flera studier som visar att LLM-prestanda motsvarar eller till och med överträffar mänskliga förmågor inom specifika områden. Till exempel klarade GPT-4-modellen den amerikanska läkarexamen med en sammanlagd poäng på 86,7%.

Hybrid-AI är ett annat framväxande tillvägagångssätt för GenAI-användning inom hälso- och sjukvården som kombinerar maskinlärning (ML) och LLM:er för att hantera komplex analys och översätta resultat till vanligt språk. Genom att integrera båda modellerna syftar detta tillvägagångssätt till att övervinna LLM:ers brister, inklusive hallucinationer, felaktigheter och fördomar, samtidigt som det utnyttjar dess styrkor. Agentic AI ökar också i antagande på grund av sin förmåga att automatisera viktiga uppgifter utan mänsklig inmatning, såsom att svara på patientmeddelanden eller schemalägga möten.

Men den potential som AI har framhäver också ett brådskande behov av mer proaktiv styrning. Ju mer dessa verktyg integreras i hälso- och sjukvårdsverksamheten, desto högre insatser för att säkerställa noggrannhet, säkerhet och regelefterlevnad.

Regelefterlevnadsrisker för allmänna LLM:er i hälso- och sjukvården

Medan digital antagande inom hälso- och sjukvården har låst upp en mängd nya möjligheter, har det också exponerat viktiga sårbarheter. Mellan den 1 november 2023 och den 31 oktober 2024, till exempel, upplevde hälso- och sjukvårdssektorn 1 710 säkerhetsincidenter, varav 1 542 involverade bekräftade dataavslöjanden.

AI-eran fördjupar dessa sprickor och lägger till en ny lager av komplexitet för datasekretess och säkerhet. Mer specifikt medför användningen av allmänna LLM:er inom hälso- och sjukvården flera viktiga regelefterlevnadsrisker:

Risk #1: Opaque-box-utveckling förhindrar kontinuerlig övervakning eller verifiering

Stängda modeller saknar transparens om utvecklingsprocessen, såsom vilka specifika data modellen tränades på eller hur uppdateringar görs. Denna opacitet förhindrar utvecklare och forskare från att granska modellen för att fastställa ursprunget till säkerhetsrisker eller avgöra beslutsprocesser. Som ett resultat kan stängda LLM:er möjliggöra användningen av overifierade medicinska datakällor och tillåta säkerhetsrisker att förbli oövervakade.

Risk #2: Patientdatas läckage

LLM:er förlitar sig inte alltid på avidentifierad patientdata. Specialiserade prompter eller interaktioner kunde oavsiktligt avslöja identifierbar hälsinformation, vilket skapar potentiella HIPAA-överträdelser.

Risk #3: Spridning av fördomar och felaktig information

I ett experiment, injicerade forskare en liten andel felaktiga fakta i en kategori av en biomedicinsk modells kunskapsbas, samtidigt som de bevarade dess beteende i alla andra domäner. Forskarna fann att felaktig information spreds över modellens utdata, vilket framhäver LLM:ers sårbarhet för desinformationsattacker.

Eventuella defekter som påträffas i grundmodeller ärvas av alla antagna modeller och resulterande tillämpningar från föräldern. Olikheter i utdata kan förvärra hälsoujämlikheter, såsom felaktigt råd för underrepresenterade grupper.

Risk #4: Regelefterlevnadsavvikelse

Användningen av allmänna LLM:er kan inte överensstämma med HIPAA, GDPR eller utvecklande AI-specifika regler, särskilt om leverantörer inte kan validera träningsdata. Dessa risker förvärras av att hälso- och sjukvårdsorganisationers anställda använder ogodkända eller oövervakade AI-verktyg, eller skugg-AI. Enligt IBM drabbades 20% av de undersökta organisationerna i alla sektorer av ett brott på grund av säkerhetsincidenter som involverade skugg-AI.

Till slut har allmänna LLM-risker inom hälso- och sjukvården verkliga världsimpликаtioner, inklusive rättsliga åtgärder, skador på anseende, förlust av patientförtroende och rättegångskostnader.

Bästa metoder: LLM-riktlinjer och överväganden

För att ansvarsfullt anta GenAI måste hälso- och sjukvårdsledare etablera tydliga riktlinjer som skyddar patienter och organisationer. Följande bästa metoder kan hjälpa hälso- och sjukvårdsorganisationer att etablera en grund för ansvarsfull, regelefterlevande AI-användning:

Bästa metod #1: Välj AI-teknik med omsorg

Kräv tydlighet från leverantörer om hur AI-teknik utvecklas och vilka datakällor som används i utvecklingsprocessen. Prioritera verktyg som endast använder expertvaliderat medicinskt innehåll, har transparenta beslutsprocesser och undviker att träna modeller på patienthälsoinformation.

Bästa metod #2: Bygg mänskliga säkerhetsåtgärder

Se till att kliniker granskar alla AI-genererade utdata som kan påverka vårdbeslut. AI kan vara ett kraftfullt verktyg, men inom en bransch som har en direkt inverkan på patienters liv, är klinisk övervakning avgörande för att säkerställa ansvarsfull användning och noggrannhet i all AI-assisterad information.

Bästa metod #3: Utbildning och arbetsstyrkeberedskap

Utbilda kliniker och personal om både fördelarna och riskerna med AI-användning för att minska skugg-AI-antagandet. Hälso- och sjukvårdspersonal navigerar en komplex arbetsstyrka, belastad av personalbrist och höga nivåer av utbrändhet. Att förenkla AI-utbildningsprocessen hjälper till att säkerställa regelefterlevnad utan att lägga ytterligare bördor på deras arbetsbörda.

Bästa metod #4: Etablera en kultur av styrning

Integrera tredjepartsutvärderingar av AI-lösningar för att validera säkerhet, tillförlitlighet och regelefterlevnad. I samma anda implementera en tydlig, organisationsoverskridande ram för AI-övervakning som definierar godkännande, användning och övervakning för att ytterligare stärka förtroendet för tekniken och förhindra att personal vänder sig till obehöriga verktyg.

Bästa metod #5: Samverka med ledning om AI-ansvar

Samverka med ledning för att ligga före utvecklande regler, samt vägledning från FDA och ONC. Regleringsinsatser är på gång på delstatsnivå. Till exempel införde Kalifornien Transparens i Frontier AI-lagen, som betonar riskavslöjande, transparens och mitigering, särskilt inom hälso- och sjukvården, och det finns också Colorado Artificial Intelligence Act (CAIA), som är utformad för att förhindra algoritmisk diskriminering.

Bästa metod #6: Kontinuerlig övervakning och återkopplingsloopar

Användningen av AI inom en hälso- och sjukvårdsinställning bör aldrig närmas med en “ställ in och glöm”-inställning. Att etablera en ram för kontinuerlig övervakning kan hjälpa till att säkerställa AI-verktygens noggrannhet, stärka ansvar och upprätthålla regelefterlevnad över tid.

Bästa metod #7: Söka partnerskap för att optimera övervakning och forskning

Hälso- och sjukvårdsorganisationer bör utnyttja partnerskap med reglerare och den offentliga sektorn för att maximera övervakning, bidra med sin branschperspektiv till säkerhetsstandarder och kombinera expertresurser.

Att bygga förtroende genom regelefterlevnadsledning

Differentieringen av AI-lösningar inom hälso- och sjukvården kommer alltmer att bero på kvaliteten på deras expertinnehåll, integriteten i deras utvärderingsprocesser och ansvarsfull integration i kliniska flöden. Nästa fas av AI-antagande kommer att hänga mindre på kod och mer på regelefterlevnadsledning.

Förtroende är lika viktigt som regelefterlevnad. För att tekniken ska vara verkligen effektiv måste patienter och vårdgivare tro att AI är säker och anpassad till högkvalitativ, etisk vård. Regelefterlevnadsledning är en strategisk fördel, inte bara en defensiv åtgärd. Framåtriktade organisationer som etablerar riktlinjer i förväg, innan skadliga incidenter inträffar, kommer att differentiera sig i en AI-driven hälso- och sjukvårdsframtid.