Neregulované LLM a dilema compliance ve zdravotnictví

Přírůstkové průlomové úspěchy v oblasti generativní umělé inteligence (GenAI) byly dosaženy napříč odvětvími v relativně krátkém časovém úseku. Tyto pokroky jsou poháněny základními modely, které The California Report on Frontier AI Policy definuje jako „třída obecných technologií, které jsou náročné na výrobu, vyžadují značné množství dat a výpočetní kapacity, aby poskytly schopnosti, které mohou pohánět řadu downstream aplikací umělé inteligence.“

Tito obecní velkolepí jazykoví modely (LLM), jako je Gemini a ChatGPT, ukazují rostoucí sílu replikovat a přesáhnout lidské kognitivní schopnosti v oblastech, jako je analýza dat, psaní a uvažování. Ve zdravotnictví se konkrétně adopce GenAI zvyšuje, protože klinici a další zdravotničtí profesionálové hledají technologii, která sníží administrativní zátěž, urychlí operace a dokonce podporuje klinická rozhodnutí.

Jednoch, zatímco technologie nabízí velké sliby, adopce GenAI ve zdravotnictví také vyvolává klíčová rizika compliance, pokud nejsou implementovány nebo využity odpovědně. Zvláště použití obecných LLM s sebou nese specifická rizika compliance, kterým musí zdravotnické organizace plně rozumět, aby předešly porušením soukromí nebo bezpečnosti. Tyto modely mohou spoléhat na neověřené zdroje dat, využívat zdravotní informace pacientů neoprávněným způsobem nebo šířit předpojatosti a/nebo nesprávné informace.

Aby se udržela soukromí pacientů, zůstala v souladu s rozvíjejícími se předpisy a minimalizovala nákladná rizika, musí lídři ve zdravotnictví přijmout rozhodný přístup k odstranění „tikajícího“ compliance „časové bomby“ „neregulovaného“ použití LLM.

Aktuální stav obecného použití LLM ve zdravotnictví

V celém zdravotnictví personál stále více využívá LLM k podpoře každodenních úkolů, od administrativní práce až po komunikaci s pacienty. Multimodální LLM také dále rozšiřují tyto aplikace o jejich schopnost snadno zpracovávat text, obrázky a audio. Kromě administrativní podpory také vidíme nárůst poskytovatelů, kteří se uchylují k technologii, aby podpořili více než jen úřední práci, ale také klinické úkoly.

Tito modely již ukazují to, co někteří mohou považovat za působivá výsledky, s několika studiemi, které ukazují, že výkon LLM splňuje nebo dokonce přesahuje lidské schopnosti ve specifických oblastech. Například model GPT-4 prošel United States Medical Licensing Examination s celkovým skóre 86,7%.

Hybridní AI je další vznikající přístup k použití GenAI ve zdravotnictví, který kombinuje strojové učení (ML) a LLM k zajištění komplexní analýzy a překladu výsledků do běžného jazyka. Integrací obou modelů se tento přístup snaží překonat nedostatky LLM, včetně halucinací, nepřesností a předpojatostí, zatímco hraje na jeho síle. Agentic AI také roste v adopci pro svou schopnost automatizovat klíčové úkoly bez lidského vstupu, jako je odpověď na zprávy pacientů nebo plánování schůzek.

Jednoch, potenciál AI také zdůrazňuje naléhavou potřebu proaktivnější governance. Čím více jsou tyto nástroje integrovány do zdravotnických operací, tím vyšší jsou sázky pro zajištění přesnosti, bezpečnosti a compliance.

Rizika compliance obecných LLM ve zdravotnictví

Zatímco digitální adopce ve zdravotnictví odemkla řadu nových možností, také odhalila klíčové zranitelnosti. Mezi 1. listopadem 2023 a 31. říjnem 2024, například, zdravotnický sektor zažil 1 710 bezpečnostních incidentů, z nichž 1 542 zahrnovalo potvrzené úniky dat.

Éra AI prohlubuje tyto trhliny, přidává novou vrstvu složitosti k soukromí a bezpečnosti dat. Konkrétněji, použití obecných LLM ve zdravotnictví vyvolává několik klíčových rizik compliance:

Riziko #1: Opaque-box vývoj brání kontinuálnímu monitorování nebo verifikaci

Uzavřené modely postrádají transparentnost o svém vývojovém procesu, jako je například, na jakých konkrétních datech byl model vyškolen nebo jak jsou prováděny aktualizace. Tato neprůhlednost brání vývojářům a výzkumníkům ve zkoumání modelu, aby určili původ bezpečnostních rizik nebo rozhodovací procesy. V důsledku toho mohou uzavřené LLM umožnit použití neověřených zdrojů zdravotních dat a umožnit bezpečnostním zranitelnostem, aby zůstaly nekontrolované.

Riziko #2: Únik dat pacientů

LLM se ne vždy spoléhají na deidentifikovaná data pacientů. Specializované výzvy nebo interakce by mohly neúmyslně odhalit identifikovatelné zdravotní informace, což by mohlo vést k potenciálním porušením HIPAA.

Riziko #3: Šíření předpojatostí a nesprávných informací

V jednom experimentu, výzkumníci vložili malý procentní podíl nesprávných faktů do jedné kategorie znalostní báze biomedicínského modelu, zatímco zachovali jeho chování ve všech ostatních doménách. Výzkumníci zjistili, že nesprávné informace se šířily napříč výstupem modelu, zdůrazňující zranitelnost LLM vůči útokům na nesprávné informace.

Jakékoli vady nalezené v základních modelech jsou děděny všemi přijatými modely a výslednými aplikacemi z rodičovského modelu. Rozdíly ve výstupech mohou zhoršit zdravotní nerovnosti, jako je nesprávná rada pro nedostatečně zastupované skupiny.

Riziko #4: Regulační nesoulad

Použití obecných LLM nemusí být v souladu s HIPAA, GDPR nebo rozvíjejícími se předpisy specifickými pro AI, zejména pokud dodavatelé nemohou ověřit data použitá při školení. Tato rizika jsou zhoršena tím, že zaměstnanci zdravotnických organizací používají neapproved nebo nekontrolované AI nástroje, nebo stínové AI. Podle IBM 20% dotázaných organizací napříč všemi sektory trpělo porušením z důvodu bezpečnostních incidentů souvisejících se stínovou AI.

Nakonec, rizika obecných LLM ve zdravotnictví mají skutečné důsledky, včetně právních akcí, poškození pověsti, ztráty důvěry pacientů a nákladů na soudní spory.

Osvědčené postupy: Směrnice a úvahy pro LLM

Aby se odpovědně přijala GenAI, musí lídři ve zdravotnictví stanovit jasná ochranná opatření, která chrání pacienty i organizace. Následující osvědčené postupy mohou pomoci zdravotnickým organizacím stanovit základ pro odpovědné, souladné použití AI:

Osvedčený postup #1: Vyberte si AI technologii moudře

Požadujte jasnost od dodavatelů o tom, jak je AI technologie vyvíjena a jaké zdroje dat se používají při jejím vývoji. Prioritizujte nástroje, které využívají pouze odborně ověřený zdravotnický obsah, mají transparentní rozhodovací procesy a vyhýbají se školení modelů na zdravotních informacích pacientů.

Osvedčený postup #2: Vytvořte lidské bezpečnostní pojistky

Zajistěte, aby klinici přezkoumali všechny AI vygenerované výstupy, které by mohly ovlivnit rozhodnutí o péči. AI může být mocným nástrojem, ale v odvětví, které má přímý dopad na životy pacientů, je klinická kontrola klíčová pro zajištění odpovědného použití a přesnosti jakýchkoli AI asistovaných informací.

Osvedčený postup #3: Školení a připravenost pracovníků

Vzdělávejte kliniky a personál o výhodách a rizicích použití AI, aby se snížila adopce stínové AI. Zdravotnický personál se potýká s komplexním pracovním prostředím, zatíženým personálními nedostatky a vysokými mírami vyhoření. Zjednodušení procesu vzdělávání AI pomáhá zajistit compliance bez dalšího zatížení jejich pracovní zátěže.

Osvedčený postup #4: Založte kulturu governance

Integrujte třetí strany do hodnocení AI řešení, aby se ověřila bezpečnost, spolehlivost a compliance. V součinnosti implementujte jasnou, organizaci-wide rámec pro AI dohled, který definuje schválení, použití a monitorování, aby dále posílil důvěru v technologii a zabránil personálu v použití neautorizovaných nástrojů.

Osvedčený postup #5: Slaďte se s vedením na AI stewardship

Spolupracujte s vedením, aby zůstali před rozvíjejícími se předpisy, stejně jako pokyny od FDA a ONC. Regulační úsilí se objevuje na státní úrovni. Například Kalifornie zavedla Transparency in Frontier AI Act, který zdůrazňuje odhalení rizik, transparentnost a zmírnění, zejména ve zdravotnických prostředích, a existuje také Colorado Artificial Intelligence Act (CAIA), který je navržen tak, aby zabránil algoritmické diskriminaci.

Osvedčený postup #6: Kontinuální monitorování a zpětné vazby

Použití AI ve zdravotnickém prostředí by nikdy nemělo být přístupováno s „nastav a zapomeň“ mentalitou. Nastavení rámce pro kontinuální monitorování může pomoci zajistit přesnost AI nástrojů, posílit odpovědnost a udržet compliance v průběhu času.

Osvedčený postup #7: Hledejte partnerství k optimalizaci dohledu a výzkumu

Zdravotnické organizace by měly využít partnerství s regulačními orgány a veřejným sektorem, aby maximalizovaly dohled, přispívaly svým odvětvovým pohledem na bezpečnostní standardy a kombinovaly odborné zdroje.

Stavění důvěry prostřednictvím compliance vedení

Diferenciace AI řešení ve zdravotnictví bude stále více záviset na kvalitě jejich odborného obsahu, integritě jejich hodnocení a odpovědné integraci do klinických workflow. Další fáze adopce AI bude méně záviset na kódu a více na compliance vedení.

Důvěra je stejně kritická jako compliance sama. Aby technologie byla skutečně efektivní, pacienti a poskytovatelé musí věřit, že AI je bezpečná a souladná s vysokou kvalitou, etickou péčí. Compliance vedení je strategickou výhodou, ne jen obranným opatřením. Předpokládané organizace, které zavedou ochranná opatření brzy, předtím, než dojde k škodlivým incidentům, se odliší v budoucnosti zdravotnictví poháněného AI.