Neregulované LLM a konundrum zdravotnické compliance

Přes různé odvětví dosáhla generativní umělá inteligence (GenAI) rychlých průlomů v relativně krátké době. Tyto pokroky jsou poháněny základními modely, které The California Report on Frontier AI Policy definuje jako „třídu obecných technologií, které jsou náročné na výrobu, vyžadují značné množství dat a výpočetní kapacity, aby poskytly schopnosti, které mohou pohánět řadu následných aplikací AI.“

Tyto obecné velké jazykové modely (LLM), jako je Gemini a ChatGPT, ukazují rostoucí sílu replikovat a přesahovat lidské kognitivní schopnosti v oblastech, jako je analýza dat, psaní a úsudek. Konkrétně ve zdravotnictví je adopce GenAI na vzestupu, protože klinici a další zdravotničtí profesionálové hledají technologii, která sníží administrativní zátěž, urychlí operace a dokonce podpoří klinické rozhodování.

Nicméně, zatímco technologie nabízí velkou naději, adopce GenAI ve zdravotnictví také vyvolává klíčová rizika compliance, pokud není implementována nebo využita zodpovědně. Zvláště použití obecných LLM s sebou nese specifická rizika compliance, kterým musí zdravotnické organizace plně rozumět, aby předešly porušením soukromí nebo bezpečnostních úniků. Tyto modely mohou spoléhat na neověřené zdroje dat, využívat zdravotní informace pacientů neoprávněným způsobem nebo šířit předpojatosti a/nebo nesprávné informace.

Aby byla zachována soukromí pacientů, aby zůstaly v souladu s rozvíjejícími se předpisy a aby se minimalizovala nákladná rizika, musí lídři ve zdravotnictví přijmout rozhodný přístup k odstranění „tikajícího časového bomby“ „neregulovaného“ použití LLM.

Aktuální stav použití obecných LLM ve zdravotnictví

Přes zdravotnictví personál stále více využívá LLM k podpoře každodenních úkolů, od administrativní práce až po komunikaci s pacienty. Multimodální LLM také dále rozšiřují tyto aplikace o jejich schopnost snadno zpracovat text, obrázky a audio. Kromě administrativní podpory také vidíme růst poskytovatelů, kteří se obrací na technologii, aby podpořili nejen úkoly úřední, ale také klinické úkoly.

Tyto modely již demonstrují, co někteří mohou považovat za působivá výsledky, s několika studiemi, které ukazují, že výkon LLM odpovídá nebo dokonce přesahuje lidské schopnosti v konkrétních oblastech. Například model GPT-4 prošel United States Medical Licensing Examination s celkovým skóre 86,7%.

Hybridní AI je další vznikající přístup k použití GenAI ve zdravotnictví, který kombinuje strojové učení (ML) a LLM, aby zvládl komplexní analýzu a přeložil výsledky do běžného jazyka. Integrací obou modelů se tento přístup snaží překonat nedostatky LLM, včetně halucinací, nesprávností a předpojatosti, zatímco hraje na jeho síle. Agentic AI také roste v adopci pro jeho schopnost automatizovat klíčové úkoly bez lidského vstupu, jako je odpověď na zprávy pacientů nebo plánování schůzek.

Nicméně, potenciál AI také zdůrazňuje naléhavou potřebu více proaktivního řízení. Čím více jsou tyto nástroje zabudovány do zdravotnických operací, tím vyšší jsou sázky pro zajištění přesnosti, bezpečnosti a compliance.

Rizika compliance obecných LLM ve zdravotnictví

Zatímco digitální adopce ve zdravotnictví odemkla spoustu nových možností, také odhalila klíčové zranitelnosti. Mezi 1. listopadem 2023 a 31. říjnem 2024 například zdravotnický sektor zažil 1 710 bezpečnostních incidentů, z nichž 1 542 zahrnovalo potvrzené úniky dat.

Éra AI prohlubuje tyto trhliny, přidává novou vrstvu složitosti k soukromí a bezpečnosti dat. Konkrétněji, použití obecných LLM ve zdravotnictví vyvolává několik klíčových rizik compliance:

Riziko #1: Opaque-box vývoj brání kontinuálnímu monitorování nebo verifikaci

Uzavřené modely postrádají transparentnost o svém vývojovém procesu, jako je například, na jakých konkrétních datech byl model vyškolován nebo jak jsou prováděny aktualizace. Tato neprůhlednost brání vývojářům a výzkumníkům v tom, aby se ponořili do modelu, aby určili původ bezpečnostních rizik nebo rozpoznali rozhodovací procesy. V důsledku toho mohou uzavřené LLM umožnit použití neověřených zdrojů zdravotních dat a umožnit bezpečnostním zranitelnostem, aby zůstaly nezkontrolované.

Riziko #2: Únik dat pacientů

LLM se ne vždy spoléhají na deidentifikovaná data pacientů. Specializované podněty nebo interakce by mohly neúmyslně prozradit identifikovatelné zdravotní informace,, vytvářející potenciální porušení HIPAA.

Riziko #3: Šíření předpojatosti a nesprávné informace

V jednom experimentu, výzkumníci vložili malé procento nesprávných faktů do jedné kategorie znalostní báze biomedicínského modelu, zatímco zachovali jeho chování ve všech ostatních doménách. Výzkumníci zjistili, že nesprávné informace byly šířeny napříč výstupem modelu, zdůrazňující zranitelnost LLM vůči útokům na nesprávné informace.

Jakékoli vady nalezené v základních modelech jsou zděděny všemi přijatými modely a výslednými aplikacemi z rodičovského modelu. Rozdíly ve výstupech mohou zhoršit zdravotní nerovnosti, jako je nesprávná rada pro podreprezentované skupiny.

Riziko #4: Regulační nesoulad

Použití obecných LLM nemusí být v souladu s HIPAA, GDPR nebo rozvíjejícími se předpisy specifickými pro AI, zejména pokud dodavatelé nemohou ověřit data použitá při školení. Tato rizika jsou zhoršena tím, že zaměstnanci zdravotnických organizací používají neSchválené nebo nekontrolované nástroje AI, nebo stínové AI. Podle IBM 20% dotázaných organizací napříč všemi sektory utrpělo porušení zabezpečení v důsledku bezpečnostních incidentů souvisejících se stínovým AI.

Nakonec, rizika obecných LLM ve zdravotnictví mají reálné důsledky, včetně právních kroků, poškození pověsti, ztráty důvěry pacientů a nákladů na soudní spory.

Osvědčené postupy: Pokyny a úvahy pro LLM

Aby bylo možné zodpovědně přijmout GenAI, musí lídři ve zdravotnictví stanovit jasná ochranná opatření, která chrání pacienty i organizace. Následující osvědčené postupy mohou pomoci zdravotnickým organizacím stanovit základ pro zodpovědné a souladné použití AI:

Osvědčený postup #1: Vyberte AI technologie moudře

Požadujte od dodavatelů jasnost o tom, jak je AI technologie vyvinuta a jaké zdroje dat se používají ve vývojovém procesu. Priorizujte nástroje, které využívají pouze odborně validovaný zdravotnický obsah, mají transparentní rozhodovací procesy a vyhýbají se školení modelů na zdravotních informacích pacientů.

Osvědčený postup #2: Vytvořte lidské pojistky

Zajistěte, aby klinici přezkoumali jakýkoli AI vygenerovaný výstup, který by mohl ovlivnit rozhodnutí o péči. AI může být mocným nástrojem, ale v odvětví, které má přímý dopad na životy pacientů, je klinická kontrola klíčová pro zajištění zodpovědného použití a přesnosti jakýchkoli AI asistovaných informací.

Osvědčený postup #3: Školení a připravenost pracovníků

Vzdělávejte kliniky a personál o výhodách a rizicích použití AI, aby se snížila adopce stínového AI. Zdravotnický personál se potýká s komplexním pracovním prostředím, zatíženým personálními nedostatkem a vysokými sazbami vyhoření. Zjednodušení procesu vzdělávání AI pomáhá zajistit compliance bez dalšího zatížení jejich pracovní zátěže.

Osvědčený postup #4: Založte kulturu řízení

Integrujte hodnocení třetích stran AI řešení, aby se ověřila bezpečnost, spolehlivost a compliance. V tandemu implementujte jasnou, organizaci-wide rámec pro AI dohled, který definuje schválení, použití a monitorování, aby dále posílil důvěru v technologii a zabránil personálu v přístupu k neautorizovaným nástrojům.

Osvědčený postup #5: Sladěte se s vedením na AI správě

Spolupracujte s vedením, aby zůstali před rozvíjejícími se předpisy, stejně jako pokyny od FDA a ONC. Regulační úsilí se objevuje na státní úrovni. Například Kalifornie zavedla Transparency in Frontier AI Act, který zdůrazňuje riziko prozrazení, transparentnost a zmírnění, zejména ve zdravotnických prostředích, a tam je také Colorado Artificial Intelligence Act (CAIA), který je navržen tak, aby zabránil algoritmické diskriminaci.

Osvědčený postup #6: Kontinuální monitorování a zpětné vazby

Použití AI ve zdravotnickém prostředí by nikdy nemělo být přístupováno s „nastav a zapomeň“ mentalitou. Nastavení rámce pro kontinuální monitorování může pomoci zajistit přesnost AI nástrojů, posílit odpovědnost a udržet compliance v čase.

Osvědčený postup #7: Hledání partnerství pro optimalizaci dohledu a výzkumu

Zdravotnické organizace by měly využít partnerství s regulačními orgány a veřejným sektorem, aby maximalizovaly dohled, přispěly svou odbornou perspektivu k bezpečnostním standardům a kombinovaly odborné zdroje.

Stavění důvěry prostřednictvím compliance vedení

Diferenciace AI řešení ve zdravotnictví bude stále více záviset na kvalitě jejich odborného obsahu, integritě jejich hodnocení procesů a zodpovědné integraci do klinických pracovních postupů. Další fáze adopce AI bude méně záviset na kódu a více na compliance vedení.

Důvěra je stejně kritická jako compliance sama. Aby technologie byla skutečně efektivní, pacienti i poskytovatelé musí věřit, že AI je bezpečná a souladná s vysokou kvalitou, etickou péčí. Compliance vedení je strategickou výhodou, ne jen obranným opatřením. Organizace, které zavedou ochranná opatření brzy, předtím, než dojde k škodlivým incidentům, budou se odlišovat ve zdravotnickém prostředí poháněném AI.