Generativní AI v odvětví zdravotnictví potřebuje dávku vysvětlitelnosti

Úžasná rychlost, s jakou textově generativní nástroje AI mohou dokončit úkoly psaní a komunikace na vysoké úrovni, zaznamenala ohlas u společností i spotřebitelů. Ale procesy, které se odehrávají za scénou, aby tyto působivé schopnosti umožnily, mohou učinit rizikovým, aby citlivá, státem regulovaná odvětví, jako je pojištění, finance nebo zdravotnictví, využívala generativní AI bez značné opatrnosti.

Některé z nejzřetelnějších příkladů tohoto lze nalézt v odvětví zdravotnictví.

Tyto problémy jsou obvykle spojeny s rozsáhlými a rozmanitými datovými sadami, které se používají k výcviku velkých jazykových modelů (LLM) – modelů, které textově generativní nástroje AI používají k provádění úkolů na vysoké úrovni. Bez explicitního zásahu programátorů tendují tyto LLM k tomu, aby data sbíraly nediskriminovaně z různých zdrojů na internetu, aby rozšířily svou znalostní základnu.

Tento přístup je nejvhodnější pro nízkorizikové spotřebitelské případy použití, ve kterých je konečným cílem směrovat zákazníky na žádoucí nabídky s přesností. Čím dál více však velké datové sady a zmatené cesty, kterými modely AI generují své výstupy, zakrývají vysvětlitelnost, kterou nemocnice a poskytovatelé zdravotní péče vyžadují k trasování a prevenci potenciálních nesrovnalostí.

V tomto kontextu se vysvětlitelnost vztahuje na schopnost pochopit logické cesty daného LLM. Odborníci ve zdravotnictví, kteří se snaží přijmout pomocné generativní nástroje AI, musí mít prostředky k pochopení jak jejich modely poskytují výsledky, aby pacienti a personál byli vybaveni plnou transparentností během různých rozhodovacích procesů. Jinými slovy, v odvětví, jako je zdravotnictví, kde jsou na hře životy, jsou sázky prostě příliš vysoké, aby odborníci nesprávně interpretovali data, která se používají k výcviku jejich nástrojů AI.

Naštěstí existuje způsob, jak obejít generativní AI konundrum vysvětlitelnosti – vyžaduje to jen trochu více kontroly a zaměření.

Záhadnost a skepse

U generativního AI je koncept pochopení, jak LLM přechází z bodu A – vstupu – do bodu B – výstupu – mnohem složitější než u neregenerativních algoritmů, které běží podél více stanovených vzorců.

Generativní nástroje AI vytvářejí nesčetné spojení, zatímco přecházejí z vstupu na výstup, ale pro vnějšího pozorovatele zůstává, jak a proč dělají jakoukoli řadu spojení, záhadou. Bez způsobu, jak vidět “proces myšlení”, který algoritmus AI provede, lidský operátor postrádá důkladné prostředky k vyšetřování jeho důvodu a trasování potenciálních nesrovnalostí.

Kromě toho rozsáhlé datové sady, které se používají u algoritmů ML, komplikují vysvětlitelnost dále. Čím větší je datová sada, tím je systém pravděpodobnější, že se naučí z relevantních i irelevantních informací a vyprodukuje “AI halucinace” – nepravdy, které se odchylují od vnějších faktů a kontextové logiky, byť přesvědčivě.

V odvětví zdravotnictví mohou tyto typy vadných výsledků vyvolat řadu problémů, jako jsou nesprávné diagnózy a chybné předpisy. Kromě etických, právních a finančních důsledků by se tyto chyby mohly snadno dotknout pověsti poskytovatelů zdravotní péče a zdravotnických zařízení, které reprezentují.

Takže, navzdory svému potenciálu zlepšit zdravotnické zásahy, zlepšit komunikaci s pacienty a posílit provozní efektivitu, generativní AI ve zdravotnictví zůstává zahalený v skepticismu, a správně tak – 55 % klinických pracovníků nevěří, že je připraven pro lékařské použití, a 58 % mu nevěří vůbec. Přesto zdravotnická zařízení pokračují, s 98 % integrující nebo plánující strategii nasazení generativního AI v pokusu o kompenzaci dopadu pokračujícího nedostatku pracovníků v odvětví.

Kontrola zdroje

Odvětví zdravotnictví je často chyceno na odpor v současné spotřebitelské klimě, které upřednostňuje efektivitu a rychlost před zajištěním neotřesitelných bezpečnostních opatření. Nedávné zprávy o pastích téměř neomezeného sběru dat pro výcvik LLM, vedoucích k žalobám za porušení autorských práv, přinesly tyto problémy do popředí. Některé společnosti také čelí tvrzením, že osobní data občanů byla vytěžena k výcviku těchto jazykových modelů, potenciálně porušujících zákony o ochraně osobních údajů.

Vývojáři AI pro vysoce regulovaná odvětví by proto měli uplatňovat kontrolu nad zdroji dat, aby omezili potenciální chyby. To znamená, upřednostňovat extrakci dat z důvěryhodných, odvětvově ověřených zdrojů, namísto toho, aby se data sbírala nahodile a bez vyjádřeného souhlasu z externích webových stránek. Pro odvětví zdravotnictví to znamená omezit datové vstupy na stránky s častými dotazy, soubory CSV a zdravotnické databáze – mezi jinými interními zdroji.

Pokud to zní somewhat omezujícím, zkuste vyhledat službu na webu velkého zdravotnického systému. Americká zdravotnická zařízení zveřejňují stovky, ne-li tisíce informačních stránek na svých platformách; většina z nich je pohřbena tak hluboko, že pacienti je nikdy nemohou skutečně přístup.

Co dál pro generativní AI v regulovaných odvětvích?

Odvětví zdravotnictví může těžit z generativního AI mnoha způsoby.

Zvažte například rozšířenou vyhoření, které postihuje americké zdravotnické odvětví – téměř 50% pracovních sil se předpokládá, že odejde do roku 2025. Generativní AI poháněné chatboty by mohly pomoci zmírnit velkou část pracovní zátěže a zachovat nadměrně rozšířené týmy pacientů.

Na straně pacientů má generativní AI potenciál zlepšit služby call center poskytovatelů zdravotní péče. Automatizace AI má sílu řešit širokou škálu dotazů prostřednictvím různých kontaktních kanálů, včetně častých dotazů, problémů s IT, lékových předpisů a odkazů na lékaře. Kromě frustrace, která přichází s čekáním na drát, pouze přibližně polovina amerických pacientů úspěšně řeší své problémy při prvním hovoru, což vede k vysokým sazbám opuštění a zhoršenému přístupu k péči. Výsledná nízká spokojenost zákazníků vytváří další tlak na odvětví, aby jednalo.

Aby odvětví zdravotnictví skutečně těžit z implementace generativního AI, poskytovatelé zdravotní péče potřebují usnadnit úmyslnou rekonstrukci dat, ke kterým jejich LLM mají přístup.