Zdravotnický AI má problém s odpovědností

V zdravotnictví je nyní AI integrována do všeho, od klinických rozhodnutí po HR a finance. Přesto mnoho organizací stále postrádá potřebnou delegaci řízení rizik, aby zajistily, že nástroje AI nezpůsobí škodu. Absence strukturovaného dohledu znamená, že rozhodnutí související s AI jsou učiněna bez jasné odpovědnosti, vystavující organizace riziku etických a regulatorních porušení.

Když nikdo není zodpovědný za rozhodnutí a akce AI, slepá místa se budou rychle rozšiřovat. Důsledky rozhodnutí AI systému bez dohledu jsou četné a daleko sahající, zejména když jsou na hře lidské životy.

Dnešní mezery ve správě AI vypadají podobně jako dřívější inflexní body, kde technologická křivka stoupala rychleji než schopnost podniku ji řídit. Prošli jsme tím s cloud computingem: týmy přijaly SaaS, IaaS a „shadow IT“ za účelem urychlení, zatímco správa zaostávala v základních věcech, jako je klasifikace dat, identita a přístup, dohled nad dodavateli, protokolování a sdílená odpovědnost – takže odpovědnost se rozptýlila napříč IT, bezpečností, nákupem a podnikem. Také jsme to viděli u rychlé konsumerizace IT a mobilních/BYOD, kde zaměstnanci přinesli nové zařízení a aplikace do regulovaných prostředí dlouho předtím, než organizace měly zralé politiky pro šifrování, kontrolu koncových bodů, ověření aplikací a e-discovery. V každém případě byla adopce racionální a často vytvářející hodnotu – ale absence jasných vlastníků, standardizovaných kontrol a dohledu nad životním cyklem vytvořila předvídatelná selhání. Lekce pro AI je přímá: správa nemůže být dopothoughtem, který je připojen k inovaci; musí být postavena jako jiná kritická infrastruktura – úmyslně, s definovanými právy rozhodování, kontinuálním monitorováním a vynutitelnými zábranami.

Problém s rozptýlenou odpovědností

Rychlá nasazení AI předčila vývoj standardů pro správu a odpovědnost, což vedlo k mezery v „rozptýlené odpovědnosti“, kde žádná jediná entita nenese odpovědnost, když AI selže.

Odpovědnost je již všudypřítomným problémem ve zdravotnictví a AI přinesla nové výzvy. Nástroje AI nemají uznávanou právní identitu, což znamená, že nemohou být žalovány nebo pojištěny, ani nemohou platit právní náhrady obětem. V právních řízeních musí být vina přenesena na lidského aktéra nebo korporaci, ne na nástroj.

Vědci v The Lancet, předním lékařském výzkumném časopise, nedávno argumentovali, že „institucionální struktury odpovědnosti musí přerozdělit odpovědnost z klinických pracovníků na organizace, které navrhují a nasazují [nástroje AI].“ Je zřejmé, že takové otázky kolem odpovědnosti budou přetrvávat dlouho do budoucnosti.

Evropská unie se snaží řešit tyto problémy na regionální úrovni. Blok zavedl dva hlavní legislativní nástroje: AI Act, který reguluje použití AI podle stupně rizika a zdůrazňuje zachování lidského dohledu; a AI směrnici o odpovědnosti, která stanoví nová pravidla, která usnadňují lidem možnost žádat náhradu za škody způsobené AI.

Ale regulace samotná nebude řešit problém. Nemocnice fungují v komplexní síti dodavatelů, klinických pracovníků, administrativních pracovníků a IT týmů, takže když AI systém produkuje škodlivé nebo zaujaté výstupy, odpovědnost se přenáší jako míč mezi zúčastněnými stranami: dodavatel může poukázat na nesprávné použití, kliničtí pracovníci mohou říci, že design je vadný, a vedení může obviňovat regulatorní nejasnost.

To vše znamená, že odpovědnost je rozptýlena, což vystavuje nemocnice velkým právním bitvám.

Praktické kroky k uzavření mezer ve správě

Dobrou zprávou je, že i bez komplexních regulací mohou zdravotnické organizace proaktivně uzavřít mezery ve správě AI. Začít lze s zprávou Světové zdravotnické organizace „Etika a správa umělé inteligence ve zdravotnictví,“ která seeks to maximize the promise of AI while minimizing risk.

Kroky uvedené v této zprávě mají chránit autonomii, podporovat lidské blaho a veřejnou bezpečnost, zajistit transparentnost a vysvětlitelnost a podporovat odpovědnost. Pro řešení mezer ve správě se zaměřme na poslední dva body.

Implementujte jednotný přístup ke správě AI, zajistěte, aby byl řízen shora vedeními nebo odborníky. V současné době mnoho organizací dovoluje jednotlivým oddělením používat AI, kde uznají za vhodné, což brání vedoucím v vysvětlení, jak a kde organizace používá tyto nástroje. Viditelnost je zásadní, takže zajistěte, že máte seznam přesně těch nástrojů, které se používají, kde a k jakému účelu.

Je stejně důležité stanovit jasná linie odpovědnosti napříč životním cyklem AI. To znamená, že osoba nebo oddělení je zodpovědné za vše od nákupu a ověření až po nasazení, monitorování a reakci na incidenty. Nemocnice musí vyžadovat, aby dodavatelé splňovali stanovené standardy transparentnosti a auditovatelnosti, a zajistit, aby vnitřní týmy byly školeny, aby rozuměly jak možnostem, tak omezením systémů AI.

Nakonec musí být správa operacionalizována, ne pouze dokumentována. Zahrňte politiky do pracovních postupů integrováním hodnocení rizik AI do procesů nákupu, prováděním pravidelných auditů výkonu AI a vytvářením mechanismů pro front-line personál, aby mohli reportovat obavy bez tření.

V praxi je uzavření mezer ve správě méně o zavedení nových principů a více o vynucení disciplíny: standardizujte, jak AI vstupuje do organizace, definujte, kdo vlastní ji na každé fázi, a zajistěte, aby její výkon byl kontinuálně sledován. Bez této disciplíny budou nástroje AI nadále předcházet strukturám, které jsou navrženy k jejich zajištění.

Skryté riziko: kvalita dat

I když jsou struktury odpovědnosti na místě, je často podceňováno další riziko: integrita dat, která krmí systémy AI, a jak tyto systémy evoluují over time. Každý systém AI je pouze tak spolehlivý, jako jsou data, na kterých je trénován a ze kterých se učí, a prostředí dat nemocnic jsou proslulá tím, že jsou fragmentovaná, nekonzistentní a náchylná k mezerám.

Elektronické zdravotní záznamy, systémy zobrazování a administrativní platformy často fungují v izolaci, vytvářejí nesrovnalosti, které mohou přímo ovlivnit výstupy AI. Model trénovaný na neúplných nebo zaujatých datech může produkovat vadná doporučení, která mohou zůstat nezaznamenaná, dokud škoda nebude již způsobena. Je to zvláště nebezpečné v klinických prostředích, kde malé odchylky v přesnosti mohou přeložit do významných důsledků pro pacienty.

K tomuto problému se přidává „posun modelu“: tendence modelů AI odchýlit se od instrukcí a kontextu, jakmile do systému vstoupí více dat. Jak se populace pacientů vyvíjí, jsou zavedeny nové léčebné protokoly a vnější faktory ovlivňují operace, základní předpoklady nástrojů AI se mohou změnit. Bez kontinuálního monitorování a rekalibrace může systém AI, který dříve fungoval spolehlivě, začít provádět akce nebo navrhovat řešení, která se odchylují od jeho tréninku.

Pro řešení posunu modelu musí nemocnice pohlížet na systémy AI jako na dynamické, vysoce rizikové aktiva, spíše než statické nástroje. To znamená implementovat kontinuální monitorování výkonu, stanovit jasná prahová hodnoty pro přijatelnou přesnost a definovat vlastnictví pro opětovné trénování a ověření. Správa dat musí být také posílena, se standardizovanými postupy pro kvalitu dat, interoperabilitu a detekci zkreslení.

Bez konfrontace s riziky spojenými s kvalitou dat a posunem modelu budou i ty nejlepší rámce pro správu AI selhat. Pro systémy AI ve zdravotnictví, které jsou pouze tak dobré, jako jsou data, která je podporují, přehlížení této vrstvy rizika vytváří potenciál pro systémové selhání dříve nebo později.

Dělat věci správně, než je spustíte

AI má potenciál transformovat zdravotnictví zlepšováním efektivity, přesnosti a výsledků pacientů. Ale bez jasného vlastnictví rizik, která přináší, může tato potenciál rychle stát se zátěží.

Nemocnice nemohou si dovolit pohlížet na správu AI jako na pouhý compliance exercise. Musí být pohlíženo na to jako na jádrovou operační prioritu: definovat vlastnictví, strukturovat dohled a hodnotit kontinuálně. Protože ve zdravotnictví, když něco goes wrong, důsledky mohou být daleko horší než to, kdo je vinen.