Zdravotnická AI má problém s odpovědností

V zdravotnictví je nyní AI začleněna do všeho, od klinických rozhodnutí po HR a finance. Přesto mnoho organizací stále postrádá potřebnou delegaci řízení rizik, aby zajistily, že nástroje AI nezpůsobí újmu. Absence strukturovaného dohledu znamená, že rozhodnutí související s AI jsou přijímána bez jasné odpovědnosti, vystavující organizace riziku etických a regulačních porušení.

Když nikdo není zodpovědný za rozhodnutí a akce, které AI činí, budou se slepá místa rychle rozšiřovat. Důsledky rozhodnutí AI bez dohledu jsou četné a daleko sahající, zejména když jsou na hře lidské životy.

Dnešní mezery ve správě AI připomínají dřívější inflexní body, kde technologická křivka stoupala rychleji než schopnost podniku ji řídit. Prošli jsme tím s cloud computingu: týmy přijaly SaaS, IaaS a “stínový IT”, aby se pohybovaly rychleji, zatímco správa zaostávala v základních věcech, jako je klasifikace dat, identita a správa přístupu, dohled nad dodavateli, protokolování a sdílená odpovědnost – takže odpovědnost se rozptýlila po IT, bezpečnosti, nákupu a podniku. Také jsme to viděli s rychlou konsumerizací IT a mobilními/BYOD zařízeními, kde zaměstnanci přinesli nová zařízení a aplikace do regulovaných prostředí dlouho předtím, než organizace měly zralé politiky pro šifrování, kontrolu koncových bodů, ověření aplikací a e-discovery. V každém případě byla adopce racionální a často vytvářející hodnotu – ale absence jasného vlastnictví, standardizovaných kontrol a dohledu nad životním cyklem vytvořila předvídatelná selhání. Lekce pro AI je přímá: správa nemůže být dopothoughtem, který je přidán k inovacím; musí být postavena jako jiná kritická infrastruktura – záměrně, s definovanými právy rozhodování, kontinuálním monitorováním a vynutitelnými zábranami.

Problém s rozptýlenou odpovědností

Rychlé nasazení AI předčilo vývoj standardů pro správu a odpovědnost, vedoucí k “rozptýlené odpovědnosti” mezery, kde žádná jediná entita přebírá odpovědnost, když AI selže.

Odpovědnost je již všudypřítomným problémem ve zdravotnictví a AI přinesla pouze nové výzvy. Nástroje AI nemají uznávanou právní identitu, což znamená, že nemohou být žalovány nebo pojištěny, ani nemohou platit právní náhrady obětem. V právních řízeních musí být vina přenesena na lidského aktéra nebo korporaci, ne na nástroj.

Vědci v The Lancet, předním lékařském výzkumném časopise, nedávno argumentovali, že “institucionální struktury odpovědnosti musí přerozdělit odpovědnost z klinických pracovníků na organizace, které navrhují a nasazují [AI] nástroje.” Je zřejmé, že takové otázky kolem odpovědnosti budou přetrvávat dlouho do budoucnosti.

Evropská unie se snaží řešit tyto problémy na regionální úrovni. Blok zavedl dva hlavní legislativní nástroje: AI Act, který reguluje použití AI podle stupně rizika a zdůrazňuje zachování lidského dohledu; a AI směrnici o odpovědnosti, která stanoví nová pravidla, která usnadňují lidem hledání náhrady za újmy způsobené AI.

Ale regulace samotné nevyřeší problém. Nemocnice fungují v komplexní síti dodavatelů, klinických pracovníků, administrátorů a IT týmů, takže když AI systém produkuje škodlivý nebo zaujatý výstup, odpovědnost se přenáší jako míč mezi zúčastněnými stranami: dodavatel může poukázat na nesprávné použití, kliničtí pracovníci mohou říci, že design je vadný, a vedení může obviňovat regulační nejasnosti.

To vše znamená, že odpovědnost je rozptýlena, což vystavuje nemocnice velkým právním bitvám.

Praktické kroky k uzavření mezer ve správě

Dobrou zprávou je, že i bez komplexních regulací mohou zdravotnické organizace proaktivně uzavřít mezery ve správě AI. Začít lze s zprávou Světové zdravotnické organizace „Etika a správa umělé inteligence pro zdraví,“, která se snaží maximalizovat slib AI a minimalizovat riziko.

Kroky uvedené v této zprávě mají chránit autonomii, podporovat lidské blaho a veřejnou bezpečnost, zajistit transparentnost a vysvětlitelnost a podporovat odpovědnost. Pro řešení mezer ve správě se zaměřme na poslední dva body.

Implementujte jednotný přístup ke správě AI, zajistěte, aby byl řízen shora ze strany ředitelů nebo odborníků. V současné době mnoho organizací dovoluje jednotlivým oddělením používat AI, kde uznají za vhodné, což brání vedoucím v vysvětlování, jak a kde organizace používá tyto nástroje. Viditelnost je zásadní, takže zajistěte, aby jste měli seznam přesně těch nástrojů, které se používají, kde a k jakému účelu.

Je stejně důležité stanovit jasné linie odpovědnosti napříč životním cyklem AI. To znamená, že osoba nebo oddělení je zodpovědné za vše od nákupu a validace po nasazení, monitorování a reakci na incidenty. Nemocnice musí vyžadovat, aby dodavatelé splňovali stanovené standardy transparentnosti a audibility, a zajistit, aby vnitřní týmy byly školeny, aby rozuměly jak schopnostem, tak omezením systémů AI.

Nakonec musí být správa operacionalizována, ne pouze dokumentována. Zahrňte politiky do pracovních postupů integrovaním rizikových hodnocení AI do procesů nákupu, prováděním pravidelných auditů výkonu AI a vytvářením mechanismů pro front-line personál, aby mohli reportovat obavy bez tření.

V praxi je uzavření mezer ve správě méně o zavádění nových principů a více o vynucování disciplíny: standardizujte, jak AI vstupuje do organizace, definujte, kdo vlastní ji na каждém stupni, a zajistěte, aby její výkon byl kontinuálně sledován. Bez této disciplíny budou nástroje AI pokračovat v předstižování struktur, které jsou navrženy k jejich zabezpečení.

Skryté riziko: kvalita dat

I když jsou struktury odpovědnosti na místě, je často podceňováno další riziko: integrita dat, která krmí systémy AI, a jak tyto systémy evoluují v čase. Jakýkoli systém AI je pouze tak spolehlivý, jako jsou data, na kterých je trénován a ze kterých se neustále učí, a prostředí dat nemocnic jsou proslulá tím, že jsou fragmentovaná, nekonzistentní a náchylná k mezerám.

Elektronické zdravotnické záznamy, systémy zobrazování a administrativní platformy často fungují v izolaci, vytvářejí nesrovnalosti, které mohou přímo ovlivnit výstupy AI. Model trénovaný na neúplných nebo zaujatých datech může produkovat vadná doporučení, která mohou zůstat nezaznamenaná, dokud nebude způsobena újma. Je to zvláště nebezpečné v klinických prostředích, kde malé odchylky v přesnosti mohou přeložit do významných důsledků pro pacienty.

K tomuto problému se přidává „posun modelu“: tendence modelů AI odchýlit se od pokynů a kontextu, jakmile do systému vstoupí více dat. Jak se populace pacientů vyvíjí, jsou zavedeny nové protokoly léčby a vnější faktory ovlivňují operace, základní předpoklady nástrojů AI mohou posunout. Bez kontinuálního monitorování a rekalibrace může systém AI, který dříve fungoval spolehlivě, začít činit rozhodnutí nebo navrhovat řešení, která se odchylují od jeho tréninku.

Pro řešení posunu modelu musí nemocnice pohlížet na systémy AI jako na dynamické, vysoce rizikové aktiva, spíše než statické nástroje. To znamená implementovat kontinuální monitorování výkonu, stanovit jasné prahové hodnoty pro přijatelnou přesnost a definovat vlastnictví pro opětovné trénování a validaci. Správa dat musí být také posílena, se standardizovanými postupy pro kvalitu dat, interoperabilitu a detekci zkreslení.

Bez řešení rizik spojených s kvalitou dat a posunem modelu budou i ty nejlepší rámce pro správu AI selhat. Pro systémy AI ve zdravotnictví, které jsou pouze tak dobré, jako jsou data, která je podporují, přehlížení této vrstvy rizika vytváří potenciál pro systémové selhání dříve nebo později.

Dostatečně se připravte, než začnete

AI má potenciál transformovat zdravotnictví zlepšováním efektivity, přesnosti a výsledků pacientů. Ale bez jasného vlastnictví rizik, které přináší, může tento potenciál rychle stát se závadou.

Nemocnice nemohou si dovolit pohlížet na správu AI jako na pouhý kompenzační cvičení. Musí být pohlíženo na to jako na jádrovou operační prioritu: definujte vlastnictví, strukturujte dohled a hodnotíte kontinuálně. Protože ve zdravotnictví, když něco jde špatně, důsledky mohou být mnohem horší než to, kdo je za to zodpovědný.