Odpowiedzialność w ochronie zdrowia: problem z rozproszoną odpowiedzialnością

W ochronie zdrowia, sztuczna inteligencja jest już wbudowana w wszystko, od decyzji klinicznych po kwestie HR i finanse. Jednak wiele organizacji nadal brakuje niezbędnych struktur zarządzania ryzykiem, aby zagwarantować, że narzędzia AI nie spowodują szkody. Brak strukturyzowanego nadzoru oznacza, że decyzje związane z AI są podejmowane bez jasnej odpowiedzialności, narażając organizacje na ryzyko naruszeń etycznych i regulacyjnych.

Gdy nikt nie jest odpowiedzialny za decyzje i działania podejmowane przez AI, słabe punkty będą się szybko powiększać. Konsekwencje podejmowania przez system AI decyzji o wysokim ryzyku bez nadzoru są liczne i daleko idące, zwłaszcza gdy życie ludzi jest na szali.

Dzisiejsze luki w zarządzaniu AI przypominają wcześniejsze punkty zwrotne, w których krzywa technologiczna stawała się bardziej stroma niż zdolność przedsiębiorstw do zarządzania nią. Przeszliśmy przez to z chmurą obliczeniową: zespoły przyjęły SaaS, IaaS i “cienką IT”, aby przyspieszyć, podczas gdy zarządzanie opóźniało się w podstawowych kwestiach, takich jak klasyfikacja danych, zarządzanie tożsamością i dostępem, nadzór nad dostawcami, logowanie/monitorowanie i wyjaśnianie współodpowiedzialności — więc odpowiedzialność została rozproszona po IT, bezpieczeństwie, zakupach i biznesie. Mamy również doświadczenie z szybką konsumpcją IT i mobilnością/BYOD, gdzie pracownicy wprowadzali nowe urządzenia i aplikacje do środowisk regulowanych znacznie wcześniej, niż organizacje miały dojrzałe polityki dotyczące szyfrowania, kontroli punktów końcowych, weryfikacji aplikacji i e-odkrywania. W każdym przypadku przyjęcie było racjonalne i często tworzyło wartość — ale brak wyraźnej własności, standardowych kontroli i nadzoru nad cyklem życia powodował przewidywalne awarie. Lekcja dla AI jest prosta: zarządzanie nie może być późnym dodatkiem do innowacji; musi być budowane jak inne krytyczne elementy infrastruktury — celowo, z określonymi prawami decyzyjnymi, ciągłym monitorowaniem i egzekwowalnymi barierami.

Problem z rozproszoną odpowiedzialnością

Szybkie wdrożenie AI wyprzedziło rozwój standardów zarządzania i odpowiedzialności, prowadząc do “rozproszonej odpowiedzialności” luk, gdzie żadna jednostka nie bierze odpowiedzialności, gdy AI zawodzi.

Odpowiedzialność jest już powszechnym problemem w ochronie zdrowia, a AI przyniosła nowe wyzwania. Narzędzia AI nie mają uznanej prawnej tożsamości, co oznacza, że nie mogą być pozwane ani ubezpieczone, ani nie mogą wypłacić odszkodowań ofiarom. W postępowaniach sądowych, wina musi być przeniesiona na aktora ludzkiego lub korporację, a nie na narzędzie.

Badacze w The Lancet, wiodącym czasopiśmie medycznym, niedawno argumentowali, że “struktury odpowiedzialności instytucjonalnej muszą przeredistribuować odpowiedzialność od klinicystów do organizacji, które projektują i wdrażają [narzędzia AI]”. Jest oczywiste, że takie pytania dotyczące odpowiedzialności będą trwać przez długi czas.

Unia Europejska próbuje rozwiązać te problemy na skalę regionalną. Blok wprowadził dwa główne instrumenty legislacyjne: Akt AI, który reguluje użycie AI według stopnia ryzyka i podkreśla zachowanie nadzoru ludzkiego; oraz dyrektywę AI dotyczącą odpowiedzialności, która ustanawia nowe zasady, które ułatwiają ludziom uzyskanie odszkodowania za szkody spowodowane przez AI.

Ale sama regulacja nie rozwiąże problemu. Szpitale działają w złożonej sieci dostawców, klinicystów, administratorów i zespołów IT, więc gdy system AI wytworzy szkodliwy lub tendencyjny wynik, odpowiedzialność jest przenoszona pomiędzy stronami: dostawca może wskazać na niewłaściwe użycie, klinicyści mogą powiedzieć, że projekt jest wadliwy, a kierownictwo może obwinić niejasność regulacyjną.

To wszystko oznacza, że odpowiedzialność jest rozproszona, pozostawiając szpitale podatnymi na duże bitwy prawne.

Praktyczne kroki w celu zamknięcia luk w zarządzaniu

Dobra wiadomość jest taka, że nawet bez kompleksowych regulacji, organizacje ochrony zdrowia mogą proaktywnie zamykać luki w zarządzaniu AI. Aby zacząć, liderzy mogą rozpocząć od raportu Światowej Organizacji Zdrowia, “Etyka i zarządzanie sztuczną inteligencją w ochronie zdrowia,” który ma na celu maksymalizację obietnicy AI przy minimalizowaniu ryzyka.

Kroki opisane w tym raporcie mają na celu ochronę autonomii, promowanie dobrobytu ludzkiego i bezpieczeństwa publicznego, zapewnienie przejrzystości i wyjaśnialności, oraz wspieranie odpowiedzialności i odpowiedzialności. Aby rozwiązać luki w zarządzaniu, skupmy się na dwóch ostatnich punktach.

Wdrożyć zjednoczoną strategię zarządzania AI, zapewniając, że jest ona kierowana od góry przez rady lub ekspertów. Obecnie wiele organizacji pozwala poszczególnym departamentom używać AI tam, gdzie uważają to za stosowne, pozostawiając liderów niezdolnych do wyjaśnienia, jak i gdzie organizacja używa tych narzędzi. Widoczność jest niezwykle ważna, więc upewnij się, że masz listę dokładnie tych narzędzi, które są używane, gdzie i w jakim celu.

Jest równie ważne ustalenie jasnych linii odpowiedzialności w całym cyklu życia AI. Oznacza to powołanie osoby lub departamentu odpowiedzialnego za wszystko, od zakupu i walidacji po wdrożenie, monitorowanie i reagowanie na incydenty. Szpitale muszą wymagać od dostawców spełnienia określonych standardów przejrzystości i audytowalności, oraz zapewnić, że wewnętrzne zespoły są przeszkolone w zakresie zarówno możliwości, jak i ograniczeń systemów AI.

Wreszcie, zarządzanie musi być operacjonalizowane, a nie tylko udokumentowane. Wbuduj polityki w procesy robocze, integrując oceny ryzyka AI w procesach zakupowych, prowadząc regularne audyty wydajności AI, oraz tworząc mechanizmy, które umożliwiają personelowi liniowemu zgłaszać obawy bez ograniczeń.

W praktyce, zamykanie luk w zarządzaniu jest mniej związane z wprowadzaniem nowych zasad, a bardziej z egzekwowaniem dyscypliny: standaryzuj, w jaki sposób AI wchodzi do organizacji, określ, kto jest odpowiedzialny na każdym etapie, oraz upewnij się, że jego wydajność jest ciągle monitorowana. Bez tej dyscypliny, narzędzia AI będą nadal wyprzedzać struktury zaprojektowane do ich bezpieczeństwa.

Ukryte ryzyko: jakość danych

Nawet gdy struktury odpowiedzialności są na miejscu, innym ryzykiem, które jest często niedoceniane, jest integralność danych, które zasilają systemy AI i jak te systemy ewoluują w czasie. Każdy system AI jest tak niezawodny, jak dane, na których jest szkolony i których ciągle się uczy, a środowiska danych szpitali są słynne z bycia fragmentarycznymi, niespójnymi i podatnymi na luki.

Elektroniczne rekordy zdrowia, systemy obrazowania i platformy administracyjne często działają w izolacji, tworząc rozbieżności, które mogą bezpośrednio wpłynąć na wyniki AI. Model szkolony na niekompletnych lub tendencyjnych zestawach danych może produkować wadliwe rekomendacje, które mogą pozostać niezauważone, aż do momentu, gdy szkoda zostanie już wyrządzona. Jest to szczególnie niebezpieczne w środowiskach klinicznych, gdzie niewielkie odchylenia w dokładności mogą przekładać się na znaczące konsekwencje dla pacjentów.

Powiększając ten problem, jest ” dryf modelu“: tendencja systemów AI do odbiegania od instrukcji i kontekstu, gdy więcej danych wchodzi do systemu. Gdy populacje pacjentów ewoluują, nowe protokoły leczenia są wprowadzane, a czynniki zewnętrzne wpływają na operacje, założenia podstawowe narzędzi AI mogą się przesunąć. Bez ciągłego monitorowania i kalibracji, system AI, który kiedyś działał niezawodnie, może zacząć podejmować działania lub sugerować rozwiązania, które odbiegają od jego szkolenia.

Aby rozwiązać problem dryfu modelu, szpitale muszą traktować systemy AI jako dynamiczne, wysokiej jakości aktywa, a nie statyczne narzędzia. Oznacza to wdrożenie ciągłego monitorowania wydajności, ustalenie jasnych progów dla dopuszczalnej dokładności, oraz określenie własności dla ponownego szkolenia i walidacji. Zarządzanie danymi musi również zostać wzmocnione, z standaryzowanymi praktykami dotyczącymi jakości danych, interoperacyjności i wykrywania tendencyjności.

Bez rozwiązania ryzyka związanego z jakością danych i dryfem modelu, nawet najlepsze ramy zarządzania AI nie powiodą się. Dla systemów AI w ochronie zdrowia, które są tak dobre, jak dane, na których są one oparte, zignorowanie tego poziomu ryzyka tworzy potencjał awarii systemowej wcześniej czy później.

Popraw to, zanim to uruchomisz

AI ma potencjał, aby przekształcić ochronę zdrowia, poprawiając wydajność, dokładność i wyniki pacjentów. Ale bez jasnej własności ryzyka, które są związane z AI, ten potencjał może szybko stać się ryzykiem.

Szpitale nie mogą pozwolić sobie na traktowanie zarządzania AI jako ćwiczenia zgodności. Musi być traktowane jako podstawowa priorytet operacyjny: określ własność, zorganizuj nadzór i oceniaj ciągle. Ponieważ w ochronie zdrowia, gdy coś pójdzie nie tak, konsekwencje mogą być o wiele gorsze niż to, kto jest winny.