Odpowiedzialność w ochronie zdrowia: problem z rozproszoną odpowiedzialnością

W ochronie zdrowia, sztuczna inteligencja jest już wbudowana w wszystko, od decyzji klinicznych po zarządzanie zasobami ludzkimi i finanse. Jednak wiele organizacji nadal nie posiada struktury zarządzania ryzykiem, niezbędnej do zapewnienia, że narzędzia AI nie spowodują szkody. Brak strukturyzowanego nadzoru oznacza, że decyzje związane z AI są podejmowane bez wyraźnej odpowiedzialności, narażając organizacje na ryzyko naruszeń etycznych i regulacyjnych.

Gdy nikt nie jest odpowiedzialny za decyzje i działania podejmowane przez AI, punkty ślepe będą się szybko rozprzestrzeniać. Konsekwencje podejmowania przez system AI decyzji o wysokim ryzyku bez nadzoru są liczne i daleko idące, zwłaszcza gdy życie ludzkie jest na szali.

Dzisiejsze luki w zarządzaniu AI wyglądają podobnie do wcześniejszych punktów zwrotnych, w których krzywa technologiczna stawała się bardziej stroma niż zdolność przedsiębiorstwa do zarządzania nią. Przeszliśmy przez to z chmurą obliczeniową: zespoły przyjęły SaaS, IaaS i “cienką IT”, aby działać szybciej, podczas gdy zarządzanie opóźniało się w podstawowych kwestiach, takich jak klasyfikacja danych, zarządzanie tożsamością i dostępem, nadzór nad dostawcami, logowanie/monitorowanie i wyjaśnienie współodpowiedzialności — więc odpowiedzialność została rozproszona po IT, bezpieczeństwie, zakupach i biznesie. Mamy również doświadczenie z szybką konsumpcją IT i mobilnością/BYOD, gdzie pracownicy wprowadzali nowe urządzenia i aplikacje do środowisk regulowanych znacznie wcześniej, niż organizacje miały dojrzałe polityki dotyczące szyfrowania, kontroli punktów końcowych, weryfikacji aplikacji i odkrywania elektronicznego. W każdym przypadku przyjęcie było racjonalne i często tworzyło wartość — ale brak wyraźnej własności, standardowych kontroli i nadzoru nad cyklem życia tworzył przewidywalne awarie. Lekcja dla AI jest prosta: zarządzanie nie może być późnym dodatkiem do innowacji; musi być budowane jak inne krytyczne infrastruktury — celowo, z określonymi prawami decyzyjnymi, ciągłym monitorowaniem i egzekwowalnymi barierami.

Problem z rozproszoną odpowiedzialnością

Szybkie wdrożenie AI wyprzedziło rozwój standardów zarządzania i odpowiedzialności, prowadząc do luki “rozproszonej odpowiedzialności”, w której żadna jednostka nie ponosi odpowiedzialności, gdy AI zawiedzie.

Odpowiedzialność jest już powszechnym problemem w ochronie zdrowia, a AI przyniosła nowe wyzwania. Narzędzia AI nie mają uznanej tożsamości prawnej, co oznacza, że nie mogą być pozwane ani ubezpieczone, ani nie mogą wypłacić odszkodowania ofiarom. W postępowaniach sądowych, wina musi być przeniesiona na człowieka lub korporację, a nie na narzędzie.

Badacze w The Lancet, wiodącym czasopiśmie medycznym, niedawno argumentowali, że “struktury odpowiedzialności instytucjonalnej muszą przypisać odpowiedzialność od klinicystów do organizacji, które projektują i wdrażają [narzędzia AI]”. Jest jasne, że takie pytania dotyczące odpowiedzialności będą się utrzymywać przez długi czas.

Unia Europejska próbuje rozwiązać te problemy na skalę regionalną. Blok wprowadził dwa główne instrumenty legislacyjne: ustawę o AI, która reguluje użycie AI według stopnia ryzyka i podkreśla zachowanie nadzoru ludzkiego; oraz dyrektywę o odpowiedzialności za AI, która ustanawia nowe zasady, które ułatwiają ludziom uzyskanie odszkodowania za szkody spowodowane przez AI.

Ale sama regulacja nie rozwiąże problemu. Szpitale działają w złożonej sieci dostawców, klinicystów, administratorów i zespołów IT, więc gdy system AI wytworzy szkodliwy lub tendencyjny wynik, odpowiedzialność jest przenoszona między stronami: dostawca może wskazać na niewłaściwe użycie, klinicyści mogą powiedzieć, że projekt jest wadliwy, a kierownictwo może obwinić niejasność regulacyjną.

To wszystko oznacza, że odpowiedzialność jest rozproszona, pozostawiając szpitale podatne na duże bitwy prawne.

Praktyczne kroki w celu zamknięcia luk w zarządzaniu

Dobra wiadomość jest taka, że nawet bez kompleksowych regulacji, organizacje ochrony zdrowia mogą proaktywnie zamknąć luki w zarządzaniu AI. Aby rozpocząć, liderzy mogą zacząć od raportu Światowej Organizacji Zdrowia, “Etyka i zarządzanie sztuczną inteligencją w ochronie zdrowia,” który ma na celu maksymalizację obietnicy AI przy minimalizacji ryzyka.

Kroki opisane w tym raporcie mają na celu ochronę autonomii, promowanie dobrobytu ludzkiego i bezpieczeństwa publicznego, zapewnienie przejrzystości i wyjaśnialności, oraz wspieranie odpowiedzialności i odpowiedzialności. Aby rozwiązać luki w zarządzaniu, skupmy się na dwóch ostatnich punktach.

Wdrożyć zjednoczone podejście do zarządzania AI, upewniając się, że jest ono kierowane od góry przez rady lub ekspertów. Obecnie wiele organizacji pozwala poszczególnym departamentom używać AI tam, gdzie uważają to za stosowne, pozostawiając liderów niezdolnych do wyjaśnienia, jak i gdzie organizacja używa tych narzędzi. Widoczność jest niezwykle ważna, więc upewnij się, że masz listę wszystkich narzędzi, które są używane, gdzie i w jakim celu.

Jest równie ważne ustalenie wyraźnych linii odpowiedzialności na całym cyklu życia AI. Oznacza to powołanie osoby lub departamentu odpowiedzialnego za wszystko, od zakupu i walidacji po wdrożenie, monitorowanie i reagowanie na incydenty. Szpitale muszą wymagać od dostawców spełnienia określonych standardów przejrzystości i audytowalności, oraz upewnić się, że wewnętrzne zespoły są przeszkolone w zakresie zarówno możliwości, jak i ograniczeń systemów AI.

Wreszcie, zarządzanie musi być operacjonalizowane, a nie tylko udokumentowane. Wbuduj polityki w przepływy pracy, integrując oceny ryzyka AI w procesach zakupowych, prowadząc regularne audyty wydajności AI i tworząc mechanizmy, które umożliwiają pracownikom zgłaszanie obaw bez oporów.

W praktyce, zamykanie luki w zarządzaniu jest mniej związane z wprowadzaniem nowych zasad, a bardziej z egzekwowaniem dyscypliny: standaryzuj, w jaki sposób AI wchodzi do organizacji, określ, kto jest odpowiedzialny na każdym etapie, i upewnij się, że jego wydajność jest ciągle monitorowana. Bez tej dyscypliny, narzędzia AI będą nadal wyprzedzać struktury zaprojektowane do ich zabezpieczenia.

Ukryte ryzyko: jakość danych

Nawet gdy struktury odpowiedzialności są na miejscu, innym ryzykiem, które jest często niedoceniane, jest integralność danych, które zasilają systemy AI i jak te systemy ewoluują w czasie. Każdy system AI jest tak niezawodny, jak dane, na których jest szkolony i których ciągle się uczy, a środowiska danych szpitali są znane z tego, że są fragmentaryczne, niespójne i podatne na luki.

Elektroniczne rekordy zdrowia, systemy obrazowania i platformy administracyjne często działają w izolacji, tworząc rozbieżności, które mogą bezpośrednio wpłynąć na wyniki AI. Model szkolony na niepełnych lub tendencyjnych zestawach danych może wytworzyć wadliwe rekomendacje, które mogą pozostać niezauważone, aż do momentu, gdy szkoda już została wyrządzona. Jest to szczególnie niebezpieczne w środowiskach klinicznych, gdzie niewielkie odchylenia w dokładności mogą przekładać się na znaczące konsekwencje dla pacjentów.

Powiększa to problem “przesunięcia modelu”: tendencja systemów AI do odbiegania od instrukcji i kontekstu, gdy więcej danych wchodzi do systemu. Gdy populacje pacjentów ewoluują, nowe protokoły leczenia są wprowadzane, a czynniki zewnętrzne wpływają na operacje, założenia podstawowe narzędzi AI mogą się przesunąć. Bez ciągłego monitorowania i kalibracji, system AI, który kiedyś działał niezawodnie, może zacząć podejmować działania lub sugerować rozwiązania, które odbiegają od jego szkolenia.

Aby rozwiązać problem przesunięcia modelu, szpitale muszą traktować systemy AI jako dynamiczne, wysokiego ryzyka aktywa, a nie statyczne narzędzia. Oznacza to wdrożenie ciągłego monitorowania wydajności, ustalenie wyraźnych progów dla dopuszczalnej dokładności i określenie własności odpowiedzialności za przeszkolenie i walidację. Zarządzanie danymi musi również zostać wzmocnione, z standaryzowanymi praktykami dotyczącymi jakości danych, interoperacyjności i wykrywania tendencyjności.

Bez rozwiązania ryzyk związanych z jakością danych i przesunięciem modelu, nawet najlepsze ramy zarządzania AI nie powiodą się. Dla systemów AI w ochronie zdrowia, które są tak dobre, jak dane, na których są one oparte, zignorowanie tego poziomu ryzyka tworzy potencjał awarii systemicznej wcześniej czy później.

Ustaw wszystko dobrze, zanim wszystko uruchomisz

AI ma potencjał przekształcić ochronę zdrowia, poprawiając wydajność, dokładność i wyniki pacjentów. Ale bez wyraźnej własności ryzyka, które ono niesie, ten potencjał może szybko stać się obciążeniem.

Szpitale nie mogą pozwolić sobie na traktowanie zarządzania AI jako ćwiczenia zgodności. Musi być traktowane jako podstawowa priorytet operacyjny: określ własność, zorganizuj nadzór i oceniaj ciągle. Ponieważ w ochronie zdrowia, gdy coś pójdzie nie tak, konsekwencje mogą być o wiele gorsze niż to, kto jest winny.