Niekontrolowane LLM i dylemat zgodności w ochronie zdrowia

Przez różne branże, generatywny AI (GenAI) osiągnął szybkie przełomy w stosunkowo krótkim czasie. Te postępy są napędzane przez modele podstawowe, które The California Report on Frontier AI Policy definiuje jako „klasę ogólnych technologii, które są intensywnie zasobowe w produkcji, wymagających znacznych ilości danych i obliczeń, aby wytworzyć możliwości, które mogą napędzać różne aplikacje AI”.

Te ogólne, duże modele językowe (LLM), takie jak Gemini i ChatGPT, pokazują rosnącą moc do replikowania i przewyższania ludzkich zdolności poznawczych w obszarach takich jak analiza danych, pisanie i rozumowanie. W szczególności w ochronie zdrowia, przyjęcie GenAI rośnie, ponieważ klinicyści i inni profesjonaliści ochrony zdrowia szukają technologii, aby zmniejszyć biurokratyczne obciążenia, przyspieszyć operacje i nawet wspierać podejmowanie decyzji klinicznych.

Jednakże, podczas gdy technologia oferuje wielką obietnicę, przyjęcie GenAI w ochronie zdrowia podnosi kluczowe ryzyka zgodności, jeśli nie jest wdrożone lub wykorzystywane w sposób odpowiedzialny. W szczególności, użycie ogólnych LLM wiąże się z określonymi ryzykami zgodności, które organizacje ochrony zdrowia muszą w pełni zrozumieć, aby zapobiec naruszeniom prywatności lub bezpieczeństwa. Te modele mogą polegać na niezweryfikowanych źródłach danych, wykorzystywać informacje o zdrowiu pacjentów w nieautoryzowany sposób lub utrwalać uprzedzenia i/lub nieprecyzyjne informacje.

Aby utrzymać prywatność danych pacjentów, pozostać w zgodzie z ewoluującymi przepisami i zminimalizować kosztowne ryzyka, liderzy ochrony zdrowia muszą podjąć decyzyjne działania, aby rozładować „tikający zegar zgodności” niekontrolowanego użycia LLM.

Obecny stan użycia ogólnych LLM w ochronie zdrowia

Przez całą ochronę zdrowia, personel coraz częściej wykorzystuje LLM do wspierania codziennych zadań, od pracy biurowej do komunikacji z pacjentami. Wielomodalne LLM również rozszerzają te aplikacje o ich zdolność do łatwego przetwarzania tekstu, obrazów i dźwięku. Oprócz wsparcia administracyjnego, widzimy również wzrost wśród dostawców, którzy zwracają się do technologii, aby wesprzeć nie tylko prace biurowe, ale także zadania kliniczne.

Te modele już wykazują to, co niektórzy mogą uznać za imponujące wyniki, z kilkoma badaniami pokazującymi, że wyniki LLM są równe lub nawet przewyższają ludzkie zdolności w określonych obszarach. Na przykład, model GPT-4 uzyskał wynik końcowy 86,7% w United States Medical Licensing Examination.

Hybrydowy AI to kolejny pojawiający się podejście do użycia GenAI w ochronie zdrowia, które łączy uczenie maszynowe (ML) i LLM, aby obsłużyć złożoną analizę i przetłumaczyć wyniki na język zrozumiały. Poprzez integrację obu modeli, to podejście stara się pokonać ograniczenia LLM, w tym halucynacje, nieścisłości i uprzedzenia, jednocześnie wykorzystując ich zalety. Agenty AI również zyskują na popularności ze względu na ich zdolność do automatyzacji kluczowych zadań bez interwencji człowieka, takich jak odpowiedzi na wiadomości pacjentów lub planowanie spotkań.

Jednak potencjał, jaki posiada AI, również podkreśla pilną potrzebę bardziej proaktywnej kontroli. Im bardziej te narzędzia są wbudowane w operacje ochrony zdrowia, tym wyższe stawki dla zapewnienia dokładności, bezpieczeństwa i zgodności.

Ryzyka zgodności ogólnych LLM w ochronie zdrowia

Podczas gdy cyfrowe przyjęcie w ochronie zdrowia odblokowało wiele nowych możliwości, również ujawniło kluczowe słabości. Między 1 listopada 2023 r. a 31 października 2024 r., na przykład, sektor ochrony zdrowia doświadczył 1710 incydentów bezpieczeństwa, z których 1542 obejmowało potwierdzone ujawnienia danych.

Era AI pogłębia te pęknięcia, dodając nową warstwę złożoności do prywatności i bezpieczeństwa danych. W szczególności, użycie ogólnych LLM w ochronie zdrowia wywołuje kilka kluczowych ryzyk zgodności:

Ryzyko #1: Rozwój w postaci „czarnej skrzynki” uniemożliwia ciągłe monitorowanie lub weryfikację

Zamknięte modele nie posiadają przejrzystości co do procesu rozwoju, takiego jak określone dane, na których model został opracowany, lub jak są wprowadzane aktualizacje. Ta nieprzejrzystość uniemożliwia deweloperom i badaczom wgląd do modelu, aby określić pochodzenie ryzyk bezpieczeństwa lub procesów decyzyjnych. W rezultacie, zamknięte LLM mogą umożliwić użycie niezweryfikowanych źródeł danych medycznych i pozwolić na niekontrolowane luki bezpieczeństwa.

Ryzyko #2: Ujawnienie danych pacjentów

LLM nie zawsze polegają na zdeidentyfikowanych danych pacjentów. Specjalistyczne wskazówki lub interakcje mogą nieumyślnie ujawnić identyfikowalne informacje o zdrowiu, tworząc potencjalne naruszenia HIPAA.

Ryzyko #3: Utrwalenie uprzedzeń i nieprecyzyjnych informacji

W jednym eksperymencie badacze wstrzyknęli niewielki procent nieprawidłowych faktów do jednej kategorii wiedzy modelu biomedycznego, zachowując jego zachowanie we wszystkich innych dziedzinach. Badacze stwierdzili, że nieprawidłowe informacje były rozpowszechniane w całym wyjściu modelu, podkreślając podatność LLM na ataki fałszywych informacji.

Wszelkie wady znalezione w modelach podstawowych są dziedziczone przez wszystkie przyjęte modele i wynikające z nich aplikacje z modelu nadrzędnego. Różnice w danych wyjściowych mogą pogorszyć nierówności zdrowotne, takie jak nieprecyzyjne porady dla grup niedoreprezentowanych.

Ryzyko #4: Niezgodność regulacyjna

Użycie ogólnych LLM może nie być zgodne z HIPAA, GDPR lub ewoluującymi przepisami dotyczącymi AI, zwłaszcza jeśli dostawcy nie mogą potwierdzić danych szkoleniowych. Te ryzyka są nasilone przez pracowników organizacji ochrony zdrowia, którzy używają niezatwierdzonych lub niekontrolowanych narzędzi AI, lub cieni AI. Według IBM, 20% ankietowanych organizacji we wszystkich sektorach doświadczyło naruszenia z powodu incydentów bezpieczeństwa związanych z cieni AI.

Ostatecznie, ogólne ryzyka LLM w ochronie zdrowia mają realne konsekwencje, w tym działania prawne, uszkodzenie reputacji, utratę zaufania pacjentów i koszty sądowe.

Najlepsze praktyki: Wytyczne i rozważania dotyczące LLM

Aby odpowiedzialnie przyjąć GenAI, liderzy ochrony zdrowia muszą ustanowić jasne bariery, które chronią pacjentów i organizacje. Poniższe najlepsze praktyki mogą pomóc organizacjom ochrony zdrowia ustanowić podstawę dla odpowiedzialnego, zgodnego użycia AI:

Najlepsza praktyka #1: Wybierz technologię AI mądrze

Wymagaj klarowności od dostawców co do tego, jak technologia AI jest opracowywana i jakie źródła danych są wykorzystywane w procesie opracowania. Priorytetem powinny być narzędzia, które wykorzystują tylko zweryfikowany medycznie content, mają przejrzyste procesy decyzyjne i unikają szkolenia modeli na danych zdrowia pacjentów.

Najlepsza praktyka #2: Zbuduj ludzkie zabezpieczenia

Upewnij się, że klinicyści przeglądają wszystkie wyjścia AI, które mogą wpłynąć na decyzje dotyczące opieki. AI może być potężnym narzędziem, ale w branży, która ma bezpośredni wpływ na życie pacjentów, nadzór kliniczny jest kluczem do zapewnienia odpowiedzialnego użycia i dokładności wszelkich informacji wspomaganych przez AI.

Najlepsza praktyka #3: Szkolenie i przygotowanie siły roboczej

Wyedukuj klinicystów i personel na temat korzyści i ryzyk związanych z użyciem AI, aby zmniejszyć przyjęcie cieni AI. Personel ochrony zdrowia nawiguje przez złożoną siłę roboczą, obciążoną brakami personelu i wysokim poziomem wypalenia. Uproszczenie procesu edukacji AI pomaga zapewnić zgodność bez dodatkowego obciążenia ich pracy.

Najlepsza praktyka #4: Ustanów kulturę zarządzania

Zintegruj oceny stron trzecich rozwiązań AI, aby zweryfikować bezpieczeństwo, niezawodność i zgodność. Wraz z tym, wdrożenie jasnej, organizacyjnej ramy nadzoru AI, która definiuje zatwierdzenie, użycie i monitorowanie, aby dalej wzmacniać zaufanie do technologii i zapobiec personelowi korzystaniu z niezatwierdzonych narzędzi.

Najlepsza praktyka #5: Wyrównaj się z kierownictwem na temat opieki AI

Współpracuj z kierownictwem, aby pozostać przed ewoluującymi przepisami, a także wytycznymi FDA i ONC. Wysiłki regulacyjne pojawiają się na poziomie stanowym. Na przykład, Kalifornia ustanowiła Transparency in Frontier AI Act, który podkreśla ujawnianie ryzyka, przejrzystość i łagodzenie, zwłaszcza w środowiskach ochrony zdrowia, i jest również Colorado Artificial Intelligence Act (CAIA), który jest zaprojektowany, aby zapobiec dyskryminacji algorytmicznej.

Najlepsza praktyka #6: Ciągłe monitorowanie i pętle informacji zwrotnej

Użycie AI w środowisku ochrony zdrowia nigdy nie powinno być podejściem „ustaw i zapomnij”. Ustawienie ramy dla ciągłego monitorowania może pomóc zapewnić dokładność narzędzi AI, wzmocnić odpowiedzialność i utrzymać zgodność w czasie.

Najlepsza praktyka #7: Poszukiwanie partnerstw w celu optymalizacji nadzoru i badań

Organizacje ochrony zdrowia powinny wykorzystywać partnerstwa z regulatorami i sektorem publicznym, aby maksymalizować nadzór, przyczyniać się do standardów bezpieczeństwa i łączyć zasoby eksperckie.

Budowanie zaufania poprzez przywództwo w zgodności

Różnicowanie rozwiązań AI w ochronie zdrowia będzie coraz bardziej zależało od jakości ich ekspertowego contentu, integralności procesów oceny i odpowiedzialnej integracji z procesami klinicznymi. Następna faza przyjęcia AI będzie bardziej zależna od przywództwa w zgodności niż od samego kodu.

Zaufanie jest tak samo krytyczne jak zgodność. Aby technologia była naprawdę skuteczna, pacjenci i dostawcy muszą wierzyć, że AI jest bezpieczne i zgodne z wysokiej jakości, etyczną opieką. Przywództwo w zgodności jest strategiczną przewagą, a nie tylko środkiem obronnym. Organizacje, które ustanawiają bariery na wczesnym etapie, zanim dojdzie do szkodliwych incydentów, będą się wyróżniać w przyszłości ochrony zdrowia napędzianej przez AI.