Niekontrolowane LLM i dylemat zgodności w ochronie zdrowia

Przez branże, sztuczna inteligencja generatywna (GenAI) osiągnęła szybkie przełomy w stosunkowo krótkim czasie. Postępy te są napędzane przez modele podstawowe, które The California Report on Frontier AI Policy definiuje jako „klasę ogólnego przeznaczenia technologii, które są zasobowo wymagające do wytworzenia, wymagające znacznych ilości danych i obliczeń, aby wytworzyć możliwości, które mogą napędzać różne aplikacje AI”.

Te ogólnego przeznaczenia duże modele językowe (LLM), takie jak Gemini i ChatGPT, pokazują rosnącą moc do replikowania i przewyższania ludzkich zdolności poznawczych w obszarach takich jak analiza danych, pisanie i rozumowanie. W szczególności w ochronie zdrowia, przyjęcie GenAI rośnie, ponieważ klinicyści i inni profesjonaliści ochrony zdrowia szukają technologii, aby zmniejszyć biurokratyczne obciążenie, przyspieszyć operacje i nawet wspierać podejmowanie decyzji klinicznych.

Jednakże, podczas gdy technologia oferuje wielką obietnicę, przyjęcie GenAI w ochronie zdrowia podnosi kluczowe ryzyka zgodności, jeśli nie zostanie wdrożone lub wykorzystane w sposób odpowiedzialny. W szczególności, użycie ogólnego przeznaczenia LLM wiąże się z konkretnymi problemami zgodności, które organizacje ochrony zdrowia muszą w pełni zrozumieć, aby zapobiec naruszeniom prywatności lub bezpieczeństwa. Te modele mogą polegać na niezweryfikowanych źródłach danych, wykorzystywać informacje o zdrowiu pacjentów w nieautoryzowany sposób lub utrwalać uprzedzenia i/lub nieprecyzyjne informacje.

Aby utrzymać prywatność danych pacjentów, pozostać w zgodzie z ewoluującymi przepisami i zminimalizować kosztowne ryzyka, liderzy ochrony zdrowia muszą podjąć decydujące działania, aby rozładować „bomby zegarowej” niekontrolowanego użycia LLM.

Obecny stan użycia ogólnego przeznaczenia LLM w ochronie zdrowia

Przez ochronę zdrowia, personel coraz częściej wykorzystuje LLM do wspierania codziennych zadań, od pracy biurowej do komunikacji z pacjentami. Wielomodalne LLM rozszerzają te aplikacje o ich zdolność do łatwego przetwarzania tekstu, obrazów i dźwięku. Oprócz wsparcia administracyjnego, obserwujemy również wzrost dostawców, którzy zwracają się do technologii, aby wspierać nie tylko pracę biurową, ale także zadania kliniczne.

Te modele już wykazują to, co niektórzy mogą uznać za imponujące wyniki, z kilkoma badaniami pokazującymi, że wyniki LLM są równe lub nawet przewyższają ludzkie zdolności w określonych obszarach. Na przykład, model GPT-4 zdał egzamin United States Medical Licensing Examination z ogólnym wynikiem 86,7%.

Hybrydowy AI to kolejne pojawiające się podejście do użycia GenAI w ochronie zdrowia, które łączy uczenie maszynowe (ML) i LLM, aby obsłużyć złożoną analizę i przetłumaczyć wyniki na język zrozumiały. Poprzez integrację obu modeli, to podejście ma na celu pokonanie słabości LLM, w tym halucynacji, nieprecyzyjności i uprzedzeń, jednocześnie wykorzystując ich zalety. Agenty AI również zyskują na popularności dzięki swojej zdolności do automatyzacji kluczowych zadań bez interwencji człowieka, takich jak odpowiedzi na wiadomości pacjentów lub planowanie wizyt.

Jednakże, potencjał AI podkreśla pilną potrzebę bardziej proaktywnej kontroli. Im bardziej te narzędzia stają się wbudowane w operacje ochrony zdrowia, tym wyższe stawki dla zapewnienia dokładności, bezpieczeństwa i zgodności.

Ryzyka zgodności ogólnego przeznaczenia LLM w ochronie zdrowia

Podczas gdy cyfrowe przyjęcie w ochronie zdrowia odblokowało wiele nowych możliwości, również ujawniło kluczowe słabości. Między 1 listopada 2023 r. a 31 października 2024 r., na przykład, sektor ochrony zdrowia doświadczył 1 710 incydentów bezpieczeństwa, z których 1 542 dotyczyło potwierdzonych ujawnień danych.

Era AI pogłębia te pęknięcia, dodając nową warstwę złożoności do prywatności danych i bezpieczeństwa. Konkretnie, użycie ogólnego przeznaczenia LLM w ochronie zdrowia wywołuje kilka kluczowych ryzyk zgodności:

Ryzyko #1: Rozwój „czarnej skrzynki” uniemożliwia ciągłe monitorowanie lub weryfikację

Zamknięte modele nie posiadają przejrzystości co do procesu ich tworzenia, takiego jak jakie konkretnie dane zostały wykorzystane do szkolenia modelu lub jak są wprowadzane aktualizacje. Ta nieprzejrzystość uniemożliwia twórcom i badaczom wgląd do modelu, aby określić źródło ryzyk bezpieczeństwa lub zrozumieć procesy podejmowania decyzji. W rezultacie, zamknięte LLM mogą umożliwić użycie niezweryfikowanych źródeł danych medycznych i pozwolić na niekontrolowane słabości bezpieczeństwa.

Ryzyko #2: Ujawnienie danych pacjentów

LLM nie zawsze polegają na zanonimizowanych danych pacjentów. Specjalistyczne wprowadzanie danych lub interakcje mogą nieumyślnie ujawnić identyfikowalne informacje o zdrowiu, tworząc potencjalne naruszenia HIPAA.

Ryzyko #3: Utrwalanie uprzedzeń i nieprecyzyjnych informacji

W jednym eksperymencie, badacze wprowadzili niewielki procent nieprawidłowych faktów do jednej kategorii bazy wiedzy modelu biomedycznego, przy zachowaniu jego zachowania we wszystkich innych dziedzinach. Badacze stwierdzili, że nieprawidłowe informacje były rozpowszechniane w całym wyjściu modelu, podkreślając słabości LLM do ataków dezinformacyjnych.

Wszelkie wady znalezione w modelach podstawowych są dziedziczone przez wszystkie przyjęte modele i wynikające z nich aplikacje z modelu nadrzędnego. Różnice w danych wyjściowych mogą pogorszyć nierówności zdrowotne, takie jak nieprecyzyjne porady dla grup niedoreprezentowanych.

Ryzyko #4: Niezgodność regulacyjna

Użycie ogólnego przeznaczenia LLM może nie być zgodne z HIPAA, GDPR lub ewoluującymi przepisami dotyczącymi AI, zwłaszcza jeśli dostawcy nie mogą potwierdzić danych szkoleniowych. Te ryzyka są zwiększane przez pracowników organizacji ochrony zdrowia, którzy używają niezatwierdzonych lub niekontrolowanych narzędzi AI lub cieni AI. Według IBM, 20% ankietowanych organizacji we wszystkich sektorach doświadczyło naruszenia z powodu incydentów bezpieczeństwa związanych z cieni AI.

Ostatecznie, ryzyka ogólnego przeznaczenia LLM w ochronie zdrowia mają realne konsekwencje, w tym działania prawne, uszkodzenie reputacji, utratę zaufania pacjentów i koszty procesowe.

Najlepsze praktyki: Wytyczne i rozważania dotyczące LLM

Aby odpowiedzialnie przyjąć GenAI, liderzy ochrony zdrowia muszą ustanowić wyraźne ograniczenia, które chronią pacjentów i organizacje. Poniższe najlepsze praktyki mogą pomóc organizacjom ochrony zdrowia ustalić podstawę dla odpowiedzialnego, zgodnego użycia AI:

Najlepsza praktyka #1: Wybierz technologię AI mądrze

Wymagaj od dostawców jasności co do sposobu tworzenia technologii AI i jakich źródeł danych są wykorzystywane w procesie tworzenia. Priorytetem powinny być narzędzia, które wykorzystują tylko ekspertowo zweryfikowany zawartość medyczny, mają przejrzyste procesy podejmowania decyzji i unikają szkolenia modeli na danych zdrowia pacjentów.

Najlepsza praktyka #2: Zbuduj ludzkie zabezpieczenia

Upewnij się, że klinicyści przeglądają wszystkie wygenerowane przez AI dane wyjściowe, które mogą wpłynąć na decyzje dotyczące opieki. AI może być potężnym narzędziem, ale w branży, która ma bezpośredni wpływ na życie pacjentów, nadzór kliniczny jest kluczem do zapewnienia odpowiedzialnego użycia i dokładności wszelkich informacji wspomaganych przez AI.

Najlepsza praktyka #3: Szkolenie i przygotowanie siły roboczej

Edukuj klinicystów i personel na temat korzyści i ryzyk związanych z użyciem AI, aby zmniejszyć przyjęcie cieni AI. Personel ochrony zdrowia nawiguje w złożonej siatce, obciążonej brakami personelu i wysokim poziomem wypalenia. Uproszczenie procesu edukacji AI pomaga zapewnić zgodność bez dodatkowego obciążenia ich already obciążonego harmonogramu.

Najlepsza praktyka #4: Ustanów kulturę zarządzania

Zintegruj oceny stron trzecich rozwiązań AI, aby zweryfikować bezpieczeństwo, niezawodność i zgodność. Wraz z tym, wdrożenie wyraźnego, organizacyjnego ramy nadzoru AI, który definiuje zatwierdzenie, użycie i monitorowanie, aby dalej wzmacniać zaufanie do technologii i zapobiegać personelowi korzystaniu z nieautoryzowanych narzędzi.

Najlepsza praktyka #5: Wyrównaj się z kierownictwem na temat opieki AI

Współpracuj z kierownictwem, aby pozostać na czele ewoluujących przepisów, a także wytycznych FDA i ONC. Wysiłki regulacyjne pojawiają się na poziomie stanowym. Na przykład, Kalifornia ustanowiła Transparency in Frontier AI Act, który podkreśla ujawnienie ryzyka, przejrzystość i łagodzenie, zwłaszcza w środowiskach ochrony zdrowia, i jest również Colorado Artificial Intelligence Act (CAIA), który jest zaprojektowany, aby zapobiec dyskryminacji algorytmicznej.

Najlepsza praktyka #6: Ciągłe monitorowanie i pętle informacji zwrotnej

Użycie AI w środowisku ochrony zdrowia nigdy nie powinno być podejściem „ustaw i zapomnij”. Ustawienie ramy dla ciągłego monitorowania może pomóc zapewnić dokładność narzędzi AI, wzmocnić odpowiedzialność i utrzymać zgodność w czasie.

Najlepsza praktyka #7: Podejmij partnerstwa, aby zoptymalizować nadzór i badania

Organizacje ochrony zdrowia powinny wykorzystywać partnerstwa z regulatorami i sektorem publicznym, aby maksymalizować nadzór, przyczyniać się do bezpieczeństwa standardów i łączyć ekspertowe zasoby.

Budowanie zaufania poprzez przywództwo w zgodności

Różnicowanie rozwiązań AI w ochronie zdrowia będzie coraz bardziej zależało od jakości ich ekspertowej zawartości, integralności procesów oceny i odpowiedzialnej integracji z klinicznymi przepływami pracy. Następna faza przyjęcia AI będzie zależała mniej od kodu, a bardziej od przywództwa w zgodności.

Zaufanie jest równie istotne, jak zgodność. Aby technologia była naprawdę skuteczna, pacjenci i dostawcy muszą wierzyć, że AI jest bezpieczne i zgodne z wysokiej jakości, etyczną opieką. Przywództwo w zgodności jest strategiczną zaletą, a nie tylko środkiem obronnym. Organizacje, które ustanawiają ograniczenia na wczesnym etapie, zanim dojdzie do szkodliwych incydentów, będą się wyróżniać w przyszłości ochrony zdrowia napędzianej przez AI.