W badaniu Stony Brook lekarze w 95% przypadków woleli podsumowania wypisowe generowane przez AI

Lekarze oceniający dokumentację woleli podsumowania wypisowe generowane przez AI od tych sporządzonych przez ludzi w 95% hospitalizacji uwzględnionych w badaniu Stony Brook University. Analiza retrospektywna objęła 60 przyjęć na oddział chorób wewnętrznych, trwających od 7 do 21 dni. Przy dłuższym leczeniu i dużej liczbie notatek klinicznych przekazanie opieki ambulatoryjnej jest szczególnie wymagające.

Wyniki opublikowane w czasopiśmie npj Digital Medicine sugerują, że duże modele językowe mogłyby pomóc klinicystom tworzyć pełniejsze i bardziej użyteczne dokumenty wypisowe. Pokazują też, dlaczego weryfikacja przez człowieka pozostaje niezbędna: zarówno podsumowania generowane przez AI, jak i te sporządzone przez ludzi zawierały błędy, a wyższe oceny nie dowodzą lepszych wyników leczenia pacjentów.

Dlaczego tworzenie podsumowań wypisowych jest trudnym zadaniem dla AI

Podsumowanie wypisowe łączy opiekę udzielaną w szpitalu z dalszym postępowaniem klinicystów odpowiedzialnych za pacjenta po jego opuszczeniu placówki. Powinno wyjaśniać przyczynę przyjęcia, przebieg leczenia, zmiany w farmakoterapii, nierozwiązane problemy oraz plan dalszej opieki. Lekarz podstawowej opieki zdrowotnej, któremu brakuje wyjaśnień lub jasnych wskazówek co do kolejnych kroków, może być zmuszony do odtworzenia przebiegu hospitalizacji na podstawie znacznie obszerniejszej dokumentacji.

Dłuższa hospitalizacja pogłębia ten problem. Informacje gromadzą się w notatkach z kolejnych etapów opieki, konsultacjach, opisach badań obrazowych i innych dokumentach, często powtarzając się i odzwierciedlając zmiany w planie leczenia. Użyteczne podsumowanie musi zachować końcowy obraz kliniczny, a jednocześnie wyjaśniać, jak zmieniały się podejmowane decyzje.

Podejście Stony Brook opracowano we współpracy z klinicystami, uwzględniając informacje potrzebne lekarzom przejmującym opiekę nad pacjentem. Uczelnia podaje, że system porządkował dokumentację pacjentów i w ciągu kilku minut tworzył projekty podsumowań wypisowych. Informacja ta dotyczy czasu generowania dokumentu; wpływ systemu na łączny czas sporządzania i weryfikowania dokumentacji przez lekarzy nadal wymaga zbadania w praktyce klinicznej.

Co lekarze ocenili wyżej

W badaniu uwzględniono oceny lekarzy szpitalnych i lekarzy podstawowej opieki zdrowotnej. Oceniający przyznali podsumowaniom AI wyższe noty za ogólną jakość, czytelność i zwięzłość, dokładność merytoryczną oraz kompletność. Wskazali też mniej brakujących informacji klinicznych.

W zastosowanej pięciostopniowej skali oceny średnia dla podsumowań AI wyniosła 4,71 w kategorii ogólnej jakości, w porównaniu z 3,16 dla podsumowań sporządzonych przez ludzi. Średnia ocena dokładności merytorycznej wyniosła 4,62 wobec 3,73, a kompletności — 4,69 wobec 3,42. Są to oceny lekarzy, a nie odsetki stwierdzeń, których prawdziwość została potwierdzona.

Wykres przedstawia 120 ocen każdego rodzaju podsumowania dla łącznych miar dotyczących lekarzy szpitalnych i lekarzy podstawowej opieki zdrowotnej oraz 60 ocen każdego rodzaju dla pytań dotyczących wyłącznie podstawowej opieki zdrowotnej. Lekarze podstawowej opieki zdrowotnej wyżej ocenili podsumowania AI pod kątem zrozumienia przebiegu hospitalizacji, wyjaśnienia go pacjentom i ich opiekunom oraz wspierania dalszej opieki.

Te różnice mają znaczenie, ponieważ osoba sporządzająca podsumowanie wypisowe i osoba, która na jego podstawie podejmuje działania, mają odmienne perspektywy. Dokument może szczegółowo opisywać zdarzenia podczas hospitalizacji, a mimo to pozostawiać lekarza przejmującego opiekę bez pewności co do nierozstrzygniętych kwestii lub powodów zmiany farmakoterapii.

Jak potok przetwarzania podsumowuje obszerne dokumentacje

Publiczne udostępnienie kodu przez badaczy zapewnia dodatkowy kontekst dotyczący technologii. Wyeksportowany potok LangChain/LangGraph chronologicznie grupuje notatki, tworzy ustrukturyzowane podsumowanie i udoskonala jego wstępną wersję w miarę przetwarzania kolejnych fragmentów. Osobny etap wyodrębnia przypadkowe znaleziska z oznaczonych notatek, zanim zostanie sformatowana końcowa narracja.

Takie etapowe podejście uwzględnia praktyczne ograniczenie modeli językowych: obszerna dokumentacja kliniczna może przekraczać ilość tekstu, którą model jest w stanie przetworzyć za jednym razem. Przenoszenie dalej ustrukturyzowanego projektu pozwala uwzględniać kolejne części dokumentacji w przygotowywanym wyniku.

Publicznie udostępniony eksport zawiera również identyfikatory źródeł oraz metadane cytowań towarzyszące ustrukturyzowanym i narracyjnym wynikom. Obejmuje syntetyczne dane demonstracyjne, a repozytorium udostępnia do analizy pozbawione danych identyfikujących wyniki ocen oraz adnotacje dotyczące błędów. Dzięki temu można badać przebieg pracy systemu bez publicznego udostępniania oryginalnej dokumentacji pacjentów.

Mniej pominięć nie eliminuje ryzyka klinicznego

Zgodnie z opublikowanym abstraktem mniejszą liczbę odnotowanych nieścisłości lub pominięć przypisano przede wszystkim mniejszej liczbie pominięć. Nie stwierdzono istotnej statystycznie różnicy między dwoma rodzajami podsumowań w ocenach lekarzy dotyczących dotkliwości ani prawdopodobieństwa szkód związanych z błędami.

Wynik ten nie dowodzi, że oba podejścia są równie bezpieczne ani że projekt przygotowany przez AI można umieścić w dokumentacji pacjenta bez weryfikacji. Oceniano dokumenty i opinie lekarzy; badanie nie wykazało zmniejszenia liczby ponownych przyjęć do szpitala, szkód związanych z farmakoterapią ani innych niekorzystnych skutków dla pacjentów.

Autorzy podkreślają, że przed użyciem dokument musi zostać zweryfikowany przez lekarza. Instrukcje dotyczące leków, nierozstrzygnięte kwestie medyczne i zalecenia dotyczące dalszej opieki mają kluczowe znaczenie dla celu dokumentu, a błędy lub pominięcia w tych obszarach mogą mieć poważne konsekwencje.

Co musi się wydarzyć, zanim rozwiązanie będzie stosowane rutynowo w praktyce klinicznej

„Wyniki te dostarczają dowodów na to, że sztuczna inteligencja może wspierać dokumentowanie wypisów po złożonych hospitalizacjach” — powiedziała Rachel Wong, MD, współautorka korespondencyjna i profesorka kliniczna na Stony Brook, w komunikacie uczelni.

Współautor korespondencyjny Fusheng Wang, PhD, powiedział, że kolejne etapy badań obejmą ocenę dokładności, bezpieczeństwa, rzeczywistej oszczędności czasu lekarzy oraz dopasowania rozwiązania do klinicznych procedur pracy. Uczelnia informuje, że rozważane jest przeprowadzenie pilotażu w codziennej praktyce Stony Brook Medicine.

Interdyscyplinarny projekt, któremu przewodzi Tyler Osborne, doktorant informatyki, łączy lekarzy, informatyków, specjalistów w dziedzinie informatyki biomedycznej oraz ekspertów ds. komunikacji. Badanie dostarcza obiecujących dowodów na to, że lekarze mogą nadzorować przygotowywanie złożonych podsumowań wypisu ze szpitala. Ustalenie, jak przełożyć te wyniki na niezawodne codzienne zastosowanie, wymaga oceny procesu weryfikacji wraz z wygenerowanym tekstem.