Protege uruchamia niezależne testy AI w ochronie zdrowia, a Disease Odyssey ujawnia luki diagnostyczne

Protege rozpoczyna niezależną ocenę AI w ochronie zdrowia, poddając modele testom na przypadkach pacjentów, z którymi wcześniej się nie zetknęły. Pierwszy benchmark firmy, Disease Odyssey, już pokazuje, dlaczego ma to znaczenie: według firmy czołowe modele rozpoznawały takie schorzenia jak bezdech senny i niedokrwistość w zaledwie 53%–69% przypadków, analizując historie choroby pacjentów.

Uruchomiona 21 października inicjatywa obejmuje również oceny prowadzone we współpracy z Xlue AI i Standard Model Biomedicine. Łącznie wyniki pozwalają odpowiedzieć na dwa ważne dla szpitali i twórców modeli pytania: czy model potrafi wydobywać przydatne sygnały kliniczne z rzeczywistej dokumentacji oraz ile kosztuje uzyskanie takich prognoz.

Protege chce przenieść większą część tej oceny poza organizacje tworzące modele. Projektuje, przeprowadza i ocenia testy z wykorzystaniem chronionych pod względem prywatności dokumentacji pacjentów oraz odpowiedzi zweryfikowanych przez klinicystów, dając twórcom modeli możliwość wykrycia słabych stron, zanim zaczną szerzej wypowiadać się o ich skuteczności.

Test inny niż odpowiadanie na pytania z egzaminów medycznych

Pytanie medyczne z jasno określoną diagnozą różni się od historii choroby pacjenta obejmującej kilka wizyt. Objawy rozwijają się z czasem, dokumentacja może być niekompletna, a decydująca wskazówka może kryć się wśród mniej istotnych informacji. Disease Odyssey koncentruje się na rozpoznawaniu choroby przed postawieniem diagnozy na podstawie takich podłużnych historii choroby.

Podany przedział 53%–69% dotyczy testowanych przypadków i schorzeń, a nie AI w ochronie zdrowia jako całości. W ogłoszeniu Protege nie podano wystarczająco szczegółowych informacji o liczebności prób, dokładnych modelach wykorzystanych do porównania ani niepewności wyników, by uzasadnić szerszy ranking. Wyniki pokazują natomiast, że w ramach pierwszego benchmarku firmy nadal jest dużo miejsca na poprawę.

„AI w ochronie zdrowia rozwija się szybko, ale metody jej oceny nie nadążają za tym tempem” — powiedział w ogłoszeniu Bobby Samuels, współzałożyciel i dyrektor generalny Protege.

Jak Protege oddziela testowanie od tworzenia modeli

Protege opisuje swój proces jako podwójnie zaślepiony: twórcy modeli nie widzą wcześniej danych pacjentów ani pytań, a Protege ocenia systemy, nie wiedząc, jak zostały zbudowane. W tym przypadku określenie to odnosi się do sposobu organizacji oceny, a nie do randomizowanego badania klinicznego.

Wyłączenie materiałów testowych z procesu tworzenia modeli ma znaczenie, ponieważ wcześniejszy kontakt z pytaniami z benchmarku może zawyżać pozorną skuteczność. Model, który zetknął się z odpowiedzią podczas treningu, może sprawiać wrażenie bardziej kompetentnego, niż jest w rzeczywistości, gdy mierzy się z zupełnie nowym przypadkiem.

Platforma do oceny AI w ochronie zdrowia firmy obejmuje kilka praktycznych mechanizmów kontrolnych. Jak opisuje firma, wykorzystuje ona chronione, odłożone na bok przypadki testowe, wersjonowane zadania i systemy punktacji, a także analizę wzorców błędów i grup, których one dotyczą. Wersjonowanie sprawia, że porównywanie kolejnych wydań modeli jest bardziej miarodajne: wyższy wynik łatwiej zinterpretować, gdy zadanie i zasady punktacji nie uległy po cichu zmianie.

Platforma korzysta z powiązanych informacji, w tym elektronicznej dokumentacji medycznej, notatek klinicznych, obrazowania, danych patomorfologicznych, danych rozliczeniowych i wyników leczenia. Jej Data Lab przekształca pytania kliniczne w zadania ewaluacyjne i odpowiedzi referencyjne. Takie połączenie ma pozwolić sprawdzić, jak modele wykorzystują kontekst kliniczny, a nie tylko to, czy odtwarzają pojedyncze fakty medyczne.

Modele wyspecjalizowane rywalizują pod względem skuteczności i kosztów

Towarzyszące inicjatywie oceny dotyczą różnych zadań, dlatego ich wyników nie należy łączyć z wynikami Disease Odyssey.

W ramach współpracy z Standard Model Biomedicine Protege oceniło prognozy dotyczące przeżycia pacjentów z rakiem piersi i płuca oraz czasu do kolejnego leczenia. Firma informuje, że wyspecjalizowany model osiągnął wyniki porównywalne z czołowymi systemami, a koszt każdej prognozy był od 36 do 170 razy niższy.

W odrębnej ocenie modelu HealthSAW firmy Xlue AI analizowano przyszłe ryzyko zachorowania na raka, choroby układu krążenia i schorzenia neurologiczne. Protege twierdzi, że HealthSAW przewyższył czołowe modele w 14 z 16 testów, a koszt na pacjenta wynosił mniej niż 0,1% kosztu tych modeli.

Są to porównania dotyczące konkretnych zadań, przedstawione przez Protege, a nie dowód na to, że jeden model sprawdza się najlepiej w każdym środowisku klinicznym. W ogłoszeniu nie opisano szczegółowo pełnej metodologii obliczania kosztów. Niższe koszty prognozowania mogłyby ułatwić prowadzenie powtarzanych badań przesiewowych lub analiz na dużą skalę, ale koszty wdrożenia zależą również od integracji, nadzoru i nakładu pracy związanego z błędnymi wynikami.

Ocena modeli musi nadążać za ich aktualizacjami

Szersza działalność Protege obejmuje dostarczanie danych na potrzeby rozwoju AI, dlatego oddzielenie danych wykorzystywanych do tworzenia modeli od danych ewaluacyjnych jest ważnym elementem podejścia firmy. W swoich materiałach firma podkreśla znaczenie pochodzenia danych, kontrolowanego dostępu i aktualizowanych przypadków pacjentów dla zachowania przydatności testów w czasie.

Firma planuje rozszerzyć oceny na takie obszary jak patomorfologia, dermatologia, onkologia i procesy administracyjne. Jej celem jest stworzenie powtarzalnego procesu, który można ponownie uruchamiać wraz ze zmianami modeli, zamiast przypisywać produktowi jeden wynik na stałe.

To przydatne zarówno dla kupujących, jak i twórców. Szpital musi wiedzieć, czy zaktualizowany model nadal sprawdza się w przypadku jego populacji pacjentów i w jego procesach pracy. Deweloper potrzebuje czegoś więcej niż średni wynik: musi wiedzieć, w których przypadkach model zawodzi i czy poprawa w jednym obszarze nie powoduje słabości w innym.

Niezależne testy mogą nadać tym rozmowom bardziej konkretny wymiar, ale wyniki w retrospektywnych testach porównawczych nie są równoznaczne z wykazaniem korzyści w praktyce klinicznej. Ważnymi elementami dowodów pozostają badania prospektywne, skuteczność w różnych grupach pacjentów, odsetek wyników fałszywie dodatnich i fałszywie ujemnych oraz wpływ na obciążenie pracą klinicystów.

Uruchomienie usługi przez Protege stawia przed firmami z branży medycznej AI bardziej bezpośrednie pytanie: jak system sprawdza się w przypadku nieznanych mu wcześniej przypadków, gdy test przygotowuje ktoś inny? Wartość nowej usługi będzie zależeć od tego, jak jasno jej metody i wyniki pomogą organizacjom odpowiedzieć na to pytanie oraz jak konsekwentnie testy będą ujawniać problemy, które umykają dopracowanym demonstracjom.