Google publikuje wielometodowe ramy oceny AI w ochronie zdrowia

Google zapowiedziało białą księgę 4 listopada 2026 r., przedstawiającą sposób oceny generatywnej AI ogólnego przeznaczenia w ochronie zdrowia. Ramy łączą testy z pytaniami zamkniętymi, automatyczne systemy AI oceniające odpowiedzi oraz ekspercką ocenę człowieka, aby określić dokładność, bezpieczeństwo i użyteczność w typowych scenariuszach oraz sytuacjach wysokiego ryzyka.

Autorka, dr Sarah Montgomery-Taylor, kieruje oceną kliniczną w Google for Health; dr Elizabeth McGlynn i dr Dana Gelb Safran współpracowały przy tym projekcie. Google informuje, że opracowało to podejście i nadal z niego korzysta, aby oceniać, czy jego modele dostarczają użytecznych i dokładnych odpowiedzi, które sprzyjają bezpiecznym interakcjom związanym ze zdrowiem. Opublikowanie tej metodologii ma zwiększyć przejrzystość oraz pomóc deweloperom, badaczom i klinicystom tworzyć narzędzia, którym ludzie mogą zaufać.

Dostosowanie oceny do rzeczywistych zastosowań klinicznych

Autorzy argumentują, że metody oceny opracowane z myślą o odrębnych zadaniach nie obejmują w wystarczającym stopniu modeli ogólnego przeznaczenia. Podają przykład modelu AI sprzed ery generatywnej AI, który potrafi wykryć raka płuca na obrazie TK, ale nie wykryje raka piersi na mammogramie ani nie streści rozmowy w formie notatki. Gdy jeden model może wykonywać setki, tysiące lub więcej zadań, deweloperzy i organizacje ochrony zdrowia potrzebują sposobu na ustalanie priorytetów dotyczących interakcji i zagrożeń.

Zanim osoby oceniające wybiorą przypadki testowe, mapują kluczową ścieżkę użytkownika: kto korzysta z systemu, co chce osiągnąć i jakie kroki są do tego potrzebne. Użytkownikami mogą być pacjenci, członkowie ich rodzin, klinicyści lub administratorzy. Takie mapowanie pomaga dobrać reprezentatywne dane testowe i wskaźniki. Uwzględnia też zamierzone zastosowanie oraz typowe przypadki niewłaściwego użycia, w tym poleganie na systemie poza zatwierdzonymi wskazaniami i próby omijania filtrów bezpieczeństwa.

Następnie każde zastosowanie ocenia się w trzech obszarach. Dokładność obejmuje zgodność z konsensusem medycznym, oparcie na dowodach, zgodność z faktami, rozumowanie kliniczne i adekwatność do kontekstu; w przypadku zadań takich jak streszczanie informacji medycznych uwzględnia się również oparcie odpowiedzi na źródłach. Ocena bezpieczeństwa wykracza poza sprawdzenie, czy stwierdzenia są poprawne, i obejmuje możliwe szkody wynikające z tego, że ktoś zinterpretuje odpowiedź i podejmie na jej podstawie działanie albo zaniecha działania. W ocenie bierze się pod uwagę zarówno dotkliwość, jak i prawdopodobieństwo wystąpienia takich szkód. Użyteczność dotyczy dostosowania do poziomu wiedzy zdrowotnej odbiorcy, trafności, wyczerpującego charakteru odpowiedzi oraz tego, czy można na jej podstawie podjąć działanie. Odpowiedź może więc być dokładna, ale niebezpieczna, albo dokładna i bezpieczna, lecz zbyt złożona lub nieprzekładająca się na konkretne działanie, by pomóc użytkownikowi.

Przykłady przedstawione w artykule pokazują, jak główne zagrożenie zależy od zadania. W przypadku konsumenta sprawdzającego objawy kluczowym zagrożeniem dla bezpieczeństwa jest niepodkreślenie objawów alarmowych wymagających pilnej pomocy; zbyt alarmistyczna odpowiedź może z kolei wywołać niepotrzebny niepokój, a niejasne wskazówki dotyczące samooceny mogą utrudnić podjęcie odpowiednich dalszych kroków. W przypadku przygotowanego przez AI wypisu pacjenta dla klinicysty dokładności zagrażają halucynacje, pominięcia i błędy rzeczowe, przeoczone alergie lub leki przeciwwskazane stwarzają zagrożenie dla bezpieczeństwa, a nieczytelne formatowanie lub niespójna chronologia mogą obniżyć użyteczność dokumentu.

Połączenie automatyzacji na dużą skalę z ludzką oceną

Pierwsza metoda oceny opiera się na testach z jednoznacznymi odpowiedziami, takich jak pytania wielokrotnego wyboru, dzięki którym przeprowadzanie dużej liczby podstawowych sprawdzianów wiedzy jest stosunkowo niedrogie. Testy statyczne nie są w stanie odtworzyć złożoności ani reprezentatywności rzeczywistych interakcji. Kolejnym ograniczeniem jest zanieczyszczenie danych: gdy pytania testowe pojawiają się w danych treningowych, wyniki mogą odzwierciedlać przygotowanie do testu, a nie uogólnione rozumowanie medyczne. Dlatego schemat wykorzystuje te testy do ustalenia poziomu bazowego i wyznaczenia celu dla późniejszej oceny; do zweryfikowania skuteczności w rzeczywistych warunkach potrzebne są dodatkowe metody.

W drugiej metodzie punktację przyznaje inny system AI. Te automatyczne systemy oceniające stosują pisemne kryteria do odpowiedzi otwartych, dzięki czemu można zbadać znacznie więcej scenariuszy, niż byliby w stanie rozsądnie ocenić eksperccy recenzenci. Mogą oceniać symulowane rozmowy wieloturowe, w których użytkownicy początkowo nie podają szczegółów klinicznych, sprawdzając, czy model zadaje pytania doprecyzowujące, zanim udzieli wskazówek. Zautomatyzowane oceny nadal wymagają weryfikacji na podstawie danych referencyjnych przygotowanych przez ekspertów, ponieważ mogą premiować rozwlekłość, preferować odpowiedzi z własnej rodziny modeli i powielać zaszumione adnotacje przygotowane przez ludzi.

Klinicyści i inni eksperci w danej dziedzinie analizują następnie przypadki, w których automatyczne kryteria sprawdzają się najsłabiej, w tym złożone prezentacje kliniczne, sytuacje nietypowe i zagadnienia, w których konsensus kliniczny jest ograniczony. Oceniają również, czy wyniki są zgodne z lokalnymi normami klinicznymi i odpowiadają potrzebom różnych populacji pacjentów. Odrębne testy red teamowe sprawdzają granice bezpieczeństwa za pomocą takich metod, jak emocjonalne apele, fikcyjne scenariusze czy przyjmowanie tożsamości pracownika ochrony zdrowia, by skłonić system do wygenerowania treści wykraczających poza zamierzony zakres produktu. Ocena człowieka również bywa zawodna: autorzy zauważają, że w zadaniu oceny dwóch lekarzy może różnić się wynikiem o 30–40% lub więcej, dlatego konieczne są mechanizmy kontroli zmienności ocen i odpowiednie metody analizy.

Monitorowanie trwa po wdrożeniu

Ocena rozpoczyna się, zanim powstanie produkt: obejmuje testy ogólnych możliwości i bezpieczeństwa modelu bazowego. Gdy model jest integrowany z aplikacją, ocena koncentruje się na użytkownikach i sposobie pracy właściwych dla danego produktu. Tuż przed premierą kontrolowane wdrożenie może obejmować niejawne testy w trybie cienia, pilotaże kliniczne lub etapowe wdrożenia, którym przed szerszym udostępnieniem towarzyszą badania czynników ludzkich oraz testy użyteczności.

Zespoły kliniczne i zespoły ds. rozwoju muszą wspólnie ustalać progi zaliczenia oraz wagi kryteriów oceny na każdym etapie decyzyjnym dotyczącym produktu, kierując się profilem ryzyka klinicznego aplikacji, a nie uniwersalnymi ani arbitralnie wyznaczonymi progami liczbowymi. Po wdrożeniu programiści monitorują dryf algorytmiczny i stabilność systemu. Organizacje wdrażające rozwiązania monitorują bezpieczeństwo przepływu pracy w środowisku klinicznym w przypadku narzędzi dla profesjonalistów, a w przypadku produktów konsumenckich — bezpieczeństwo użytkowników i wzorce korzystania z produktu.

Autorzy twierdzą, że sygnały pojawiające się w reakcji na problemy, takie jak skargi użytkowników i zdarzenia o charakterze alarmowym, nie mogą same w sobie stanowić podstawy monitorowania po wdrożeniu. Zbiory testowe różnią się od rzeczywistych interakcji, a użytkownicy wraz ze zdobywanym doświadczeniem zmieniają treść poleceń i swoje oczekiwania. Wnioski z monitorowania należy uwzględniać przy określaniu wymagań, szkoleniu oraz ustalaniu priorytetów kolejnych ocen. Długoterminowe monitorowanie interakcji i wyników zdrowotnych napotyka problem silosów danych, a także przeszkody związane z ochroną prywatności oraz kwestie techniczne i organizacyjne. W artykule wskazano również wspólną odpowiedzialność deweloperów i systemów ochrony zdrowia, koszty wdrożenia, niezależną walidację oraz konsensus naukowy jako kwestie związane z zarządzaniem, które nadal wymagają rozwiązania.

W przypadku deweloperów i systemów ochrony zdrowia ramy te przesuwają punkt ciężkości z pytania, czy model zaliczył statyczny test porównawczy, na pytanie, czy jego dokładność, bezpieczeństwo i użyteczność można wykazać na każdym etapie rozwoju i wdrażania. Główne wyzwanie ma charakter praktyczny: powiązać monitorowanie z rozliczalnością, jednocześnie przypisując odpowiedzialność, finansując te działania i niezależnie walidując wyniki ponad granicami organizacyjnymi i granicami dostępu do danych.