Google zveřejňuje více metodický rámec pro hodnocení zdravotnické umělé inteligence

Google oznámil bílou knihu dne 4. listopadu 2026, v níž popisuje, jak hodnotí generativní umělou inteligenci pro všeobecné použití ve zdravotnictví. Rámec kombinuje testy s otázkami a předem danými odpověďmi, automatizované hodnotitele AI a odborné lidské posouzení, aby vyhodnotil přesnost, bezpečnost a užitečnost v běžných i vysoce rizikových situacích.

Autorka, Dr. Sarah Montgomery-Taylor, je vedoucí klinického hodnocení ve společnosti Google for Health; Dr. Elizabeth McGlynn a Dr. Dana Gelb Safran se na této práci podílely. Google uvádí, že tento přístup vytvořil a nadále ho používá k posuzování toho, zda jeho modely poskytují užitečné a přesné odpovědi, které přispívají k bezpečným interakcím ve zdravotnictví. Zveřejnění metodiky má podpořit transparentnost a pomoci vývojářům, výzkumníkům i lékařům vytvářet nástroje, kterým mohou lidé důvěřovat.

Přizpůsobení hodnocení skutečné klinické praxi

Autoři tvrdí, že metody hodnocení vytvořené pro izolované úkoly nedokážou dostatečně pokrýt modely pro všeobecné použití. Jako příklad uvádějí model umělé inteligence z doby před nástupem generativní AI, který dokáže na CT snímku odhalit rakovinu plic, ale nedokáže odhalit rakovinu prsu na mamogramu ani shrnout rozhovor do zápisu. Pokud jeden model zvládne stovky, tisíce nebo ještě více úkolů, potřebují vývojáři a zdravotnické organizace způsob, jak stanovit priority interakcí a rizik.

Než hodnotitelé vyberou testovací případy, zmapují kritickou uživatelskou cestu: kdo systém používá, čeho chce dosáhnout a jaké kroky k tomu vedou. Mezi uživatele mohou patřit pacienti, rodinní příslušníci, lékaři nebo administrativní pracovníci. Toto mapování pomáhá určit reprezentativní testovací data a metriky. Zahrnuje také zamýšlené použití a běžné způsoby nesprávného použití, včetně spoléhání se na systém mimo schválený účel a pokusů obejít bezpečnostní filtry.

Každá aplikace se následně hodnotí ve třech oblastech. Přesnost zahrnuje soulad s lékařským konsenzem, oporu v důkazech, faktickou správnost, klinické uvažování a přiměřenost kontextu; u úkolů, jako je lékařské shrnutí, se navíc posuzuje opora ve zdrojích. Bezpečnost se nezaměřuje pouze na to, zda jsou tvrzení správná, ale také na újmu, která může nastat, když někdo odpověď pochopí a začne se podle ní řídit, nebo naopak nejedná. Hodnocení zohledňuje závažnost i pravděpodobnost takové újmy. Užitečnost se týká zdravotní gramotnosti, relevance, úplnosti a toho, zda může někdo na základě odpovědi jednat. Odpověď tedy může být přesná, ale nebezpečná, případně přesná a bezpečná, avšak příliš složitá nebo neumožňující praktické kroky, a proto uživateli nepomůže.

Příklady v článku ukazují, jak se hlavní riziko mění podle úkolu. Uživatel, který si ověřuje příznaky, potřebuje především upozornění na varovné příznaky vyžadující neodkladnou péči; příliš poplašná odpověď může naopak vyvolat zbytečnou úzkost, zatímco nejasné pokyny k sebehodnocení mohou ztížit volbu vhodných dalších kroků. U propouštěcí zprávy, kterou AI připravila pro lékaře, ohrožují přesnost halucinace, opomenutí a faktické chyby; přehlédnuté alergie nebo kontraindikované léky představují bezpečnostní rizika a nepřehledné formátování či nesourodé časové údaje mohou snížit užitečnost.

Spojení automatizovaného hodnocení ve velkém měřítku s lidským úsudkem

První metoda hodnocení vychází z testů s jednoznačnými odpověďmi, například z otázek s výběrem z několika možností. Díky nim lze poměrně levně provádět rozsáhlé základní ověřování znalostí. Statické testy však nedokážou napodobit složitost a reprezentativnost skutečných interakcí. Dalším omezením je kontaminace dat: pokud se testové otázky objeví v trénovacích datech, výsledky mohou odrážet přípravu na test, nikoli obecnou schopnost lékařského uvažování. Rámec proto tyto testy využívá ke stanovení výchozí úrovně a jako vodítko pro další hodnocení; k ověření výkonu v reálných podmínkách jsou zapotřebí i další metody.

Druhá metoda svěřuje hodnocení jinému systému umělé inteligence. Tito automatizovaní hodnotitelé uplatňují na otevřené odpovědi písemně stanovená kritéria, takže lze prověřit mnohem více situací, než by odborní hodnotitelé dokázali rozumně posoudit. Mohou hodnotit simulované vícestupňové rozhovory, v nichž uživatelé zpočátku nesdělují klinické podrobnosti, a ověřit tak, zda si model před poskytnutím doporučení vyžádá upřesňující informace. Automatizované hodnotitele je přesto nutné ověřovat podle referenčních dat vytvořených odborníky, protože mohou zvýhodňovat rozvláčné odpovědi, upřednostňovat výstupy z vlastní rodiny modelů a šířit nekvalitní lidské anotace.

Lékaři a další odborníci v příslušných oborech pak posuzují případy, v nichž jsou automatizovaná hodnoticí kritéria nejslabší, včetně složitých klinických obrazů, okrajových případů a témat s omezeným klinickým konsenzem. Zároveň posuzují, zda výstup odpovídá místním klinickým zvyklostem a potřebám různých skupin pacientů. Samostatné zátěžové testování ověřuje bezpečnostní hranice pomocí taktik, jako jsou citová naléhání, fiktivní rámování nebo vydávání se za zdravotnického pracovníka s cílem přimět systém k výstupu přesahujícímu zamýšlený rozsah produktu. Chybovat může i lidské hodnocení: autoři upozorňují, že se dva lékaři mohou při hodnocení lišit o 30–40 % i více, a proto je nutné přijmout opatření ke kontrole rozdílů mezi hodnotiteli a zvolit vhodnou analýzu.

Hodnocení pokračuje i po nasazení

Hodnocení začíná ještě před vznikem produktu, kdy se testují obecné schopnosti a bezpečnost základního modelu. Jakmile se model začleňuje do aplikace, hodnocení se přizpůsobuje jejím uživatelům a pracovnímu postupu. Před vydáním mohou kontrolované způsoby nasazení zahrnovat tiché testy ve stínovém provozu, klinické pilotní projekty nebo postupné zavádění. Doprovázejí je testy zaměřené na lidské faktory a použitelnost, které probíhají před širším zpřístupněním produktu.

Klinické a vývojové týmy musí při každém rozhodovacím milníku produktu společně stanovit prahové hodnoty pro úspěšné splnění a váhy jednotlivých kritérií hodnoticího rámce, a to na základě klinického rizikového profilu aplikace, nikoli podle univerzálních či svévolně zvolených číselných limitů. Po nasazení vývojáři sledují drift algoritmu a stabilitu systému. Organizace, které nástroje zavádějí, monitorují bezpečnost klinických pracovních postupů u profesionálních nástrojů, případně bezpečnost uživatelů a způsoby používání u produktů pro spotřebitele.

Autoři uvádějí, že reaktivní signály, jako jsou stížnosti uživatelů a sentinelové události, nemohou samy zajistit monitorování po nasazení. Testovací sady se liší od skutečných interakcí a uživatelé s rostoucími zkušenostmi mění svá zadání i očekávání. Zjištění z monitorování se musí promítat zpět do požadavků, školení a následných priorit hodnocení. Dlouhodobější monitorování interakcí a zdravotních výsledků naráží na datová sila i na překážky související s ochranou soukromí a technickými a organizačními problémy. Článek také označuje za dosud nedořešené úkoly v oblasti správy společnou odpovědnost vývojářů a zdravotnických systémů, náklady na zavádění, nezávislou validaci a dosažení vědeckého konsenzu.

Pro vývojáře a zdravotnické systémy tento rámec mění otázku z toho, zda model prošel statickým srovnávacím testem, na to, zda lze v průběhu vývoje i nasazení prokázat jeho přesnost, bezpečnost a užitečnost. Hlavní výzva je praktická: propojit monitorování s odpovědností a zároveň určit, kdo za co odpovídá, zajistit financování této práce a nezávisle ověřovat výsledky napříč organizačními a datovými hranicemi.