Protege zahajuje nezávislé testování zdravotnické AI, zatímco Disease Odyssey odhaluje mezery v diagnostice

Protege zahajuje nezávislé hodnocení zdravotnické AI a podrobuje modely testům na případech pacientů, s nimiž se dosud nesetkaly. Jeho první test, Disease Odyssey, nabízí první náznak toho, proč je to důležité: podle společnosti rozpoznaly přední modely při práci s anamnézami pacientů onemocnění, jako je spánková apnoe a anémie, pouze v 53 %–69 % případů.

Spuštění projektu 21. října zahrnuje také hodnocení ve spolupráci s Xlue AI a Standard Model Biomedicine. Výsledky společně odpovídají na dvě otázky důležité pro nemocnice a vývojáře: zda model dokáže získat užitečné klinické poznatky z reálných záznamů a kolik stojí tvorba těchto predikcí.

Protege chce přesunout větší část tohoto hodnocení mimo organizace, které modely vyvíjejí. Navrhuje, provádí a vyhodnocuje testy s využitím záznamů pacientů chráněných z hlediska soukromí a odpovědí ověřených lékaři, čímž vývojářům umožňuje odhalit slabiny dříve, než začnou činit širší tvrzení o výkonnosti.

Jiný test než odpovídání na otázky z lékařských zkoušek

Lékařská otázka s jasně uvedenou diagnózou se liší od anamnézy pacienta rozložené do několika návštěv. Příznaky se vyvíjejí v čase, záznamy mohou být neúplné a rozhodující vodítko se může skrývat mezi méně relevantními informacemi. Disease Odyssey se zaměřuje na rozpoznávání onemocnění ještě před stanovením diagnózy na základě těchto dlouhodobých anamnéz.

Uváděné rozmezí 53 %–69 % se vztahuje na testované případy a onemocnění, nikoli na zdravotnickou AI jako celek. Oznámení společnosti Protege neuvádí dost podrobností o velikosti vzorků, přesných srovnávaných modelech ani nejistotě výsledků, aby umožnilo sestavit širší žebříček. Ukazuje však, že v rámci prvního testu společnosti stále zůstává značný prostor ke zlepšení.

„Zdravotnická AI se rychle rozvíjí, ale způsob jejího hodnocení s tímto tempem nedrží krok,“ uvedl v oznámení Bobby Samuels, spoluzakladatel a generální ředitel společnosti Protege.

Jak Protege odděluje testování od vývoje

Protege svůj postup označuje za dvojitě zaslepený: tvůrci modelů předem nevidí údaje o pacientech ani otázky, zatímco Protege vyhodnocuje systémy, aniž by vědělo, jak byly vytvořeny. Zde tento termín označuje uspořádání hodnocení, nikoli randomizovanou klinickou studii.

Je důležité, aby se testovací materiály nedostaly do vývoje, protože obeznámenost s otázkami testu může zdánlivou výkonnost nadhodnotit. Model, který se s odpovědí setkal během trénování, může působit schopněji, než ve skutečnosti je, když čelí skutečně novému případu.

platforma pro hodnocení zdravotnické AI společnosti přidává několik praktických kontrolních mechanismů. Zahrnuje chráněné testovací případy, které jsou vývojářům skryté, verzované úlohy a bodování i analýzu vzorců chyb a zasažených skupin obyvatel. Verzování zpřesňuje srovnání jednotlivých verzí modelů: vyšší skóre se snáze interpretuje, pokud se úloha a pravidla bodování potají nezměnily.

Platforma využívá propojené informace, včetně elektronických zdravotních záznamů, klinických poznámek, zobrazovacích vyšetření, patologických nálezů, údajů o pojistných nárocích a výsledků léčby. Její Data Lab převádí klinické otázky na hodnoticí úlohy a referenční odpovědi. Cílem této kombinace je ověřit, jak modely využívají klinický kontext, nikoli pouze to, zda dokážou reprodukovat izolovaná lékařská fakta.

Specializované modely soutěží ve výkonnosti i nákladech

Doprovodná hodnocení zkoumají různé úlohy, a proto je třeba jejich výsledky posuzovat odděleně od testu Disease Odyssey.

V rámci spolupráce se Standard Model Biomedicine Protege vyhodnocovalo predikce týkající se přežití pacientek s rakovinou prsu a pacientů s rakovinou plic a doby do další léčby pacienta. Společnost uvádí, že specializovaný model dosahoval srovnatelných výsledků jako přední systémy, přičemž náklady na jednu predikci byly 36–170krát nižší.

Samostatné hodnocení modelu HealthSAW od společnosti Xlue AI zkoumalo budoucí rizika související s rakovinou, kardiovaskulárními onemocněními a neurologickými chorobami. Podle Protege dosáhl HealthSAW lepších výsledků než přední modely ve 14 ze 16 testů, a to při nákladech na pacienta nižších než 0,1 % jejich nákladů.

Jde o srovnání pro konkrétní úlohy, která uvádí Protege, nikoli o důkaz, že jeden model je nejlepší pro každé klinické prostředí. Oznámení nepopisuje podrobně celou metodiku výpočtu nákladů. Nižší náklady na predikce by mohly usnadnit opakovaný screening nebo rozsáhlou analýzu, náklady na nasazení však závisí také na integraci, dohledu a práci spojené s nesprávnými výsledky.

Hodnocení musí držet krok s aktualizacemi modelů

Širší podnikání společnosti Protege zahrnuje poskytování dat pro vývoj AI, a proto je oddělení vývojových dat od hodnoticích dat důležitou součástí jejího přístupu. Materiály společnosti zdůrazňují původ dat, řízený přístup a aktualizované případy pacientů jako způsoby, jak zachovat užitečnost testování v čase.

Společnost plánuje rozšířit hodnocení do oblastí, jako jsou patologie, dermatologie, onkologie a administrativní pracovní postupy. Jejím cílem je opakovatelný proces, který lze znovu spustit při změně modelů, nikoli jediné skóre trvale přiřazené produktu.

To je užitečné jak pro kupující, tak pro vývojáře. Nemocnice potřebuje vědět, zda aktualizovaný model stále dobře funguje u jejích pacientů a v rámci jejích pracovních postupů. Vývojář potřebuje víc než průměrné skóre: potřebuje zjistit, které případy selhávají a zda zlepšení v jedné oblasti nepřináší slabiny jinde.

Nezávislé testování může tyto diskuse konkretizovat, výkon v retrospektivních srovnávacích testech však není totéž co prokázaný přínos v klinické praxi. Důležitými součástmi důkazů zůstávají prospektivní studie, výkonnost u různých skupin pacientů, míra falešně pozitivních a falešně negativních výsledků i dopady na pracovní vytížení zdravotníků.

Uvedení služby Protege staví společnosti působící v oblasti zdravotnické AI před naléhavější otázku: jak si systém vede, když jsou případy neznámé a test připravuje někdo jiný? Hodnota nové služby bude záviset na tom, nakolik její metodika a výsledky organizacím pomohou na tuto otázku odpovědět — a nakolik důsledně testy odhalí problémy, které uhlazené demonstrace přehlížejí.