Protege käynnistää riippumattomat terveydenhuollon tekoälyn testit – Disease Odyssey paljastaa diagnostiikan puutteita

Protege käynnistää riippumattomat terveydenhuollon tekoälyn arvioinnit, joissa malleja testataan potilastapauksilla, joita ne eivät ole aiemmin nähneet. Ensimmäinen vertailutesti, Disease Odyssey, antaa alustavan kuvan siitä, miksi tämä on tärkeää: yhtiön mukaan johtavat mallit tunnistivat esimerkiksi uniapnean ja anemian vain 53–69 prosentissa tapauksista, kun ne käsittelivät potilashistorioita.

Lokakuun 21. päivänä tapahtuvan lanseerauksen yhteydessä julkaistaan myös Xlue AI:n ja Standard Model Biomedicinen kanssa tehtyjä arviointeja. Tulokset vastaavat yhdessä kahteen sairaaloille ja kehittäjille tärkeään kysymykseen: pystyykö malli poimimaan todellisista potilastiedoista hyödyllisiä kliinisiä signaaleja ja kuinka paljon näiden ennusteiden tuottaminen maksaa.

Protegen tavoitteena on siirtää suurempi osa arvioinnista mallien kehittäjäorganisaatioiden ulkopuolelle. Yhtiö suunnittelee, toteuttaa ja pisteyttää arvioinnit käyttämällä yksityisyyttä suojaavia potilastietoja ja kliinikkojen varmistamia vastauksia. Näin kehittäjät voivat tunnistaa heikkouksia ennen laajempien suorituskykyä koskevien väitteiden esittämistä.

Tämä on erilainen testi kuin lääketieteen tenttikysymyksiin vastaaminen

Lääketieteellinen kysymys, jossa diagnoosi on esitetty selkeästi, on erilainen kuin useille käynneille jakautuva potilashistoria. Oireet kehittyvät ajan myötä, potilastiedot voivat olla puutteellisia, ja ratkaiseva vihje voi hautautua vähemmän olennaisen tiedon joukkoon. Disease Odyssey keskittyy sairauksien tunnistamiseen ennen diagnoosia tällaisten pitkittäisten potilashistorioiden perusteella.

Ilmoitettu 53–69 prosentin vaihteluväli koskee testattuja tapauksia ja sairauksia, ei terveydenhuollon tekoälyä kokonaisuutena. Protegen julkistuksessa ei esitetä riittävästi tietoa otoskoosta, täsmällisistä vertailumalleista tai tuloksiin liittyvästä epävarmuudesta, jotta niiden perusteella voisi laatia laajemman paremmuusjärjestyksen. Tulokset kuitenkin osoittavat, että yhtiön ensimmäisessä vertailutestissä on yhä huomattavasti parantamisen varaa.

”Terveydenhuollon tekoäly kehittyy nopeasti, mutta sen arviointitavat eivät ole pysyneet kehityksen tahdissa”, Protegen perustajajäsen ja toimitusjohtaja Bobby Samuels sanoi julkistuksessa.

Näin Protege erottaa testauksen kehitystyöstä

Protege kuvaa prosessiaan kaksoissokkoutetuksi: mallien kehittäjät eivät näe potilastietoja tai kysymyksiä etukäteen, ja Protege arvioi järjestelmiä tietämättä, miten ne on rakennettu. Tässä yhteydessä termi kuvaa arvioinnin järjestelyä, ei satunnaistettua kliinistä tutkimusta.

Testimateriaalin pitäminen kehitystyön ulkopuolella on tärkeää, sillä vertailutestien kysymyksille altistuminen voi kasvattaa näennäistä suorituskykyä. Malli, joka on kohdannut vastauksen koulutuksen aikana, voi vaikuttaa kyvykkäämmältä kuin se todellisuudessa on, kun se joutuu ratkaisemaan aidosti uuden tapauksen.

Yhtiön terveydenhuollon arviointialusta sisältää useita käytännöllisiä hallintakeinoja. Siihen kuuluvat suojatut, erillään pidetyt testitapaukset, versioidut tehtävät ja pisteytys sekä virhekuvioiden ja niistä kärsivien väestöryhmien analysointi. Versiointi tekee mallijulkaisujen vertailusta mielekkäämpää: korkeampaa pistemäärää on helpompi tulkita, kun tehtävä ja pisteytyssäännöt eivät ole huomaamatta muuttuneet.

Alusta hyödyntää toisiinsa linkitettyjä tietoja, kuten sähköisiä potilaskertomuksia, kliinisiä muistiinpanoja, kuvantamistutkimuksia, patologian tietoja, korvaustietoja ja hoitotuloksia. Sen Data Lab muuntaa kliiniset kysymykset arviointitehtäviksi ja vertailuvastauksiksi. Yhdistelmän tarkoituksena on testata, miten mallit hyödyntävät kliinistä asiayhteyttä, eikä vain sitä, toistavatko ne irrallisia lääketieteellisiä tietoja.

Erikoistuneet mallit kilpailevat suorituskyvyllä ja kustannuksilla

Liitännäisarvioinneissa tarkastellaan eri tehtäviä, joten niiden tuloksia tulee arvioida erillään Disease Odysseyn tuloksista.

Standard Model Biomedicinen kanssa tehdyssä työssä Protege arvioi ennusteita, jotka koskivat rinta- ja keuhkosyöpää sairastavien eloonjäämistä sekä aikaa potilaan seuraavaan hoitoon. Yhtiön mukaan erikoistunut malli suoriutui kilpailukykyisesti johtaviin järjestelmiin verrattuna, mutta sen kustannukset olivat ennustetta kohden 36–170 kertaa pienemmät.

Protege arvioi erikseen Xlue AI:n HealthSAW-mallia, joka ennustaa syöpään, sydän- ja verisuonitauteihin sekä neurologisiin sairauksiin liittyviä tulevia riskejä. Protegen mukaan HealthSAW päihitti johtavat mallit 14:ssä 16 testistä, ja sen kustannukset potilasta kohden olivat alle 0,1 prosenttia niiden kustannuksista.

Kyseessä ovat Protegen raportoimat tehtäväkohtaiset vertailut, eivät osoitus siitä, että jokin malli olisi paras kaikissa kliinisissä ympäristöissä. Julkistuksessa ei kuvata kustannuslaskennan menetelmää kokonaisuudessaan. Ennusteiden edullisempi hinta voisi tehdä toistuvasta seulonnasta tai laajamittaisesta analysoinnista käytännöllisempää, mutta käyttöönoton kustannuksiin vaikuttavat myös järjestelmiin integrointi, valvonta ja virheellisten tulosten aiheuttama työ.

Arvioinnin on pysyttävä mallien päivitysten tahdissa

Protegen laajempi liiketoiminta tarjoaa tietoja tekoälyn kehittämiseen, joten kehityksessä käytettävien tietojen erottaminen arviointitiedoista on tärkeä osa yhtiön toimintatapaa. Yhtiön aineistoissa korostetaan tietojen alkuperän jäljitettävyyttä, hallittua käyttöoikeutta ja päivitettyjä potilastapauksia keinoina pitää testaus hyödyllisenä ajan mittaan.

Yhtiö aikoo laajentaa arviointeja muun muassa patologiaan, ihotautien diagnostiikkaan, onkologiaan ja hallinnollisiin työnkulkuihin. Tavoitteena on luoda toistettava prosessi, joka voidaan suorittaa uudelleen mallien muuttuessa, sen sijaan että tuotteeseen liitettäisiin pysyvästi yksi pistemäärä.

Tästä on hyötyä sekä ostajille että kehittäjille. Sairaalan on tiedettävä, toimiiko päivitetty malli edelleen sen potilasjoukolla ja työnkuluissa. Kehittäjä tarvitsee keskiarvoa enemmän: sen on ymmärrettävä, missä tapauksissa malli epäonnistuu ja aiheuttaako jonkin osa-alueen parantaminen heikkouksia muualla.

Riippumaton testaus voi tehdä näistä keskusteluista konkreettisempia, mutta suorituskyky aiemmilla vertailuaineistoilla ei ole sama asia kuin osoitettu hyöty kliinisessä käytännössä. Näytön kannalta tärkeitä ovat myös prospektiiviset tutkimukset, suorituskyky eri potilasryhmissä, väärien positiivisten ja väärien negatiivisten tulosten määrät sekä vaikutukset kliinikoiden työkuormaan.

Protegen lanseeraus nostaa terveydenhuollon tekoälyyritysten eteen aiempaa terävämmän kysymyksen: miten järjestelmä suoriutuu, kun tapaukset ovat sille vieraita ja joku muu määrittää testin? Uuden palvelun arvo riippuu siitä, miten selkeästi sen menetelmät ja tulokset auttavat organisaatioita vastaamaan tähän kysymykseen – ja miten johdonmukaisesti testit paljastavat ongelmia, jotka hiotuissa esittelyissä jäävät huomaamatta.