Google julkaisee monimenetelmäisen viitekehyksen terveysalan tekoälyn arviointiin

Google ilmoitti 4. marraskuuta 2026 julkaisevansa valkoisen kirjan, jossa kuvataan, miten se arvioi terveydenhuollon yleiskäyttöistä generatiivista tekoälyä. Viitekehyksessä yhdistyvät suljettujen kysymysten vertailutestit, tekoälypohjaiset automaattiset arvioijat ja asiantuntijoiden tekemä ihmisarviointi. Niiden avulla arvioidaan tarkkuutta, turvallisuutta ja hyödyllisyyttä tavanomaisissa ja suuren riskin tilanteissa.

Kirjoittaja, tohtori Sarah Montgomery-Taylor, johtaa kliinistä arviointia Google for Healthissa; tohtori Elizabeth McGlynn ja tohtori Dana Gelb Safran osallistuivat työhön. Googlen mukaan se kehitti lähestymistavan ja käyttää sitä edelleen arvioidakseen, tarjoavatko sen mallit hyödyllisiä ja tarkkoja vastauksia, jotka tukevat turvallista terveydenhuoltoon liittyvää vuorovaikutusta. Menetelmän julkaisemisella pyritään edistämään avoimuutta ja auttamaan kehittäjiä, tutkijoita ja kliinikoita rakentamaan työkaluja, joihin ihmiset voivat luottaa.

Arvioinnin kytkeminen kliinisen työn todellisuuteen

Kirjoittajien mukaan yksittäisiä tehtäviä varten kehitetyt arviointimenetelmät eivät kata riittävästi yleiskäyttöisiä malleja. Heidän esimerkissään generatiivista tekoälyä edeltävä malli pystyy tunnistamaan keuhkosyövän tietokonetomografiasta, mutta ei havaitse rintasyöpää mammografiasta eikä tiivistä keskustelua muistiinpanoksi. Kun yksi malli pystyy suoriutumaan sadoista, tuhansista tai useammista tehtävistä, kehittäjät ja terveysalan organisaatiot tarvitsevat keinon asettaa vuorovaikutustilanteet ja riskit tärkeysjärjestykseen.

Ennen testitapausten valintaa arvioijat kartoittavat kriittisen käyttäjäpolun: kuka järjestelmää käyttää, mitä hän haluaa saada aikaan ja mitä vaiheita siihen kuuluu. Käyttäjiä voivat olla potilaat, perheenjäsenet, kliinikot tai hallintohenkilöstö. Kartoitus ohjaa edustavien testiaineistojen ja mittareiden valintaa. Siinä huomioidaan myös käyttötarkoitus ja tavalliset väärinkäytön muodot, kuten käyttöaiheen ulkopuoliseen käyttöön luottaminen ja turvallisuussuodattimien ohittamisyritykset.

Tämän jälkeen kutakin sovellusta arvioidaan kolmella osa-alueella. Tarkkuuden arvioinnissa tarkastellaan lääketieteellistä konsensusta, näyttöön perustuvuutta, tosiasioiden paikkansapitävyyttä, kliinistä päättelyä ja asiayhteyteen sopivuutta. Tehtävissä, kuten lääketieteellisten tekstien tiivistämisessä, arvioidaan lisäksi lähteisiin perustuvuutta. Turvallisuusarvioinnissa ei keskitytä vain väitteiden oikeellisuuteen, vaan myös haittoihin, joita voi seurata, kun joku tulkitsee vastausta ja toimii sen perusteella tai jättää toimimatta. Arvioinnissa huomioidaan sekä haitan vakavuus että sen todennäköisyys. Hyödyllisyyden arvioinnissa tarkastellaan terveystiedon ymmärrettävyyttä, relevanssia, kattavuutta ja sitä, voiko käyttäjä toimia vastauksen perusteella. Vastaus voi siis olla tarkka mutta turvaton tai tarkka ja turvallinen, mutta käyttäjälle liian monimutkainen tai sellainen, ettei sen perusteella voi toimia.

Artikkelin esimerkit havainnollistavat, kuinka keskeinen riski vaihtelee tehtävän mukaan. Oireitaan arvioivan kuluttajan kohdalla tärkein turvallisuushuoli on se, ettei vastaus tuo esiin päivystyksellistä hoitoa vaativia hälytysmerkkejä. Liian hälyttävä vastaus voi puolestaan aiheuttaa tarpeetonta ahdistusta, kun taas epäselvät ohjeet oma-arviointiin voivat vaikeuttaa asianmukaisten jatkotoimien valintaa. Kliinikon tekoälyn avulla laatimassa kotiutusyhteenvedossa hallusinaatiot, puutteet ja asiavirheet vaarantavat tarkkuuden, huomaamatta jääneet allergiat tai vasta-aiheiset lääkkeet aiheuttavat turvallisuusriskejä, ja sekava muotoilu tai epäjohdonmukaiset aikajanat voivat heikentää hyödyllisyyttä.

Automaattisen laajuuden ja ihmisen harkinnan yhdistäminen

Ensimmäisessä arviointimenetelmässä käytetään testejä, joihin on yksiselitteiset vastaukset, kuten monivalintakysymyksiä. Näin suuria määriä perustason tietämystä voidaan testata verrattain edullisesti. Staattiset testit eivät kuitenkaan pysty jäljittelemään todellisten vuorovaikutustilanteiden monimutkaisuutta eivätkä niiden edustavuutta. Toinen rajoite on aineistovuoto: jos testikysymyksiä esiintyy koulutusaineistossa, tulokset voivat kertoa testiin valmistautumisesta eivätkä yleistettävästä lääketieteellisestä päättelystä. Siksi viitekehyksessä näitä vertailutestejä käytetään lähtötason määrittämiseen ja myöhempien arviointien suuntaamiseen. Todellisen suorituskyvyn varmistaminen edellyttää lisäksi muita menetelmiä.

Toisessa menetelmässä pisteytys annetaan toisen tekoälyjärjestelmän tehtäväksi. Nämä automaattiset arvioijat soveltavat kirjallisia arviointiperusteita avoimiin vastauksiin, minkä ansiosta voidaan tarkastella paljon useampia tilanteita kuin asiantuntija-arvioijat pystyisivät kohtuudella pisteyttämään. Niillä voidaan arvioida simuloituja monivuorovaikutteisia keskusteluja, joissa käyttäjät jättävät aluksi kliinisiä tietoja kertomatta. Näin testataan, kysyykö malli tarkentavia kysymyksiä ennen ohjeiden antamista. Automaattisten arvioijien tulokset on silti validoitava asiantuntijoiden laatimaa vertailuaineistoa vasten, sillä ne voivat suosia monisanaisia vastauksia, pitää oman malliperheensä vastauksia parempina ja välittää eteenpäin kohinaisia ihmisten tekemiä merkintöjä.

Kliinikot ja muut alan asiantuntijat tarkastelevat sitten tapauksia, joiden arvioinnissa automaattiset arviointiperusteet toimivat heikoimmin. Näihin kuuluvat monimutkaiset oirekuvat, poikkeustapaukset ja aiheet, joista vallitsee vain rajallinen kliininen konsensus. Asiantuntijat arvioivat myös, vastaako tulos paikallisia kliinisiä käytäntöjä ja erilaisten potilasryhmien tarpeita. Erillisissä red team -testeissä koetellaan turvallisuusrajoja esimerkiksi vetoamalla tunteisiin, kehystämällä tilanne fiktiiviseksi tai esiintymällä terveydenhuollon ammattilaisena, jotta malli tuottaisi sisältöä tuotteen aiotun käyttötarkoituksen ulkopuolelta. Myös ihmisten tekemä arviointi on altis virheille: kirjoittajien mukaan kaksi lääkäriä voi antaa samalle arviointitehtävälle toisistaan 30–40 prosenttia tai enemmän poikkeavan arvion. Siksi arvioijien välisen vaihtelun hallintaan tarvitaan asianmukaisia kontrolleja ja analyyseja.

Seuranta jatkuu käyttöönoton jälkeen

Arviointi alkaa jo ennen tuotteen olemassaoloa, kun testataan perusmallin yleisiä kykyjä ja turvallisuutta. Kun mallia aletaan rakentaa osaksi sovellusta, arvioinnissa keskitytään kyseisen tuotteen käyttäjiin ja työnkulkuun. Lähellä julkaisua hallittuun käyttöönottoon voi kuulua hiljaisia varjokokeiluja, kliinisiä pilotteja tai vaiheittaisia käyttöönottoja. Niiden ohella testataan inhimillisiä tekijöitä ja käytettävyyttä ennen laajempaa saatavuutta.

Kliinisten ja kehitystiimien on määritettävä yhdessä hyväksymisrajat ja arviointikriteerien painotukset kussakin tuotteen kehitysvaiheen päätöspisteessä sovelluksen kliinisen riskiprofiilin perusteella, ei yleispätevien tai mielivaltaisten numeeristen raja-arvojen mukaan. Käyttöönoton jälkeen kehittäjät seuraavat algoritmien ajautumista ja järjestelmän vakautta. Käyttöönottavat organisaatiot seuraavat ammattilaisille tarkoitettujen työkalujen kliinisten työnkulkujen turvallisuutta sekä kuluttajatuotteiden käyttäjien turvallisuutta ja käyttötapoja.

Kirjoittajien mukaan reaktiiviset signaalit, kuten käyttäjien valitukset ja vakavat vaaratapahtumat, eivät yksin riitä käyttöönoton jälkeiseen seurantaan. Testiaineistot eroavat todellisista vuorovaikutustilanteista, ja käyttäjät muuttavat kehotteitaan ja odotuksiaan kokemuksen karttuessa. Seurannan tulosten on vaikutettava vaatimuksiin, koulutukseen ja myöhempiin arviointiprioriteetteihin. Vuorovaikutuksen ja terveystulosten pitkäaikaisempaa seurantaa vaikeuttavat tiedon siiloutuminen sekä yksityisyyteen, teknologiaan ja organisaatioihin liittyvät esteet. Artikkelissa nostetaan esiin myös kehittäjien ja terveydenhuoltojärjestelmien yhteiset vastuut, käyttöönoton kustannukset, riippumaton validointi ja tieteellinen yksimielisyys hallintotyönä, joka on vielä tehtävä.

Kehittäjien ja terveydenhuoltojärjestelmien kannalta viitekehys siirtää huomion siitä, läpäisikö malli staattisen vertailutestin, siihen, pystytäänkö tarkkuus, turvallisuus ja hyödyllisyys osoittamaan koko kehityksen ja käyttöönoton ajan. Keskeinen haaste on käytännönläheinen: seuranta on kytkettävä vastuuvelvollisuuteen samalla, kun vastuut jaetaan, työ rahoitetaan ja tulokset validoidaan riippumattomasti organisaatio- ja datarajojen yli.