Google publiserer rammeverk med flere metoder for å evaluere KI i helsevesenet

Google kunngjorde en hvitbok 4. november 2026, der selskapet beskriver hvordan det evaluerer generativ KI for helseformål som er laget for generell bruk. Rammeverket kombinerer tester med lukkede spørsmål, KI-baserte vurderingssystemer og ekspertgjennomgang for å vurdere nøyaktighet, sikkerhet og nytte i vanlige situasjoner og høyrisikosituasjoner.

Forfatteren, dr. Sarah Montgomery-Taylor, leder arbeidet med klinisk evaluering hos Google for Health; dr. Elizabeth McGlynn og dr. Dana Gelb Safran samarbeidet om arbeidet. Google sier at selskapet utviklet metoden og fortsatt bruker den til å vurdere om modellene gir nyttige og nøyaktige svar som bidrar til trygge helseinteraksjoner. Målet med å publisere metodikken er å fremme åpenhet og hjelpe utviklere, forskere og klinikere med å lage verktøy folk kan stole på.

Tilpasse evalueringen til faktisk klinisk bruk

Forfatterne mener at evalueringsmetoder som er utviklet for avgrensede oppgaver, ikke dekker modeller for generell bruk godt nok. De trekker fram en modell fra tiden før generativ KI, som kan oppdage lungekreft på en CT-skanning, men ikke oppdage brystkreft på et mammogram eller oppsummere en samtale i et notat. Når én modell kan håndtere hundrevis, tusenvis eller enda flere oppgaver, trenger utviklere og helseorganisasjoner en måte å prioritere interaksjoner og risiko på.

Før de velger testtilfeller, kartlegger evaluatorene en kritisk brukerreise: hvem som bruker systemet, hva de ønsker å oppnå, og hvilke trinn som inngår. Brukerne kan være pasienter, familiemedlemmer, klinikere eller administratorer. Kartleggingen legger grunnlaget for representative testdata og måleparametere. Den omfatter også tiltenkt bruk og vanlige former for feilbruk, blant annet bruk utenfor godkjent indikasjon og forsøk på å omgå sikkerhetsfiltre.

Deretter vurderes hver applikasjon på tre områder. Nøyaktighet omfatter medisinsk konsensus, dokumentasjonsgrunnlag, faktakorrekthet, klinisk resonnering og relevans i konteksten. For oppgaver som medisinsk oppsummering vurderes også om svarene er forankret i kilder. Sikkerhet handler ikke bare om hvorvidt utsagnene er korrekte, men også om hvilken skade som kan oppstå dersom noen tolker et svar og handler på det eller unnlater å handle. Vurderingene tar hensyn til både hvor alvorlig skaden kan være, og hvor sannsynlig den er. Nytte omfatter helsekompetanse, relevans, fullstendighet og hvorvidt noen kan handle ut fra svaret. Et svar kan derfor være nøyaktig, men utrygt, eller nøyaktig og trygt, men likevel for komplisert eller lite handlingsrettet til å være til hjelp for brukeren.

Eksemplene i artikkelen viser hvordan den viktigste risikoen varierer med oppgaven. Når en forbruker undersøker symptomer, er den sentrale sikkerhetsrisikoen at alvorlige faresignaler som krever rask behandling, ikke blir fremhevet. Et unødig alarmistisk svar kan i stedet skape unødvendig angst, mens uklare råd om egenvurdering kan gjøre det vanskeligere å ta riktige neste steg. I en KI-generert utskrivningsoppsummering for en kliniker truer hallusinasjoner, utelatelser og faktiske feil nøyaktigheten; oversette allergier eller kontraindiserte legemidler skaper sikkerhetsrisiko, og forvirrende formatering eller tidslinjer som ikke stemmer overens, kan redusere nytten.

Kombinere automatisering i stor skala med menneskelig skjønn

Den første evalueringsmetoden bygger på tester med entydige svar, for eksempel flervalgsoppgaver. De gjør det relativt rimelig å gjennomføre et stort antall grunnleggende kunnskapstester. Statiske tester kan ikke gjenskape kompleksiteten og representativiteten i reelle interaksjoner. Datakontaminering er en annen begrensning: Når testspørsmål inngår i treningsdataene, kan resultatene gjenspeile forberedelser til testen snarere enn generell medisinsk resonnering. Rammeverket bruker derfor disse referansetestene til å etablere et utgangspunkt og styre den videre evalueringen, men det trengs flere metoder for å validere ytelsen i virkelige situasjoner.

Den andre metoden lar et annet KI-system stå for poengsettingen. Disse automatiske vurderingssystemene bruker skriftlige kriterier på åpne svar, slik at de kan undersøke langt flere situasjoner enn eksperter med rimelighet kan vurdere. De kan evaluere simulerte samtaler med flere utvekslinger, der brukerne i utgangspunktet holder tilbake kliniske opplysninger. Slik kan man teste om modellen stiller oppklarende spørsmål før den gir råd. Automatiske vurderingssystemer må likevel valideres mot referansedata utarbeidet av eksperter, fordi de kan belønne omstendelige svar, foretrekke svar fra sin egen modellfamilie og videreføre støy i menneskelige annoteringer.

Klinikere og andre fageksperter undersøker deretter tilfeller der automatiske vurderingskriterier fungerer dårligst, blant annet komplekse symptombilder, grensetilfeller og temaer der den kliniske konsensusen er begrenset. De vurderer også om resultatet passer med lokale kliniske normer og ulike pasientgrupper. Separate sikkerhetstester utført av eksperter prøver å avdekke hvor sikkerhetsgrensene går, med metoder som følelsesladde appeller, fiktive rammer eller en rollefigur som helsepersonell for å få fram svar utenfor produktets tiltenkte bruksområde. Menneskelig gjennomgang er heller ikke feilfri: Forfatterne påpeker at to leger kan gi vurderinger som avviker med 30–40 % eller mer i en vurderingsoppgave. Derfor trengs tiltak for å håndtere variasjon mellom vurderere, samt hensiktsmessige analyser.

Oppfølgingen fortsetter etter lansering

Evalueringen begynner før det finnes et produkt, med tester av grunnmodellens generelle evner og sikkerhet. Når modellen bygges inn i en applikasjon, tilpasses evalueringen produktets brukere og arbeidsflyt. Rett før lansering kan en kontrollert utrulling omfatte stille skyggeutprøvinger, kliniske pilotprosjekter eller trinnvis innføring. Dette følges av testing av menneskelige faktorer og brukervennlighet før produktet blir tilgjengelig for flere.

Kliniske team og utviklingsteam må sammen fastsette beståttgrenser og vektingen av vurderingskriteriene ved hvert beslutningspunkt i produktutviklingen, basert på applikasjonens kliniske risikoprofil, ikke på universelle eller vilkårlige tallgrenser. Etter utrulling følger utviklerne med på algoritmisk drift og systemstabilitet. Organisasjoner som tar løsningene i bruk, overvåker sikkerheten i kliniske arbeidsflyter for profesjonelle verktøy, eller brukernes sikkerhet og bruksmønstre for forbrukerprodukter.

Forfatterne sier at reaktive signaler som brukerklager og alvorlige hendelser ikke kan være grunnlaget for overvåking etter utrulling alene. Testsett skiller seg fra virkelige interaksjoner, og brukerne endrer instruksjonene de gir og forventningene sine etter hvert som de får erfaring. Funn fra overvåkingen må føres tilbake til kravene, opplæringen og prioriteringene for senere evaluering. Langsiktig overvåking av interaksjoner og helseutfall møter utfordringer i form av datasiloer samt personvernmessige, tekniske og organisatoriske hindringer. Artikkelen peker også på delt ansvar mellom utviklere og helsesystemer, implementeringskostnader, uavhengig validering og vitenskapelig konsensus som styringsarbeid som gjenstår.

For utviklere og helsesystemer flytter rammeverket spørsmålet fra om en modell har bestått en statisk referansetest, til om nøyaktighet, sikkerhet og nytte kan dokumenteres gjennom hele utviklings- og utrullingsløpet. Hovedutfordringen er praktisk: å knytte overvåking til ansvarliggjøring, samtidig som man fordeler ansvaret, finansierer arbeidet og validerer resultatene uavhengig på tvers av organisatoriske grenser og datagrenser.