Google offentliggør rammeværk med flere metoder til evaluering af AI på sundhedsområdet

Google annoncerede en hvidbog den 4. november 2026, som beskriver, hvordan virksomheden evaluerer generativ AI til generelle formål på sundhedsområdet. Rammeværket kombinerer benchmarks med lukkede spørgsmål, AI-bedømmere og ekspertvurderinger foretaget af mennesker for at vurdere nøjagtighed, sikkerhed og nytteværdi på tværs af almindelige scenarier og scenarier med høj risiko.

Forfatteren, Dr. Sarah Montgomery-Taylor, er leder for klinisk evaluering hos Google for Health; Dr. Elizabeth McGlynn og Dr. Dana Gelb Safran samarbejdede om arbejdet. Google siger, at virksomheden udviklede metoden og fortsat bruger den til at vurdere, om dens modeller leverer nyttige og nøjagtige svar, der understøtter sikre sundhedsrelaterede interaktioner. Offentliggørelsen af metoden skal fremme gennemsigtighed og hjælpe udviklere, forskere og klinikere med at skabe værktøjer, som folk kan have tillid til.

Evaluering med udgangspunkt i reel klinisk anvendelse

Forfatterne hævder, at evalueringsmetoder, der er udviklet til isolerede opgaver, ikke dækker modeller til generelle formål tilstrækkeligt. Som eksempel nævner de en model fra tiden før generativ AI, der kan opdage lungekræft på en CT-scanning, men ikke kan opdage brystkræft på et mammografi eller opsummere en samtale i et notat. Når én model kan håndtere hundredvis, tusindvis eller endnu flere opgaver, har udviklere og sundhedsorganisationer brug for en måde at prioritere interaktioner og risici på.

Før de vælger testtilfælde, kortlægger evaluatorerne en kritisk brugerrejse: hvem der bruger systemet, hvad de ønsker at opnå, og hvilke trin der indgår. Brugerne kan være patienter, familiemedlemmer, klinikere eller administratorer. Kortlægningen danner grundlag for repræsentative testdata og målepunkter. Den omfatter også den tilsigtede anvendelse og almindelige former for misbrug, herunder brug uden for det godkendte anvendelsesområde og forsøg på at omgå sikkerhedsfiltre.

Hver anvendelse vurderes derefter inden for tre områder. Nøjagtighed omfatter lægefaglig konsensus, evidensgrundlag, faktuel korrekthed, klinisk ræsonnering og relevans i konteksten, og for opgaver som medicinsk opsummering indgår også kildeunderbygning. Sikkerhed handler ikke kun om, hvorvidt udsagn er korrekte, men også om den skade, der kan opstå, hvis nogen fortolker et svar og handler på det eller undlader at handle. Vurderingerne tager højde for både skadens alvor og sandsynlighed. Nytteværdi handler om sundhedskompetence, relevans, fyldestgørende indhold, og om modtageren kan handle på baggrund af svaret. Et svar kan derfor være nøjagtigt, men usikkert, eller nøjagtigt og sikkert, men alligevel for komplekst eller umuligt at omsætte til handling til at hjælpe brugeren.

Eksemplerne i artiklen viser, hvordan den primære risiko ændrer sig alt efter opgaven. Når en forbruger undersøger symptomer, er den vigtigste sikkerhedsrisiko, at advarselssymptomer, der kræver akut behandling, ikke fremhæves; et overdrevent alarmerende svar kan i stedet skabe unødig bekymring, mens uklar vejledning til selvvurdering kan hindre passende næste skridt. I et AI-udarbejdet udskrivningsresume til en kliniker truer hallucinationer, udeladelser og faktuelle fejl nøjagtigheden, oversete allergier eller kontraindiceret medicin udgør sikkerhedsrisici, og forvirrende formatering eller inkonsekvente tidsforløb kan mindske nytteværdien.

Kombination af automatisering i stor skala og menneskelig vurdering

Den første evalueringsmetode bygger på test med entydige svar, såsom multiple choice-spørgsmål, som gør det forholdsvis billigt at kontrollere store mængder grundlæggende viden. Statiske test kan ikke genskabe kompleksiteten og repræsentativiteten i virkelige interaktioner. Datakontaminering er en anden begrænsning: Når testspørgsmål indgår i træningsdata, kan resultaterne afspejle forberedelse til testen snarere end generaliseret medicinsk ræsonnering. Rammeværket bruger derfor disse benchmarks til at fastlægge et udgangspunkt og målrette den efterfølgende evaluering, mens der er brug for yderligere metoder til at validere præstationer i den virkelige verden.

Den anden metode lader et andet AI-system stå for bedømmelsen. Disse AI-bedømmere anvender skriftlige vurderingskriterier på åbne svar, så man kan undersøge langt flere scenarier, end eksperter med rimelighed ville kunne bedømme. De kan vurdere simulerede samtaler over flere turtagninger, hvor brugerne i første omgang tilbageholder kliniske oplysninger, for at teste, om modellen stiller opklarende spørgsmål, før den giver vejledning. Automatiske bedømmere skal stadig valideres mod referencedata udarbejdet af eksperter, fordi de kan belønne lange svar, foretrække svar fra deres egen modelserie og videreføre støj i menneskelige annoteringer.

Klinikere og andre fageksperter undersøger derefter de tilfælde, hvor automatiske vurderingskriterier er svagest, herunder komplekse symptombilleder, grænsetilfælde og emner med begrænset klinisk konsensus. De vurderer også, om resultatet passer til lokale kliniske normer og forskellige patientgrupper. Separate red-team-tests afprøver sikkerhedsgrænser ved hjælp af taktikker som følelsesladede appeller, fiktive rammer eller udgivelse for at være sundhedspersonale med det formål at fremkalde svar uden for produktets tilsigtede anvendelsesområde. Menneskelig vurdering er også fejlbarlig: Forfatterne bemærker, at to læger kan være uenige i 30–40 % eller mere af vurderingerne i en bedømmelsesopgave, hvilket gør det nødvendigt at tage højde for variation mellem bedømmere og foretage passende analyser.

Overvågningen fortsætter efter udrulning

Evalueringen begynder, før et produkt findes, med test af grundmodellens generelle evner og sikkerhed. Når modellen bygges ind i en applikation, tilpasses evalueringen til produktets brugere og arbejdsgange. Tæt på lanceringen kan en kontrolleret udrulning omfatte skyggeafprøvninger i baggrunden, kliniske pilotforsøg eller trinvise udrulninger, suppleret med test af menneskelige faktorer og brugervenlighed, før produktet bliver bredere tilgængeligt.

Kliniske teams og udviklingsteams skal sammen fastsætte beståelsesgrænser og vægtningen af bedømmelseskriterier ved hvert beslutningspunkt i produktudviklingen ud fra applikationens kliniske risikoprofil, ikke ud fra universelle eller vilkårlige numeriske grænseværdier. Efter idriftsættelsen følger udviklerne den algoritmiske drift og systemets stabilitet. Organisationer, der tager værktøjerne i brug, overvåger sikkerheden i de kliniske arbejdsgange for professionelle værktøjer og brugersikkerheden og brugsmønstrene for forbrugerprodukter.

Forfatterne siger, at reaktive signaler som brugerklager og alvorlige hændelser ikke i sig selv kan danne grundlag for overvågning efter idriftsættelsen. Testsæt adskiller sig fra virkelige interaktioner, og brugerne ændrer deres prompts og forventninger, efterhånden som de får erfaring. Resultaterne af overvågningen skal føre tilbage til krav, træning og efterfølgende evalueringsprioriteter. Langsigtet overvågning af interaktioner og sundhedsresultater støder på datasiloer samt hindringer af hensyn til privatlivets fred og af teknisk og organisatorisk art. Artiklen peger også på fælles ansvar for udviklere og sundhedssystemer, implementeringsomkostninger, uafhængig validering og videnskabelig konsensus som uløste opgaver inden for styring.

For udviklere og sundhedssystemer flytter rammeværket spørgsmålet fra, om en model har bestået en statisk benchmarktest, til, om det kan dokumenteres, at den er præcis, sikker og nyttig gennem hele udviklingen og idriftsættelsen. Den centrale udfordring er praktisk: at forbinde overvågning med ansvarlighed og samtidig placere ansvaret, finansiere arbejdet og validere resultaterne uafhængigt på tværs af organisatoriske og datamæssige skel.