Google publiceert een raamwerk met meerdere methoden voor de evaluatie van AI in de gezondheidszorg

Google maakte bekend dat het op 4 november 2026 een whitepaper publiceert waarin wordt uiteengezet hoe het generatieve AI voor algemene doeleinden in de gezondheidszorg evalueert. Het raamwerk combineert benchmarks met gesloten vragen, AI-beoordelaars en beoordeling door menselijke experts om de nauwkeurigheid, veiligheid en bruikbaarheid te beoordelen in veelvoorkomende scenario’s en scenario’s met een hoog risico.

De auteur, dr. Sarah Montgomery-Taylor, is hoofd klinische evaluatie bij Google for Health; dr. Elizabeth McGlynn en dr. Dana Gelb Safran werkten mee aan het onderzoek. Google zegt dat het deze aanpak heeft ontwikkeld en nog steeds gebruikt om te beoordelen of zijn modellen bruikbare, nauwkeurige antwoorden geven die veilige interacties in de gezondheidszorg ondersteunen. De publicatie van de methodologie is bedoeld om de transparantie te bevorderen en ontwikkelaars, onderzoekers en clinici te helpen hulpmiddelen te bouwen die mensen kunnen vertrouwen.

Evaluatie afstemmen op de klinische praktijk

De auteurs stellen dat evaluatiemethoden die zijn ontwikkeld voor afzonderlijke taken niet volstaan om modellen voor algemene doeleinden goed te beoordelen. Ze geven als voorbeeld een model van vóór de opkomst van generatieve AI dat longkanker op een CT-scan kan opsporen, maar geen borstkanker op een mammogram kan detecteren en een gesprek niet kan samenvatten in een verslag. Wanneer één model honderden, duizenden of nog meer taken kan uitvoeren, hebben ontwikkelaars en zorgorganisaties een manier nodig om interacties en risico’s te prioriteren.

Voordat evaluatoren testgevallen kiezen, brengen ze een kritisch gebruikerstraject in kaart: wie het systeem gebruikt, wat diegene wil bereiken en welke stappen daarvoor nodig zijn. Gebruikers kunnen onder meer patiënten, familieleden, clinici of beheerders zijn. Deze inventarisatie vormt de basis voor representatieve testgegevens en meetcriteria. Ook brengt ze het beoogde gebruik en veelvoorkomende vormen van verkeerd gebruik in kaart, waaronder gebruik buiten de goedgekeurde indicatie en pogingen om veiligheidsfilters te omzeilen.

Vervolgens wordt elke toepassing op drie domeinen beoordeeld. Bij nauwkeurigheid gaat het om medische consensus, onderbouwing met bewijs, feitelijke juistheid, klinisch redeneren en passendheid in de context. Bij taken zoals medische samenvattingen wordt ook beoordeeld of de informatie op bronnen is gebaseerd. Bij veiligheid wordt niet alleen gekeken of uitspraken juist zijn, maar ook welke schade kan ontstaan wanneer iemand een antwoord interpreteert en ernaar handelt, of juist niet handelt. Bij de beoordelingen wordt zowel de ernst als de waarschijnlijkheid van die schade meegewogen. Bruikbaarheid omvat gezondheidsvaardigheden, relevantie, volledigheid en de vraag of iemand iets met het antwoord kan doen. Een antwoord kan daardoor nauwkeurig maar onveilig zijn, of nauwkeurig en veilig, maar te ingewikkeld of niet praktisch genoeg om de gebruiker te helpen.

De voorbeelden in het artikel laten zien hoe het voornaamste risico per taak verschilt. Voor iemand die als consument symptomen controleert, is het belangrijkste veiligheidsrisico dat alarmsymptomen die spoedeisende zorg vereisen niet worden benoemd. Een overdreven alarmerend antwoord kan daarentegen onnodige angst veroorzaken, terwijl onduidelijke aanwijzingen voor zelfbeoordeling passende vervolgstappen kunnen belemmeren. Bij een door AI opgesteld ontslagverslag voor een clinicus vormen hallucinaties, weglatingen en feitelijke fouten een bedreiging voor de nauwkeurigheid; gemiste allergieën of gecontra-indiceerde medicatie leveren veiligheidsrisico’s op; en verwarrende opmaak of inconsistente tijdlijnen kunnen de bruikbaarheid verminderen.

Geautomatiseerde schaal combineren met menselijk oordeel

De eerste evaluatiemethode bestaat uit tests met eenduidige antwoorden, zoals meerkeuzevragen. Daarmee kunnen grote hoeveelheden basiskennis relatief goedkoop worden getoetst. Statische tests kunnen de complexiteit en representativiteit van echte interacties niet nabootsen. Ook datavervuiling vormt een beperking: wanneer testvragen in de trainingsgegevens voorkomen, kunnen de resultaten eerder laten zien hoe goed het model op de test is voorbereid dan hoe goed het algemeen medisch kan redeneren. Het raamwerk gebruikt deze benchmarks daarom om een uitgangsniveau vast te stellen en richting te geven aan latere evaluaties. Voor het valideren van prestaties in de praktijk zijn aanvullende methoden nodig.

Bij de tweede methode wordt een ander AI-systeem ingezet om antwoorden te beoordelen. Deze AI-beoordelaars passen schriftelijke beoordelingscriteria toe op open antwoorden, zodat veel meer scenario’s kunnen worden onderzocht dan deskundige beoordelaars redelijkerwijs zouden kunnen beoordelen. Ze kunnen gesimuleerde gesprekken met meerdere beurten beoordelen waarin gebruikers aanvankelijk klinische details achterhouden. Zo wordt getest of het model om verduidelijking vraagt voordat het advies geeft. Geautomatiseerde beoordelaars moeten nog steeds worden gevalideerd aan de hand van referentiegegevens die door experts zijn opgesteld, omdat ze uitvoerige antwoorden kunnen belonen, de voorkeur kunnen geven aan antwoorden van hun eigen modelfamilie en ruis in menselijke annotaties kunnen doorgeven.

Clinici en andere deskundigen beoordelen vervolgens gevallen waarbij geautomatiseerde beoordelingscriteria het minst betrouwbaar zijn, waaronder complexe ziektebeelden, uitzonderingsgevallen en onderwerpen waarover weinig klinische consensus bestaat. Ook beoordelen ze of de uitvoer aansluit bij lokale klinische normen en uiteenlopende patiëntengroepen. Bij afzonderlijke red-teamingtests worden veiligheidsgrenzen getest met tactieken als emotionele smeekbedes, fictieve scenario’s of het aannemen van de rol van een zorgprofessional om het systeem ertoe te brengen antwoorden te geven buiten het beoogde toepassingsgebied van een product. Ook menselijke beoordelingen zijn feilbaar: volgens de auteurs kunnen twee artsen bij een beoordelingstaak 30–40% of meer van elkaar verschillen. Daarom zijn maatregelen nodig om beoordelaarsvariatie te beheersen en de resultaten passend te analyseren.

Monitoring gaat door na implementatie

De evaluatie begint al voordat een product bestaat, met tests van de algemene mogelijkheden en veiligheid van het basismodel. Zodra het model in een toepassing wordt ingebouwd, wordt de evaluatie afgestemd op de gebruikers en werkprocessen van dat specifieke product. In de aanloop naar de introductie kan een gecontroleerde implementatie bestaan uit stille schaduwtests, klinische pilots of gefaseerde uitrol. Daar gaan tests van menselijke factoren en gebruiksvriendelijkheid aan vooraf, voordat het product breder beschikbaar komt.

Klinische teams en ontwikkelteams moeten bij elke beslismijlpaal voor een product samen de slaaggrens en de weging van de beoordelingscriteria vaststellen, op basis van het klinische risicoprofiel van de toepassing en niet van universele of willekeurige numerieke grenswaarden. Na implementatie volgen ontwikkelaars algoritmische drift en de stabiliteit van het systeem. Organisaties die de producten invoeren, houden bij professionele hulpmiddelen toezicht op de veiligheid van klinische werkprocessen en bij consumentenproducten op de veiligheid van gebruikers en gebruikspatronen.

Volgens de auteurs kunnen reactieve signalen, zoals klachten van gebruikers en ernstige incidenten, op zichzelf niet volstaan voor monitoring na implementatie. Testsets verschillen van interacties in de praktijk, en gebruikers passen hun prompts en verwachtingen aan naarmate ze meer ervaring opdoen. Bevindingen uit de monitoring moeten worden teruggekoppeld naar de vereisten, de training en de prioriteiten voor volgende evaluaties. Langdurige monitoring van interacties en gezondheidsuitkomsten stuit op datasilo’s en op privacygerelateerde, technische en organisatorische obstakels. Het artikel noemt ook gedeelde verantwoordelijkheden van ontwikkelaars en zorgstelsels, implementatiekosten, onafhankelijke validatie en wetenschappelijke consensus als governancevraagstukken die nog moeten worden aangepakt.

Voor ontwikkelaars en zorgstelsels verschuift het raamwerk de vraag van de vraag of een model een statische benchmark heeft gehaald naar de vraag of de nauwkeurigheid, veiligheid en bruikbaarheid ervan gedurende de ontwikkeling en implementatie kunnen worden aangetoond. De centrale uitdaging is praktisch: monitoring koppelen aan verantwoording, terwijl verantwoordelijkheden worden toegewezen, het werk wordt gefinancierd en resultaten onafhankelijk worden gevalideerd, ook over organisatie- en datagrenzen heen.