Google publicerar ramverk med flera metoder för att utvärdera AI inom hälso- och sjukvården

Google meddelade den 4 november 2026 att företaget publicerar en vitbok som beskriver hur det utvärderar generativ AI för allmänna ändamål inom hälso- och sjukvården. Ramverket kombinerar riktmärken med frågor som har entydiga svar, automatiska AI-bedömare och expertgranskning för att bedöma korrekthet, säkerhet och användbarhet i vanliga scenarier och högriskscenarier.

Författaren, dr Sarah Montgomery-Taylor, leder klinisk utvärdering på Google for Health. Dr Elizabeth McGlynn och dr Dana Gelb Safran samarbetade i arbetet. Google uppger att företaget utvecklade metoden och fortsätter att använda den för att bedöma om modellerna ger användbara och korrekta svar som bidrar till säkra interaktioner inom hälso- och sjukvården. Genom att publicera metoden vill företaget främja transparens och hjälpa utvecklare, forskare och kliniker att bygga verktyg som människor kan lita på.

Anpassa utvärderingen till klinisk användning i praktiken

Författarna menar att utvärderingsmetoder som utformats för enskilda uppgifter inte täcker modeller för allmänna ändamål tillräckligt väl. De tar som exempel en modell från tiden före generativ AI som kan upptäcka lungcancer på en datortomografi men inte upptäcka bröstcancer på ett mammogram eller sammanfatta ett samtal i en anteckning. När en enda modell kan hantera hundratals, tusentals eller ännu fler uppgifter behöver utvecklare och hälso- och sjukvårdsorganisationer ett sätt att prioritera interaktioner och risker.

Innan utvärderarna väljer testfall kartlägger de en kritisk användarresa: vem som använder systemet, vad personen vill åstadkomma och vilka steg som ingår. Användarna kan vara patienter, familjemedlemmar, kliniker eller administratörer. Kartläggningen vägleder valet av representativa testdata och mätvärden. Den omfattar också avsedd användning och vanliga former av felanvändning, däribland förlitan på användning utanför godkänd indikation och försök att kringgå säkerhetsfilter.

Därefter bedöms varje tillämpning inom tre områden. Korrekthet omfattar medicinsk samsyn, evidensstöd, faktamässig riktighet, kliniskt resonemang och lämplighet utifrån sammanhanget. För uppgifter som medicinsk sammanfattning bedöms även hur väl innehållet är förankrat i källor. Säkerhet handlar inte bara om huruvida påståenden är korrekta, utan också om vilken skada som kan uppstå när någon tolkar ett svar och agerar utifrån det, eller låter bli att agera. Bedömningarna beaktar både skadans allvarlighetsgrad och sannolikhet. Användbarhet handlar om hälsolitteracitet, relevans, fullständighet och om någon kan agera utifrån svaret. Ett svar kan därför vara korrekt men osäkert, eller korrekt och säkert men ändå för komplicerat eller omöjligt att omsätta i handling för att hjälpa användaren.

Exemplen i artikeln visar hur den främsta risken varierar beroende på uppgiften. När en person söker information om sina symtom är den viktigaste säkerhetsrisken att varningssymtom som kräver akut vård inte uppmärksammas. Ett överdrivet alarmistiskt svar kan i stället skapa onödig oro, medan otydliga råd om egen bedömning kan försvåra lämpliga nästa steg. I ett AI-genererat utkast till en klinikers utskrivningssammanfattning hotar hallucinationer, utelämnanden och faktafel korrektheten. Förbisedda allergier eller kontraindicerade läkemedel medför säkerhetsrisker, och förvirrande formatering eller tidslinjer som inte stämmer överens kan minska användbarheten.

Kombinera automatiserad skalbarhet med mänskligt omdöme

Den första utvärderingsmetoden bygger på test med entydiga svar, exempelvis flervalsfrågor. På så sätt går det att genomföra stora mängder grundläggande kunskapskontroller till relativt låg kostnad. Statiska test kan inte återskapa verkliga interaktioners komplexitet eller representativitet. Datakontaminering är en annan begränsning: när testfrågorna förekommer i träningsdata kan resultaten spegla förberedelser inför testet snarare än ett generaliserbart medicinskt resonemang. Ramverket använder därför dessa riktmärken för att fastställa en baslinje och vägleda senare utvärdering. Ytterligare metoder behövs för att validera prestanda i verkliga situationer.

Den andra metoden låter ett annat AI-system sätta poäng. Dessa automatiska AI-bedömare tillämpar skriftliga bedömningskriterier på öppna svar, vilket gör det möjligt att granska många fler scenarier än vad expertgranskare rimligen skulle kunna bedöma. De kan utvärdera simulerade samtal i flera omgångar där användarna inledningsvis utelämnar kliniska uppgifter. På så sätt prövas om modellen ställer klargörande frågor innan den ger vägledning. Automatiska bedömare måste fortfarande valideras mot referensdata som experter har tagit fram, eftersom de kan premiera utförliga svar, föredra svar från sin egen modellfamilj och föra vidare brusiga mänskliga annoteringar.

Kliniker och andra ämnesexperter granskar sedan de fall där automatiserade bedömningskriterier fungerar sämst, däribland komplexa symtombilder, gränsfall och ämnen där den kliniska samsynen är begränsad. De bedömer också om resultatet stämmer överens med lokala kliniska normer och olika patientgruppers förutsättningar. Separata säkerhetstester med red teaming prövar säkerhetsgränser genom metoder som känslomässiga vädjanden, fiktiva inramningar eller att anta rollen som vårdpersonal för att förmå systemet att generera innehåll utanför produktens avsedda användningsområde. Även mänsklig granskning är felbar: författarna noterar att två läkare kan skilja sig åt med 30–40 % eller mer i en bedömningsuppgift. Därför behövs kontroller för variation mellan bedömare och lämpliga analyser.

Uppföljningen fortsätter efter driftsättning

Utvärderingen börjar innan det finns en produkt, med tester av grundmodellens allmänna förmågor och säkerhet. När modellen byggs in i en tillämpning anpassas utvärderingen till produktens användare och arbetsflöde. Inför lansering kan en kontrollerad driftsättning omfatta skuggtester i tyst läge, kliniska pilotprojekt eller stegvis lansering, tillsammans med tester av mänskliga faktorer och användbarhet innan produkten blir mer allmänt tillgänglig.

Kliniska team och utvecklingsteam måste gemensamt fastställa godkännandetrösklar och viktningen av bedömningskriterier vid varje beslutspunkt i produktutvecklingen, utifrån applikationens kliniska riskprofil i stället för universella eller godtyckliga numeriska gränsvärden. Efter driftsättning följer utvecklarna algoritmisk drift och systemstabilitet. Organisationer som inför verktygen övervakar säkerheten i kliniska arbetsflöden för professionella verktyg respektive användarsäkerhet och användningsmönster för konsumentprodukter.

Författarna säger att reaktiva signaler, som användarklagomål och sentinelhändelser, inte ensamma kan ligga till grund för övervakning efter driftsättning. Testuppsättningar skiljer sig från verkliga interaktioner, och användarna ändrar sina instruktioner och förväntningar i takt med att de får mer erfarenhet. Resultat från övervakningen måste återföras till krav, träning och efterföljande utvärderingsprioriteringar. Långsiktig övervakning av interaktioner och hälsoutfall möter hinder i form av datasilor samt integritetsmässiga, tekniska och organisatoriska svårigheter. I artikeln pekas även gemensamt ansvar för utvecklare och hälso- och sjukvårdssystem, implementeringskostnader, oberoende validering och vetenskaplig samsyn ut som styrningsarbete som återstår att utföra.

För utvecklare och hälso- och sjukvårdssystem innebär ramverket att frågan inte längre är om en modell klarade ett statiskt riktmärke, utan om dess träffsäkerhet, säkerhet och användbarhet kan påvisas under hela utvecklingen och driftsättningen. Den centrala utmaningen är praktisk: att koppla övervakningen till ansvarsutkrävande och samtidigt fördela ansvaret, finansiera arbetet och validera resultaten oberoende över organisatoriska gränser och datagränser.