Microsofts diagnostische AI presteert beter dan generalistische artsen in onderzoek in Science

Het diagnostische systeem MAI-DxO van Microsoft presteerde bij complexe diagnostische casussen beter dan de deelnemende generalistische artsen. Dat blijkt uit een peer-reviewed onderzoek dat op 22 oktober 2026 in Science is gepubliceerd. Daarin werd voor het systeem een nauwkeurigheid van 83,2% gemeld bij casusdossiers uit het New England Journal of Medicine, tegenover 36,1% voor artsen die naslagwerken raadpleegden.

Het onderzoek, ‘Sequentiële diagnostiek met taalmodellen’, is verschenen in jaargang 394, nummer 6822, pagina’s 423–428 van Science. Het manuscript werd ontvangen op 4 april 2026 en geaccepteerd op 10 augustus 2026. Alle 15 auteurs zijn medewerkers van Microsoft. Onder hen zijn Mustafa Suleyman, topman van Microsoft AI, en Dominic King en Eric Horvitz. In een aankondiging op dezelfde dag zei Microsoft dat het werk ‘vandaag in Science is gepubliceerd’, in het themanummer ‘AI in Medicine’ van het tijdschrift.

Een benchmark rond stapsgewijze diagnostiek

Het artikel introduceert de Sequential Diagnosis Benchmark, of SDBench. Deze zet 304 casussen uit klinisch-pathologische conferenties van het New England Journal of Medicine en 325 contacten die van de spoedeisende hulp tot een ziekenhuisopname leidden, afkomstig uit de dataset MIMIC-IV-ED, om in interactieve diagnostische trajecten in stappen. Elke casus begint met een korte klinische beschrijving. Vervolgens kan de diagnosticus, of dat nu een arts of een AI-systeem is, vragen stellen over de voorgeschiedenis of het lichamelijk onderzoek, diagnostische tests aanvragen of een definitieve diagnose vaststellen. De prestaties worden beoordeeld op diagnostische nauwkeurigheid ten opzichte van de referentiediagnose en op de totale geschatte kosten van de aangevraagde tests.

Twee ondersteunende agents structureren elk diagnostisch traject. Een Gatekeeper-agent beoordeelt elk informatieverzoek aan de hand van het onderliggende casusdossier en genereert diagnostisch neutrale, synthetische resultaten wanneer een aangevraagd gegeven ontbreekt, zodat ontbrekende gegevens het antwoord niet verraden. Een Judge-agent beoordeelt de vastgestelde diagnose ten opzichte van de referentiediagnose aan de hand van een door artsen opgestelde rubric met vijf niveaus. Scores van 4 of 5, die staan voor diagnoses waarbij het beleid ongewijzigd zou blijven, tellen als correct. De testkosten werden geschat op basis van CPT-tarieven, afgeleid van het bestand Kaiser Permanente Washington Central Hospital Standard Charges. Vragen over de voorgeschiedenis en het lichamelijk onderzoek werden daarbij meegerekend in een vast bedrag voor een artsenbezoek.

Binnen de benchmark evalueerden de auteurs de Microsoft AI Diagnostic Orchestrator, in het artikel afgekort tot DxO. Dit modelonafhankelijke systeem simuleert een panel van klinische experts met elkaar aanvullende rollen, past bij elke stap kostenbewust testbeleid toe en combineert diagnoses uit onafhankelijke uitvoeringen. Microsoft beschrijft het systeem in zijn aankondiging als een panel van virtuele artsen dat in verschillende rondes met elkaar in debat gaat. Volgens de auteurs kunnen statische benchmarks, waarbij alle casusinformatie vooraf wordt gegeven en om één antwoord wordt gevraagd, niet meten of een systeem de juiste vragen stelt, onnodig veel tests vermijdt of herkent wanneer het voldoende zekerheid heeft om het diagnostisch onderzoek af te ronden.

Resultaten bij casussen uit het NEJM en van de spoedeisende hulp

Bij de casussen uit klinisch-pathologische conferenties behaalde DxO in combinatie met GPT-5 en zonder budgetbeperkingen een nauwkeurigheid van 83,2%, tegen gemiddelde kosten van $5.431 per casus. Configuraties met kostenbeperkingen haalden een nauwkeurigheid van 80,9% bij $2.241 en 79,6% bij $1.303. Een configuratie gericht op maximale diagnostische nauwkeurigheid behaalde 84,5% bij $8.945. In het bijbehorende artsenonderzoek, dat werd uitgevoerd met 56 casussen die buiten het ontwikkelwerk waren gehouden, stelden deelnemers 764 diagnoses zonder naslagwerken en 662 diagnoses met naslagwerken. De nauwkeurigheid bedroeg gemiddeld 22,3% zonder naslagwerken, bij $3.049 per casus, en 36,1% met naslagwerken, bij $4.725. De best presterende individuele arts behaalde 51,8%. Het artikel meldt ook verschillen in de aanpak van het diagnostisch onderzoek: artsen stelden gemiddeld 5,6 vragen voordat ze hun eerste test aanvroegen, terwijl DxO met GPT-5 er gemiddeld 25,5 stelde. De auteurs omschrijven dit als een uitgebreide, gestructureerde anamnese.

Bij de casussen van de spoedeisende hulp behaalde DxO zonder budgetbeperkingen een nauwkeurigheid van 80,3% bij $4.979 per casus en met budgetbeperkingen 73,2% bij $2.634. Generalistische artsen behaalden gemiddeld 46,8% bij $3.400; de best presterende individuele arts kwam uit op 62,5%. Bij alle modellen die met minimale standaardprompts werden getest, verhoogde de orkestratie door DxO de diagnostische nauwkeurigheid gemiddeld met 7,9 procentpunt bij de casussen uit conferenties en met 4,4 procentpunt bij de casussen van de spoedeisende hulp. Volgens de aankondiging van Microsoft was geen andere geëvalueerde menselijke of AI-aanpak tegelijk nauwkeuriger en goedkoper dan MAI-DxO. Microsoft beschreef het systeem als 1,7 keer zo nauwkeurig als artsen bij casussen van de spoedeisende hulp, meer dan twee keer zo nauwkeurig als artsen die bij de tijdschriftcasussen studieboeken en internet raadpleegden, en bijna vier keer zo nauwkeurig als artsen die zonder die hulpmiddelen een diagnose stelden, tegen de helft tot een derde van de kosten.

DxO werd aanvankelijk ontwikkeld toen GPT-4.1 het krachtigste beschikbare model was en werd later geëvalueerd met GPT-5. Vóór publicatie werd de volledige evaluatiereeks opnieuw uitgevoerd met GPT-5.5, zonder de prompts of orkestratie aan te passen; het nauwkeurigheidsvoordeel ten opzichte van de standaardprompt nam daarbij toe. Een eerdere versie van het onderzoek verscheen op 27 juni 2025 als preprint. Daarin werd een nauwkeurigheid van 80% gemeld met OpenAI’s o3-model, vier keer het gemiddelde van 20% voor artsen, en 85,5% bij een configuratie gericht op maximale nauwkeurigheid. De peer-reviewed versie voegt de casussen van de spoedeisende hulp toe en bevat bijgewerkte evaluaties met GPT-5 en GPT-5.5.

Vermelde beperkingen en verklaringen van de auteurs

De auteurs stellen dat de vergelijkingen geen superioriteit aantonen ten opzichte van specialisten, multidisciplinaire teams of de klinische praktijk in de echte wereld. Ook schrijven ze dat ze verwachten dat de prestatiekloof kleiner wordt wanneer het systeem wordt vergeleken met expertspecialisten of teams die op elk geval zijn afgestemd. Ze merken op dat de gemeten voordelen groter uitvallen in een gecontroleerde simulatie, waarin onzekere patiëntgeschiedenissen, onvolledige documentatie, de vertrouwensband met de patiënt, langdurige follow-up en multimodale gegevens, zoals beeldmateriaal en pathologieglaasjes, buiten beschouwing blijven. Ook kunnen de casussen uit het tijdschrift relatief vaak diagnostisch uitdagende presentaties bevatten. Een andere genoemde beperking is dat het systeem werd vergeleken met individuele artsen in plaats van met multidisciplinaire samenwerking. Bovendien beoordeelt het beoordelingskader van Judge de diagnostische juistheid op ziekteniveau, en niet de geschiktheid van de behandeling, de veiligheid of de langdurige zorg.

In de openbaarmakingen bij het artikel verklaren de auteurs dat ze allemaal bij Microsoft werken en een aandelenbelang in het bedrijf hebben, dat verschillende van hen uitvinders zijn op een octrooiaanvraag van Microsoft voor een geautomatiseerd evaluatiekader voor sequentiële diagnose, en dat er voor de onderzoeken geen financiering van buiten Microsoft is verkregen.

Open source en klinische samenwerkingen

Microsoft zei SDBench open source te maken voor een selectie van NEJM-casussen, waaronder de benchmark, Gatekeeper, Judge en code voor kostenraming. De code is beschikbaar op GitHub onder de MIT-licentie, met een configuratie met de naam “science” die de versies vastlegt van de gatekeeper en judge die zijn gebruikt voor de resultaten in het artikel. Volgens de SDBench-projectsite is voor de dataset op basis van de tijdschriftcasussen een licentie van NEJM Group vereist, wordt de MIMIC-subset via PhysioNet verspreid onder voorwaarde van accreditatie en worden vijf volledig synthetische casussen meegeleverd als de standaard open dataset.

Een begeleidend position paper, ‘Medische superintelligentie: grondslagen en ambities’, introduceert zes onderling afhankelijke dimensies van medische intelligentie. Het stelt dat het overschrijden van de drempel naar medische superintelligentie „meer vereist dan bovenmenselijke prestaties op afzonderlijke taken”: systemen moeten de sterkste door mensen geleide zorgsystemen van vandaag overtreffen in geïntegreerd medisch redeneren gedurende het volledige zorgtraject. In de aankondiging van Microsoft staat dat het artikel is gepubliceerd in BMJ Digital Health and AI. Het bedrijf zei ook dat het zorgteams uit heel Microsoft, waaronder wetenschappers van Microsoft Research en de teams achter Dragon Copilot en PowerScribe, samenbrengt in een geïntegreerd initiatief bij Microsoft AI. Ook verwees het naar de eerder aangekondigde samenwerking met Mayo Clinic; volgens een aankondiging van 2 juni 2026 ontwikkelen de organisaties een grensverleggend AI-model voor de gezondheidszorg, dat eigendom zal zijn van Mayo Clinic en dat Microsoft via Azure Foundry-API’s beschikbaar wil stellen.

Microsoft zei dat het dankzij een nieuwe samenwerking met Beth Israel Deaconess Medical Center in Boston de klinische redeneercapaciteiten in verschillende ziekenhuisomgevingen zal evalueren in een prospectief onderzoek. Daarin hebben patiënten rechtstreeks contact met het systeem en worden de prestaties vergeleken met onafhankelijke beoordelingen door artsen.