Microsofts diagnostiske AI klarer sig bedre end generalistlæger i Science-studie

Microsofts diagnostiske system MAI-DxO klarede sig bedre end de deltagende generalistlæger i komplekse diagnostiske tilfælde i et fagfællebedømt studie, der blev offentliggjort den 22. oktober 2026 i Science. Her blev systemets nøjagtighed på journaloplysninger fra New England Journal of Medicine opgjort til 83,2 % mod 36,1 % for læger, der brugte opslagsværker.

Studiet, ”Sekventiel diagnosticering med sprogmodeller”, er offentliggjort i Science, bind 394, nummer 6822, side 423–428; det blev modtaget den 4. april 2026 og accepteret den 10. august 2026. Alle 15 forfattere er ansat hos Microsoft, og blandt dem er Microsoft AI’s administrerende direktør Mustafa Suleyman samt Dominic King og Eric Horvitz. I en meddelelse samme dag oplyste Microsoft, at arbejdet ”offentliggøres i dag i Science” i tidsskriftets nummer ”AI in Medicine”.

Et benchmark bygget op omkring trinvis diagnosticering

Artiklen introducerer Sequential Diagnosis Benchmark, eller SDBench, som omdanner 304 klinisk-patologiske konferencecases fra New England Journal of Medicine og 325 patientforløb fra akutmodtagelse til indlæggelse fra datasættet MIMIC-IV-ED til interaktive, trinvise diagnostiske forløb. Hvert forløb begynder med en kort klinisk beskrivelse, hvorfra den, der stiller diagnosen – uanset om det er en læge eller et AI-system – kan stille spørgsmål om sygehistorie eller undersøgelse, bestille diagnostiske prøver eller fastlægge en endelig diagnose. Resultaterne bedømmes ud fra den diagnostiske nøjagtighed sammenlignet med referencediagnosen og de samlede anslåede omkostninger ved de bestilte prøver.

To hjælpeagenter strukturerer hvert forløb. En Gatekeeper-agent kontrollerer hver informationsanmodning i forhold til den underliggende patientjournal og genererer diagnostisk neutrale, syntetiske resultater, når en efterspurgt oplysning mangler, så manglende data ikke afslører svaret. En Judge-agent bedømmer den fastlagte diagnose i forhold til referencediagnosen efter en femtrinsskala udarbejdet af læger. Bedømmelser på 4 eller 5 – som svarer til diagnoser, hvor behandlingen ville være uændret – tælles som korrekte. Omkostningerne ved prøver blev anslået ved hjælp af CPT-baserede priser fra filen Kaiser Permanente Washington Central Hospital Standard Charges, mens spørgsmål om sygehistorie og undersøgelse blev indregnet i en fast pris for et lægebesøg.

Som led i benchmarken evaluerede forfatterne Microsoft AI Diagnostic Orchestrator, forkortet DxO i artiklen, et modeluafhængigt system, der simulerer et panel af kliniske eksperter med komplementære roller, sørger for omkostningsbevidst brug af prøver i hvert trin og sammenfatter diagnoser fra uafhængige kørsler. I Microsofts meddelelse beskrives systemet som et panel af virtuelle læger, der drøfter sagerne over flere runder. Forfatterne hævder, at statiske benchmarks, hvor alle oplysninger om en sag gives på forhånd, og der anmodes om ét enkelt svar, ikke kan måle, om et system stiller de rigtige spørgsmål, undgår ukritisk at bestille prøver eller erkender, hvornår det har tilstrækkelig sikkerhed til at afslutte udredningen.

Resultater for NEJM-sager og sager fra akutmodtagelser

For de klinisk-patologiske konferencecases opnåede DxO kombineret med GPT-5 og uden budgetbegrænsninger en nøjagtighed på 83,2 % til en gennemsnitlig pris på 5.431 dollar pr. sag. Konfigurationer med budgetbegrænsninger nåede en nøjagtighed på 80,9 % til 2.241 dollar og 79,6 % til 1.303 dollar, mens en konfiguration med fokus på diagnostisk ekspertise nåede 84,5 % til 8.945 dollar. I det tilhørende lægestudie, der omfattede 56 sager, som var holdt uden for udviklingsarbejdet, stillede deltagerne 764 diagnoser uden hjælpemidler og 662 med adgang til opslagsværker. Den gennemsnitlige nøjagtighed var 22,3 % uden hjælpemidler til 3.049 dollar pr. sag og 36,1 % med adgang til opslagsværker til 4.725 dollar. Den bedste enkeltstående læge nåede 51,8 %. Artiklen beskriver også forskelle i udredningsforløbene: Lægerne stillede i gennemsnit 5,6 spørgsmål, før de bestilte deres første prøve, mens DxO med GPT-5 i gennemsnit stillede 25,5 spørgsmål – en fremgangsmåde, som forfatterne beskriver som omfattende, struktureret indhentning af sygehistorien.

For sagerne fra akutmodtagelser opnåede DxO uden budgetbegrænsninger en nøjagtighed på 80,3 % til 4.979 dollar pr. sag og 73,2 % til 2.634 dollar med budgetbegrænsninger. Generalistlægerne havde en gennemsnitlig nøjagtighed på 46,8 % til 3.400 dollar, og den bedste enkeltstående læge nåede 62,5 %. På tværs af alle modeller, der blev afprøvet med minimale grundprompter, øgede DxO-orkestrering den diagnostiske nøjagtighed med gennemsnitligt 7,9 procentpoint for konferencecasene og 4,4 procentpoint for sagerne fra akutmodtagelser. Ifølge Microsofts meddelelse var ingen anden evalueret menneskelig eller AI-baseret tilgang både mere nøjagtig og billigere end MAI-DxO. Systemet beskrives som 1,7 gange mere nøjagtigt end læger i sagerne fra akutmodtagelser, mere end dobbelt så nøjagtigt som læger, der brugte lærebøger og internettet, i tidsskriftssagerne og næsten fire gange så nøjagtigt som læger, der stillede diagnoser uden disse hjælpemidler – til mellem halvdelen og en tredjedel af prisen.

DxO blev oprindeligt udviklet, da GPT-4.1 var den stærkeste tilgængelige model, blev efterfølgende evalueret med GPT-5, og hele evalueringssættet blev gentaget med GPT-5.5 inden offentliggørelsen uden ændringer af prompterne eller orkestreringen; systemets nøjagtighedsfordel i forhold til grundprompten blev dermed større. En tidligere version af arbejdet blev lagt ud som fortryk den 27. juni 2025. Den rapporterede en nøjagtighed på 80 % med OpenAI’s o3-model, fire gange lægernes gennemsnit på 20 %, og 85,5 % i en konfiguration optimeret til maksimal nøjagtighed. Den fagfællebedømte version tilføjer sagerne fra akutmodtagelser og opdaterede evalueringer med GPT-5 og GPT-5.5.

Oplyste begrænsninger og forfattererklæringer

Forfatterne oplyser, at sammenligningerne ikke viser, at systemet er bedre end specialister, tværfaglige teams eller klinisk praksis i den virkelige verden, og skriver, at de forventer, at forskellen i præstation bliver mindre ved sammenligning med ekspertspecialister eller teams, der er sammensat til den enkelte sag. De bemærker, at de målte fordele bliver større i en kontrolleret simulering, hvor man ser bort fra usikre patienthistorikker, ufuldstændig dokumentation, den gode kontakt mellem patient og behandler, opfølgning over tid og multimodale data såsom billeddiagnostik og patologiglas, og at tidsskriftets cases muligvis overrepræsenterer diagnostisk vanskelige tilfælde. En yderligere angivet begrænsning er, at sammenligningen er foretaget med individuelle læger snarere end tværfagligt samarbejde, og at Judge-rubrikken vurderer diagnostisk korrekthed på sygdomsniveau frem for behandlingens hensigtsmæssighed, sikkerhed eller håndtering over tid.

I artiklens oplysninger om interessekonflikter oplyser forfatterne, at de alle er ansat hos Microsoft og ejer aktier i virksomheden, at flere af dem er opfindere på en Microsoft-patentansøgning vedrørende en automatisk evalueringsramme for sekventiel diagnosticering, og at der ikke blev modtaget midler fra kilder uden for Microsoft til undersøgelserne.

Udgivelse som open source og kliniske partnerskaber

Microsoft oplyste, at virksomheden frigiver SDBench som open source til udvalgte NEJM-cases, herunder benchmarken samt koden til Gatekeeper, Judge og omkostningsestimering. Koden er tilgængelig på GitHub under MIT-licensen med en konfiguration kaldet “science”, der fastlåser den gatekeeper og judge, som blev brugt til artiklens resultater. Ifølge SDBench-projektets websted kræver datasættet, der er afledt af tidsskriftets cases, en licens fra NEJM Group, MIMIC-undersættet distribueres via PhysioNet med forbehold for godkendelse af brugerens kvalifikationer, og fem fuldt syntetiske cases følger med som standard i det åbne datasæt.

En ledsagende positionsartikel, “Medicinsk superintelligens: grundlag og ambitioner,” introducerer seks indbyrdes afhængige dimensioner af medicinsk intelligens og fastslår, at det kræver “mere end overmenneskelig præstation på enkeltstående opgaver” at nå tærsklen til medicinsk superintelligens, nemlig systemer, der overgår nutidens stærkeste menneskestyrede sundhedssystemer i integreret medicinsk ræsonnement gennem hele behandlingsforløbet. Microsofts meddelelse oplyser, at artiklen blev publiceret i BMJ Digital Health and AI. Virksomheden oplyste også, at den samler sundhedsteams fra hele Microsoft, herunder forskere fra Microsoft Research og teamsene bag Dragon Copilot og PowerScribe, i en samlet indsats hos Microsoft AI, og henviste til sit tidligere annoncerede samarbejde med Mayo Clinic; ifølge en meddelelse af 2. juni 2026 udvikler organisationerne en avanceret AI-model til sundhedsvæsenet, som Mayo Clinic kommer til at eje, og som Microsoft planlægger at gøre tilgængelig via Azure Foundry-API’er.

I forbindelse med et nyt partnerskab med Beth Israel Deaconess Medical Center i Boston oplyste Microsoft, at virksomheden vil evaluere kliniske ræsonnementsevner på tværs af hospitalsmiljøer i et prospektivt studie, hvor patienter interagerer direkte med systemet, og hvor dets præstation måles op imod lægers uafhængige vurderinger.