Microsofts diagnostische KI übertrifft in einer Science-Studie Allgemeinmediziner

Microsofts Diagnosesystem MAI-DxO übertraf bei komplexen Diagnosefällen die teilnehmenden Allgemeinmediziner. Das geht aus einer peer-reviewten Studie hervor, die am 22. Oktober 2026 in Science veröffentlicht wurde. Demnach erreichte das System bei Fallakten des New England Journal of Medicine eine Genauigkeit von 83,2 %, verglichen mit 36,1 % bei Ärzten, die Referenzmaterialien nutzen konnten.

Die Studie „Sequenzielle Diagnose mit Sprachmodellen“ erschien in Science, Band 394, Heft 6822, auf den Seiten 423–428. Sie wurde am 4. April 2026 eingereicht und am 10. August 2026 angenommen. Alle 15 Autoren sind bei Microsoft beschäftigt. Zu ihnen zählen neben Dominic King und Eric Horvitz auch Mustafa Suleyman, der CEO von Microsoft AI. In einer am selben Tag veröffentlichten Mitteilung erklärte Microsoft, die Arbeit „erscheint heute in Science“ und werde in der Ausgabe „KI in der Medizin“ der Fachzeitschrift veröffentlicht.

Ein Benchmark für schrittweise Diagnosen

Die Arbeit stellt den Sequential Diagnosis Benchmark, kurz SDBench, vor. Darin werden 304 Fälle aus klinisch-pathologischen Konferenzen des New England Journal of Medicine sowie 325 Fälle aus Notaufnahmen mit anschließender stationärer Aufnahme aus dem Datensatz MIMIC-IV-ED in interaktive, schrittweise Diagnosefälle umgewandelt. Jeder Fall beginnt mit einer kurzen klinischen Schilderung. Darauf aufbauend kann der Diagnostiker – ob Arzt oder KI-System – Fragen zur Krankengeschichte oder zu Untersuchungsbefunden stellen, diagnostische Tests anordnen oder eine endgültige Diagnose festlegen. Bewertet werden die diagnostische Genauigkeit im Vergleich zur Referenzdiagnose und die geschätzten Gesamtkosten der angeordneten Tests.

Zwei unterstützende Agenten strukturieren jeden Fall. Ein Kontrollagent prüft jede Informationsanfrage anhand der zugrunde liegenden Fallakte und erzeugt diagnostisch neutrale synthetische Ergebnisse, wenn ein angeforderter Befund nicht vorliegt. So geben fehlende Daten keinen Hinweis auf die richtige Antwort. Ein Bewertungsagent gleicht die festgelegte Diagnose anhand einer von Ärzten erstellten fünfstufigen Skala mit der Referenzdiagnose ab. Bewertungen von 4 oder 5 gelten als korrekt; sie stehen für Diagnosen, bei denen sich die Behandlung nicht ändern würde. Die Testkosten wurden anhand einer CPT-basierten Preisgestaltung geschätzt, die sich auf die Datei „Standard Charges“ des Kaiser Permanente Washington Central Hospital stützt. Fragen zur Krankengeschichte und zur körperlichen Untersuchung wurden dabei in eine feste Vergütung für den Arztbesuch eingerechnet.

Im Rahmen des Benchmarks untersuchten die Autoren den Microsoft AI Diagnostic Orchestrator, der in der Arbeit als DxO abgekürzt wird. Das modellunabhängige System simuliert ein Gremium klinischer Experten mit sich ergänzenden Rollen, achtet bei jedem Schritt auf einen kostenbewussten Einsatz von Tests und führt Diagnosen aus unabhängigen Durchläufen zusammen. In Microsofts Mitteilung wird das System mit einem Gremium virtueller Ärzte verglichen, die über mehrere Runden hinweg miteinander diskutieren. Die Autoren argumentieren, dass statische Benchmarks, bei denen alle Fallinformationen von Anfang an vorliegen und nur eine Antwort verlangt wird, nicht messen können, ob ein System die richtigen Fragen stellt, wahllose Tests vermeidet oder erkennt, wann die Sicherheit für den Abschluss der Untersuchung ausreicht.

Ergebnisse zu Fällen aus dem NEJM und aus Notaufnahmen

Bei den Fällen aus klinisch-pathologischen Konferenzen erreichte DxO in Verbindung mit GPT-5 und ohne Budgetbeschränkung eine Genauigkeit von 83,2 % bei durchschnittlichen Kosten von 5.431 US-Dollar pro Fall. Konfigurationen mit Kostenbegrenzung erzielten eine Genauigkeit von 80,9 % bei 2.241 US-Dollar und von 79,6 % bei 1.303 US-Dollar. Eine auf diagnostische Exzellenz ausgerichtete Konfiguration erreichte 84,5 % bei Kosten von 8.945 US-Dollar. In der begleitenden Ärzte-Studie, für die 56 Fälle verwendet wurden, die nicht in die Entwicklungsarbeit eingeflossen waren, stellten die Teilnehmer 764 Diagnosen ohne und 662 Diagnosen mit Zugriff auf Referenzmaterialien. Im Durchschnitt lag die Genauigkeit ohne Hilfsmittel bei 22,3 % und die Fallkosten bei 3.049 US-Dollar; mit Hilfsmitteln betrug die Genauigkeit 36,1 % und die Fallkosten 4.725 US-Dollar. Der beste einzelne Arzt erreichte 51,8 %. Die Arbeit berichtet außerdem von unterschiedlichen Vorgehensweisen bei der Abklärung: Ärzte stellten im Mittel 5,6 Fragen, bevor sie ihren ersten Test anordneten; DxO mit GPT-5 stellte im Mittel 25,5 Fragen. Die Autoren beschreiben dies als umfangreiche, strukturierte Erhebung der Krankengeschichte.

Bei den Fällen aus Notaufnahmen erreichte DxO ohne Budgetbeschränkung eine Genauigkeit von 80,3 % bei Kosten von 4.979 US-Dollar pro Fall. Mit Budgetbeschränkung waren es 73,2 % bei 2.634 US-Dollar. Allgemeinmediziner erzielten im Durchschnitt 46,8 % bei Kosten von 3.400 US-Dollar; der beste einzelne Arzt erreichte 62,5 %. Über alle Modelle hinweg, die mit minimalen Basis-Prompts getestet wurden, erhöhte die DxO-Orchestrierung die diagnostische Genauigkeit bei den Konferenzfällen im Durchschnitt um 7,9 Prozentpunkte und bei den Fällen aus Notaufnahmen um 4,4 Prozentpunkte. Laut Microsofts Mitteilung war keiner der anderen untersuchten Ansätze von Menschen oder KI zugleich genauer und kostengünstiger als MAI-DxO. Microsoft beschreibt das System als 1,7-mal genauer als Ärzte bei Fällen aus Notaufnahmen, als mehr als doppelt so genau wie Ärzte, die bei den Zeitschriftenfällen Lehrbücher und das Internet nutzen, und als beinahe viermal so genau wie Ärzte, die ohne diese Hilfsmittel diagnostizieren – bei Kosten in Höhe der Hälfte bis eines Drittels.

DxO wurde ursprünglich entwickelt, als GPT-4.1 das leistungsfähigste verfügbare Modell war, und anschließend mit GPT-5 bewertet. Vor der Veröffentlichung wurde die gesamte Evaluationsreihe mit GPT-5.5 wiederholt, ohne die Prompts oder die Orchestrierung zu ändern; dabei nahm der Genauigkeitsvorsprung gegenüber dem Basis-Prompt zu. Eine frühere Fassung der Arbeit wurde am 27. Juni 2025 als Preprint veröffentlicht. Darin wurden mit OpenAIs Modell o3 eine Genauigkeit von 80 % – das Vierfache des Ärzte-Durchschnitts von 20 % – und in einer auf maximale Genauigkeit ausgelegten Konfiguration 85,5 % berichtet. Die peer-reviewte Fassung ergänzt die Fälle aus Notaufnahmen und aktualisierte Auswertungen mit GPT-5 und GPT-5.5.

Benannte Einschränkungen und Angaben der Autoren

Die Autoren erklären, dass die Vergleiche keine Überlegenheit gegenüber Fachärzten, multidisziplinären Teams oder der klinischen Praxis unter realen Bedingungen belegen. Sie schreiben, dass sie davon ausgehen, der Leistungsvorsprung würde gegenüber erfahrenen Fachärzten oder auf den jeweiligen Fall abgestimmten Teams geringer ausfallen. Die Autoren weisen darauf hin, dass die gemessenen Vorteile in einer kontrollierten Simulation stärker hervortreten, in der unklare Patientengeschichten, unvollständige Dokumentation, der Aufbau einer vertrauensvollen Beziehung, die langfristige Nachbetreuung und multimodale Daten wie Bildgebungsaufnahmen und Pathologiebefunde ausgeklammert werden. Zudem könnten die Fälle aus der Fachzeitschrift diagnostisch besonders herausfordernde Krankheitsbilder überrepräsentieren. Eine weitere genannte Einschränkung besteht darin, dass einzelne Ärzte statt einer fachübergreifenden Zusammenarbeit verglichen werden. Außerdem bewertet das Beurteilungsschema des Judge die diagnostische Richtigkeit auf Krankheitsebene, nicht aber die Angemessenheit der Therapie, die Sicherheit oder die langfristige Betreuung.

In den Offenlegungen der Studie erklären die Autoren, dass sie alle bei Microsoft beschäftigt sind und Unternehmensanteile halten, dass mehrere von ihnen als Erfinder in einer Microsoft-Patentanmeldung zu einem automatisierten Bewertungsrahmen für sequenzielle Diagnosen aufgeführt sind und dass für die Studien keine Mittel außerhalb von Microsoft eingeworben wurden.

Open-Source-Veröffentlichung und klinische Partnerschaften

Microsoft erklärte, SDBench für ausgewählte Fälle aus dem NEJM als Open Source bereitzustellen. Dazu gehören der Benchmark, Gatekeeper, Judge und der Code zur Kostenschätzung. Der Code ist unter der MIT License auf GitHub verfügbar. Er umfasst eine Konfiguration namens „science“, in der Gatekeeper und Judge auf die für die Ergebnisse der Studie verwendeten Versionen festgelegt sind. Laut der SDBench-Projektwebsite erfordert der aus den Fällen der Fachzeitschrift zusammengestellte Datensatz eine Lizenz von NEJM Group. Die MIMIC-Teilmenge wird über PhysioNet bereitgestellt und ist an eine Zulassungsprüfung gebunden. Fünf vollständig synthetische Fälle sind im standardmäßig offenen Datensatz enthalten.

Ein begleitendes Positionspapier mit dem Titel „Medizinische Superintelligenz: Grundlagen und Ziele“ stellt sechs voneinander abhängige Dimensionen medizinischer Intelligenz vor. Darin heißt es, dass der Sprung zur medizinischen Superintelligenz „mehr als übermenschliche Leistungen bei isolierten Aufgaben“ erfordern werde: nämlich Systeme, die die stärksten von Menschen geführten Gesundheitssysteme von heute über den gesamten Versorgungsverlauf hinweg in der integrierten medizinischen Entscheidungsfindung übertreffen. Laut der Ankündigung von Microsoft wurde das Papier in BMJ Digital Health and AI veröffentlicht. Das Unternehmen erklärte außerdem, es bündele Gesundheitsteams aus verschiedenen Bereichen von Microsoft – darunter Wissenschaftler von Microsoft Research sowie die Teams hinter Dragon Copilot und PowerScribe – in einer gemeinsamen Initiative bei Microsoft AI. Zudem verwies das Unternehmen auf die zuvor angekündigte Zusammenarbeit mit der Mayo Clinic. Wie aus einer Ankündigung vom 2. Juni 2026 hervorgeht, entwickeln die Organisationen ein hochmodernes KI-Modell für das Gesundheitswesen, das der Mayo Clinic gehören und über Azure Foundry APIs verfügbar gemacht werden soll.

Im Rahmen einer neuen Partnerschaft mit dem Beth Israel Deaconess Medical Center in Boston will Microsoft nach eigenen Angaben in einer prospektiven Studie die Fähigkeiten zum klinischen Schlussfolgern in verschiedenen Krankenhausumgebungen untersuchen. Dabei interagieren Patienten direkt mit dem System, und seine Leistung wird mit den unabhängigen Bewertungen von Ärzten verglichen.