Science 연구에서 Microsoft의 진단 AI, 일반의보다 뛰어난 성과

동료 심사를 거쳐 2026년 10월 22일 Science에 게재된 연구에서 Microsoft의 MAI-DxO 진단 시스템은 복잡한 진단 사례를 두고 참여한 일반의보다 뛰어난 성과를 보였다. New England Journal of Medicine의 사례 기록을 대상으로 한 정확도는 시스템이 83.2%였고, 참고 자료를 활용한 의사들은 36.1%였다.

연구 논문 「언어 모델을 활용한 순차적 진단」은 Science 제394권 제6822호 423~428쪽에 실렸다. 논문은 2026년 4월 4일 접수되어 2026년 8월 10일 승인됐다. 저자 15명은 모두 Microsoft 직원이며, 저자 명단에는 Microsoft AI 최고경영자 Mustafa Suleyman과 Dominic King, Eric Horvitz가 포함됐다. Microsoft는 같은 날 발표한 내용에서 이 연구가 해당 저널의 「AI in Medicine」 특집호에 “오늘 Science에 게재된다”고 밝혔다.

단계별 진단을 중심으로 설계된 벤치마크

논문은 Sequential Diagnosis Benchmark(SDBench)를 소개한다. 이 벤치마크는 New England Journal of Medicine의 임상병리학 회의 사례 304건과 MIMIC-IV-ED 데이터셋의 응급실 방문 후 입원 사례 325건을 대화형 단계별 진단 과정으로 변환한다. 각 사례는 간략한 임상 설명으로 시작하며, 의사든 AI 시스템이든 진단자는 병력이나 검사에 관한 질문을 하고, 진단 검사를 지시하거나, 최종 진단을 내릴 수 있다. 성과는 기준 진단과 비교한 진단 정확도와 지시한 검사 비용의 누적 추정액으로 평가한다.

각 진단 과정은 두 개의 지원 에이전트가 구성한다. Gatekeeper 에이전트는 모든 정보 요청을 사례 기록과 대조해 처리하며, 요청한 소견이 기록에 없으면 진단 방향을 암시하지 않는 합성 결과를 생성해 데이터 누락이 정답을 드러내지 않도록 한다. Judge 에이전트는 의사들이 작성한 5단계 평가 기준표에 따라 확정 진단을 기준 진단과 대조해 점수를 매긴다. 4점 또는 5점, 즉 진단에 따라도 치료 방침이 달라지지 않는 경우는 정답으로 간주했다. 검사 비용은 Kaiser Permanente Washington Central Hospital Standard Charges 파일에서 가져온 CPT 기반 가격을 이용해 추산했으며, 병력 및 검사 관련 질문 비용은 고정된 의사 진료비에 포함했다.

연구진은 벤치마크에서 논문에 DxO로 약칭된 Microsoft AI Diagnostic Orchestrator를 평가했다. DxO는 특정 모델에 종속되지 않는 시스템으로, 서로 보완적인 역할을 맡은 임상 전문가 패널을 모의하고 매 단계에서 비용을 고려해 검사를 적절히 관리하며, 독립적으로 실행한 여러 진단 결과를 종합한다. Microsoft는 발표에서 이 시스템이 여러 차례에 걸쳐 토론하는 가상 의사 패널처럼 작동한다고 설명했다. 연구진은 모든 사례 정보를 처음부터 제시하고 하나의 답만 요구하는 정적 벤치마크로는 시스템이 적절한 질문을 하는지, 무분별한 검사를 피하는지, 진단 과정을 마무리할 만큼 확신이 들었을 때 이를 알아차리는지를 평가할 수 없다고 주장한다.

NEJM 및 응급실 사례 평가 결과

임상병리학 회의 사례에서 GPT-5와 결합하고 예산 제한 없이 실행한 DxO의 정확도는 83.2%, 사례당 평균 비용은 5,431달러였다. 비용 제한을 둔 구성은 2,241달러에서 정확도 80.9%, 1,303달러에서 79.6%를 기록했고, 진단 성능 극대화를 목표로 한 구성은 8,945달러에서 84.5%를 달성했다. 함께 진행한 의사 연구에서는 개발 작업에 사용하지 않은 사례 56건을 대상으로 참가자들이 자료를 참고하지 않고 진단한 결과 764건, 자료를 참고해 진단한 결과 662건을 냈다. 자료를 참고하지 않은 경우 정확도는 평균 22.3%, 사례당 비용은 3,049달러였으며, 자료를 참고한 경우 정확도는 36.1%, 사례당 비용은 4,725달러였다. 가장 높은 성적을 기록한 의사의 정확도는 51.8%였다. 논문은 진단 과정의 방식에도 차이가 있다고 보고한다. 의사들은 첫 검사를 지시하기 전 평균 5.6개의 질문을 한 반면, GPT-5를 탑재한 DxO는 평균 25.5개의 질문을 했다. 연구진은 이를 구조화된 병력 청취를 폭넓게 하는 전략이라고 설명한다.

응급실 사례에서 예산 제한 없이 실행한 DxO의 정확도는 80.3%, 사례당 비용은 4,979달러였으며, 예산 제한을 둔 경우 정확도는 73.2%, 사례당 비용은 2,634달러였다. 일반의의 평균 정확도는 46.8%, 사례당 비용은 3,400달러였고, 개별 의사 중 최고 정확도는 62.5%였다. 최소한의 기본 프롬프트를 사용해 평가한 모든 모델에서 DxO 오케스트레이션은 진단 정확도를 임상병리학 회의 사례에서 평균 7.9%포인트, 응급실 사례에서 4.4%포인트 높였다. Microsoft는 발표에서 평가한 다른 인간 또는 AI 접근법 가운데 MAI-DxO보다 정확도가 높으면서 비용은 낮은 경우가 없었다고 밝혔다. 또한 응급실 사례에서 의사보다 정확도가 1.7배 높고, 저널 사례에서는 교과서와 인터넷을 활용한 의사보다 두 배 이상, 그러한 자료 없이 진단한 의사보다 거의 네 배 정확하면서 비용은 절반에서 3분의 1 수준이라고 설명했다.

DxO는 처음에 GPT-4.1이 사용 가능한 최강 모델이었을 때 개발됐다. 이후 GPT-5로 평가했으며, 출판 전에는 프롬프트나 오케스트레이션을 수정하지 않은 채 전체 평가를 GPT-5.5로 다시 진행했다. 이때 기본 프롬프트 대비 정확도 우위는 더 커졌다. 이 연구의 앞선 버전은 2025년 6월 27일 프리프린트로 공개됐다. 해당 버전은 OpenAI의 o3 모델이 정확도 80%를 기록해 의사 평균인 20%의 네 배에 달했고, 정확도 극대화 구성에서는 85.5%를 기록했다고 보고했다. 동료 심사를 거친 버전에는 응급실 사례 데이터가 추가됐으며 GPT-5와 GPT-5.5를 이용한 평가 결과가 반영됐다.

명시된 한계와 저자 공개 사항

저자들은 이 비교 결과가 전문의, 다학제 진료팀 또는 실제 임상 진료보다 우수하다는 점을 보여 주는 것은 아니라고 밝히며, 각 사례에 맞는 전문가나 팀과 비교하면 성능 격차가 줄어들 것으로 예상한다고 썼다. 또한 환자의 불확실한 병력, 불완전한 의무 기록, 환자와의 신뢰 관계 형성, 장기 추적 관찰, 영상 및 병리 슬라이드와 같은 다중 모달 데이터를 배제한 통제된 시뮬레이션에서는 측정된 이점이 더 크게 나타나며, 학술지에 실린 사례가 진단하기 어려운 양상을 지나치게 많이 포함했을 수 있다고 지적했다. 또 다른 한계로는 여러 전문 분야의 협업이 아니라 개별 의사와 비교했다는 점을 들었다. Judge 평가 기준은 치료의 적절성이나 안전성, 장기적인 환자 관리가 아니라 질환 수준에서 진단이 정확한지를 평가한다.

논문에 공개된 이해관계에 따르면, 저자들은 모두 Microsoft 직원이며 회사 지분을 보유하고 있다. 저자 중 일부는 순차적 진단을 위한 자동 평가 프레임워크와 관련된 Microsoft 특허 출원의 발명자이기도 하다. 또한 연구 수행에 Microsoft 외부에서 지원받은 자금은 없었다고 밝혔다.

오픈소스 공개와 임상 파트너십

Microsoft는 일부 NEJM 사례에 대해 벤치마크와 Gatekeeper, Judge, 비용 추정 코드를 포함한 SDBench를 오픈소스로 공개한다고 밝혔다. 코드는 MIT 라이선스에 따라 GitHub에서 제공되며, 논문 결과에 사용된 게이트키퍼와 저지를 고정하는 “science”라는 구성이 포함되어 있다. SDBench 프로젝트 사이트에 따르면, 학술지 사례에서 파생된 데이터 세트는 NEJM Group의 라이선스를 받아야 하며, MIMIC 하위 집합은 자격 인증을 거쳐 PhysioNet을 통해 배포된다. 완전히 합성된 사례 5개는 기본 공개 데이터 세트로 제공된다.

함께 발표된 입장 논문 의학 초지능: 토대와 지향점은 서로 연관된 의학 지능의 여섯 가지 차원을 소개하고, 의학 초지능의 기준을 넘어서려면 “개별 과제에서 인간을 뛰어넘는 성능만으로는 부족하다”고 설명한다. 다시 말해, 전체 진료 과정에 걸친 통합적 의학 추론에서 오늘날 인간이 주도하는 가장 강력한 보건의료 시스템을 능가하는 시스템이 필요하다는 것이다. Microsoft는 해당 논문이 BMJ Digital Health and AI에 게재됐다고 밝혔다. 또한 Microsoft 전반의 의료팀을 한데 모아 통합된 Microsoft AI 활동을 추진하고 있다고 밝혔다. 여기에는 Microsoft Research 연구진과 Dragon Copilot 및 PowerScribe를 개발한 팀이 포함된다. 아울러 앞서 발표한 Mayo Clinic과의 협력도 언급했다. 2026년 6월 2일 발표에 따르면, 두 기관은 보건의료 분야의 최첨단 AI 모델을 개발하고 있으며, 이 모델은 Mayo Clinic이 소유하고 Microsoft는 Azure Foundry API를 통해 제공할 계획이다.

Microsoft는 보스턴의 Beth Israel Deaconess Medical Center와 새롭게 협력해 병원 환경 전반에서 임상 추론 역량을 평가할 예정이라고 밝혔다. 전향적 연구에서는 환자가 시스템과 직접 상호작용하며, 성능은 의사들이 독립적으로 내린 평가와 비교해 측정한다.