스토니브룩 연구: 의사들, 95%의 사례에서 AI 퇴원 요약서 선호

스토니브룩 대학교 연구에서 의사 평가자들은 평가 대상 입원 사례의 95%에서 사람이 작성한 퇴원 요약서보다 AI가 생성한 요약서를 선호했다. 후향적 분석은 7~21일간 입원한 내과 환자 60명의 사례를 살펴봤다. 치료 기간이 길고 임상 기록이 방대한 경우 외래 진료로의 인계가 특히 까다롭기 때문이다.

연구 결과는 npj Digital Medicine에 발표됐으며, 대규모 언어 모델이 임상의의 더 완전하고 활용도 높은 퇴원 문서 작성을 도울 수 있음을 시사한다. 또한 사람의 검증이 여전히 필수인 이유도 보여준다. AI가 생성한 요약서와 사람이 작성한 요약서 모두 오류가 있었으며, 더 높은 평점이 더 나은 환자 결과를 입증하는 것은 아니었다.

퇴원 요약서 작성이 AI에 어려운 과제인 이유

퇴원 요약서는 병원에서 제공한 진료와 이후 환자를 돌볼 의료진을 연결한다. 입원 사유, 치료 경과, 약물 변경 사항, 해결되지 않은 문제, 후속 진료 계획을 설명해야 한다. 일차 진료 의사에게 설명이 빠져 있거나 다음 단계가 불분명하면 훨씬 방대한 기록을 살펴 입원 기간의 경과를 재구성해야 할 수 있다.

입원 기간이 길수록 문제는 더 커진다. 경과 기록, 협진 기록, 영상 검사 보고서 등 여러 문서에 정보가 축적되며, 같은 내용이 반복되거나 치료 계획이 바뀌는 경우도 많다. 유용한 요약서는 최종적인 임상 상황을 빠짐없이 담는 동시에 의사 결정이 어떻게 바뀌었는지도 설명해야 한다.

스토니브룩의 접근 방식은 퇴원 후 환자를 진료할 의사에게 필요한 정보가 무엇인지 임상의와 함께 고려해 설계됐다. 대학 측은 이 시스템이 몇 분 안에 환자 기록을 퇴원 요약서 초안으로 정리했다고 밝혔다. 이는 생성에 걸린 시간을 나타내는 것으로, 의사의 전체 문서 작성 및 검증 시간이 줄어드는지는 실제 임상 현장에서 확인해야 한다.

의사들이 더 높은 점수를 준 항목

이 연구에서는 입원 환자 담당 의사와 일차 진료 의사가 각각 평가에 참여했다. 평가자들은 전반적인 품질, 가독성과 간결성, 사실의 정확성, 완전성에서 AI 요약서에 더 높은 점수를 줬다. 누락된 임상 세부 정보도 더 적다고 평가했다.

제공된 5점 척도에서 AI 요약서의 전반적인 품질 점수는 평균 4.71점으로, 사람이 작성한 요약서의 3.16점보다 높았다. 사실의 정확성은 각각 평균 4.62점과 3.73점이었고, 완전성은 4.69점과 3.42점이었다. 이는 의사들이 매긴 점수이며, 사실로 입증된 진술의 비율을 나타내는 것은 아니다.

그래프에 따르면 입원 환자 담당 의사와 일차 진료 의사의 평가 항목을 합산한 요약서 유형별 평가 건수는 120건이며, 일차 진료 의사에게만 해당하는 질문의 요약서 유형별 평가 건수는 60건이다. 일차 진료 의사들은 입원 경과를 이해하고, 환자와 보호자에게 설명하며, 후속 진료를 지원하는 측면에서 AI 요약서에 더 높은 점수를 줬다.

이 차이는 퇴원 요약서를 작성하는 사람과 그 내용을 바탕으로 조치를 취하는 사람의 관점이 서로 다르기 때문에 중요하다. 문서가 입원 중 발생한 일을 상세히 기록하더라도, 인계받은 의료진이 아직 해결되지 않은 문제나 약물 변경의 근거를 확신하지 못할 수 있다.

요약 파이프라인이 장문의 기록을 처리하는 방식

연구진이 공개한 코드는 기술이 작동하는 방식에 관한 추가 정보를 제공한다. 내보내기된 LangChain/LangGraph 파이프라인은 기록을 시간순으로 묶고 구조화된 요약을 작성한 뒤, 추가 구간을 처리하면서 초안을 다듬는다. 별도의 단계에서는 표시된 기록에서 부수적 소견을 추출한 다음 최종 서술문을 작성한다.

이러한 단계별 접근 방식은 언어 모델이 가진 실질적인 제약, 즉 긴 임상 기록이 모델이 한 번에 처리할 수 있는 텍스트 분량을 초과할 수 있다는 문제를 해결한다. 구조화된 초안을 다음 단계로 이어 가면 기록의 각 부분을 차례로 결과에 반영할 수 있다.

공개된 코드에는 출처 식별자도 기록되며, 구조화된 출력 및 서술형 출력과 함께 인용 메타데이터도 생성된다. 여기에는 시연용 합성 데이터가 포함되어 있고, 저장소에는 분석을 위한 비식별화된 평가 결과와 오류 주석 결과가 제공된다. 따라서 원본 환자 기록을 공개하지 않고도 작업 흐름을 살펴볼 수 있다.

누락이 줄어도 임상적 위험은 사라지지 않는다

논문 초록은 주석 처리된 부정확한 내용이나 누락의 감소가 주로 누락 감소에 기인한다고 설명한다. 또한 오류로 인한 피해의 심각도나 발생 가능성에 대한 평가자들의 추정치에서 두 유형의 요약서 간에 통계적으로 유의한 차이는 없었다고 보고한다.

이 결과가 두 접근 방식의 안전성이 동일하다거나 검토 없이 AI 초안을 환자 기록에 바로 사용할 수 있음을 입증하는 것은 아니다. 이번 평가는 문서와 의사의 판단을 대상으로 했으며, 재입원이나 약물 관련 피해 또는 기타 환자 결과가 줄어드는지는 입증하지 않았다.

저자들은 사용 전에 의사가 반드시 확인해야 한다고 강조한다. 투약 지침, 해결되지 않은 의학적 문제, 후속 진료 권고는 문서의 핵심 목적과 직결되며, 오류나 누락이 중대한 결과를 초래할 수 있는 부분으로 남아 있다.

일상적인 임상 진료에 도입하기 전에 필요한 절차

Stony Brook의 임상 부교수이자 공동 교신저자인 Rachel Wong 의학박사는 대학 발표문에서 “이번 연구 결과는 인공지능이 복잡한 입원 사례의 퇴원 문서 작성을 지원할 수 있다는 근거를 제시합니다”라고 말했다.

공동 교신저자인 Fusheng Wang 박사는 다음 연구 단계로 정확성, 안전성, 실제 의사의 시간 절감 효과, 임상 업무 흐름과의 적합성을 평가하는 작업이 포함된다고 말했다. 대학 측은 Stony Brook Medicine의 일상 진료 환경에서 시범 운영을 검토하고 있다고 밝혔다.

컴퓨터과학 박사과정생 Tyler Osborne이 이끄는 이 학제 간 프로젝트에는 의사, 컴퓨터과학자, 생의료정보학자와 커뮤니케이션 전문가들이 참여한다. 이번 연구는 임상의의 감독 아래 복잡한 퇴원 요약문을 작성하는 방식에 고무적인 근거를 제시한다. 이를 신뢰할 수 있는 일상적 활용으로 이어 가려면 생성된 문서뿐 아니라 검토 과정도 함께 평가해야 한다.