헬스케어
Scale AI, 병원 운영을 위한 AI 에이전트 5종 출시

핵심 포인트스케일의 벤치마크는 정답이 결함 있는 추론과 과도하게 확신하는 시스템을 가릴 수 있음을 보여준다.
더 보기
- 스케일의 벤치마크는 정답이 결함 있는 추론과 과도하게 확신하는 시스템을 가릴 수 있음을 보여준다.
- 테스트된 모든 에이전트 시스템은 기록이 사건을 해결할 수 없을 때 유보하기보다 지나치게 적게 유보했다.
- 출처 링크와 임상의 승인은 프로세스 실패를 인간 검토에 노출시키기 위한 메커니즘이다.
Scale AI는 2026년 11월 16일 병원 운영용 Scale을 발표하고 일정 관리, 주문 안내, 의료 기록 검토, 안전 조사, 임상 문서 작성을 위한 AI 애플리케이션 5종을 출시했다. 의료 시스템은 같은 날부터 이를 이용할 수 있다.
각 애플리케이션은 의료 시스템 자체 환경에서 어떤 모델로든 실행할 수 있으며, 배포 과정에는 Scale 엔지니어와 임상 분야 전문가가 참여한다. Scale은 임상의의 평가, 현지 데이터 보관, 사용자와 함께하는 개발을 병원 AI의 요건으로 제시한다.
Scale은 출시 전 한 해 동안 병원 현장에서 일했으며, 이름은 공개하지 않았지만 최상위권이라고 설명한 미국 의료 시스템 한 곳과도 협력해 임상의가 안전 사고를 더 일찍 파악하도록 돕는 업무를 진행했다고 밝혔다. 이번 애플리케이션 5종은 더 큰 포트폴리오의 첫 단계이며, 출시 후 몇 달에 걸쳐 추가 애플리케이션과 에이전트를 선보일 계획이다.
5개 업무 흐름 전반의 사람 검토
일정 관리 인텔리전스 에이전트는 임상적 긴급성에 따라 의뢰 건의 우선순위를 정하고, 진료실과 장비 요건 및 의사의 선호를 바탕으로 진료 일정을 배정하도록 설계됐다. 긴급 환자를 위해 기존 일정을 재조정하고 여러 진료과의 방문 일정을 조율할 수도 있다. 주문 안내 에이전트는 환자 병력을 검토하고 누락된 검사를 표시하며, 임상의가 검토할 수 있도록 근거를 인용해 검사실 검사, 영상 검사, 처방을 권고한다.
정보량이 많은 업무를 위해 의료 기록 검토 및 요약 에이전트는 흩어진 기록을 모아 환자 병력을 작성하고, 추출한 각 소견을 원본 자료에 연결해 확인할 수 있게 한다. 안전 및 사고 조사 에이전트는 안전 사고의 우선순위를 정하고 반복되는 양상을 찾아, 팀이 보고서를 접수된 순서대로만 처리하는 대신 위험도가 더 높은 사고부터 조사할 수 있게 한다. 임상 문서 작성 및 품질 검토 에이전트는 임상의의 검토와 승인을 받을 보고서 초안을 작성하고, 문서가 병원 지침에 부합하는지 확인하며, 감사 담당자가 각 소견을 확인하도록 한다.
Scale의 의료 분야 평가 연구
이번 발표는 포트폴리오를 Scale Labs의 의료 분야 벤치마크 3종과 연결한다. CliniCARE-Bench는 실제 비식별 종단 전자 건강 기록을 활용하며, 임상의가 검증한 시나리오 25개를 14개 전문 분야와 10가지 추론 능력을 아우르는 사례 750건에 적용한다. 데이터가 부족한 사례와 의학적으로 여전히 모호한 사례를 구분하고, 정보 검색 과정과 인용을 기록하며, 근거에 대한 충실도, 정책 준수도, 절차 준수도, 보정된 답변 유보를 평가한다. 보정된 답변 유보란 기록만으로 확정적인 답변을 뒷받침할 수 없을 때 적절히 판단을 유보하는 것을 뜻한다.
Scale Labs에 따르면, 테스트한 에이전트형 시스템 16종의 기본 정확도는 65.3%~76.1%였지만, 금지된 추론상의 지름길에 불이익을 적용하자 결함 없는 정확도는 4.8~14.8%포인트 하락했다. 모든 시스템은 답변 유보가 부족해, 기록만으로 결론을 내릴 수 없는 사례에서 판단을 유보하기보다 확정적인 답변을 더 자주 내놓았다. 이는 테스트한 시스템에 대한 벤치마크 결과이며, 병원용 애플리케이션 5종의 검증 결과로 발표된 것은 아니다.
관련 벤치마크 2종도 이 접근 방식을 확장한다. PSEBench에는 미네소타주의 보고 대상 유해 건강 사건 29종을 바탕으로 만든 환자 안전 분류 사례 5,074건이 포함된다. 각 사건은 정보가 완전한 경우, 정보가 누락된 경우, 불확실한 경우로 구성되며, 이 벤치마크는 언어 모델 15종을 평가하는 데 사용됐다. DistressBench에는 자살 및 자해 관련 하위 범주 23개에 걸친 임상의 작성 대화 718건이 포함된다. Scale Labs에 따르면, 모델이 위기 상황을 완전히 인식한 대화 중 35.3%에서도 사용자에게 사람의 도움을 받도록 안내하지 않았다.
Scale은 이 연구가 각 의료 시스템 업무 흐름에 맞춘 맞춤형 평가의 기반이 되는 동시에 모델을 비교할 공통된 방법도 제공한다고 밝혔다. 모호성과 절차에 중점을 두는 이 접근 방식은 주문 안내, 기록 확인, 보고서 승인, 감사 결과에 대해 설명된 검토 통제와도 맞닿아 있다.
문서화 근거와 그 한계
Scale이 인용한 2025년 JAMA Network Open 연구는 미국 의료 시스템 6곳의 외래 진료 임상의 263명을 대상으로 동일한 Abridge 상시 녹음형 AI 의료 기록 도구를 30일간 사용하게 했으며, Scale 제품을 평가한 연구는 아니었다. 보정 분석에서 추정 소진 유병률은 51.9%에서 38.8%로 감소했다. 참여자들은 진료 기록 작성에 따른 인지적 부담, 근무 시간 외 문서 작성, 환자에게 집중하는 정도도 개선됐다고 보고했다.
이 결과는 AI 문서화 도구가 행정 업무 부담을 줄일 수 있다는 주장을 뒷받침하지만, 새 병원 운영 포트폴리오가 아니라 다른 제품을 외래 진료에 사용한 경우에 관한 것이다. 연구진은 중요한 한계도 제시했다. 참여는 자발적이었고, 설문은 익명으로 진행되지 않았으며, 결과는 참여자의 자기 보고에 의존했고, 시간에 따른 추세를 고려할 대조군도 없었다. 이러한 제약 때문에 30일간의 사용 전후 결과만으로 입증할 수 있는 내용에는 한계가 있다. 특히 Scale이 행정 업무 부담에 관한 주장을 외래 문서 작성에서 일정 관리, 주문, 안전 사고 분류로 확장하는 만큼 더욱 그렇다.
의료 시스템에서 이번 출시와 관련해 핵심적으로 살펴볼 점은 각 기관의 자체 업무 흐름을 바탕으로 설계된 평가를 통해 답변의 정확성뿐 아니라 근거 자료 검색, 정책 준수, 적절한 답변 보류 여부까지 검증할 수 있느냐는 것이다. Scale의 벤치마크는 정답을 제시하더라도 그 과정에 결함이 있을 수 있음을 보여준다. 새 애플리케이션에 포함된 출처 링크, 인용된 권고 사항, 임상의 승인, 감사인의 확인은 이러한 문제를 사람이 검토할 수 있도록 드러내기 위한 장치다.












