Protege, 진단 격차 드러낸 Disease Odyssey와 함께 독립적인 의료 AI 테스트 시작

Protege가 의료 AI를 독립적으로 평가하는 작업에 착수해, 모델이 이전에 접하지 못한 환자 사례를 대상으로 테스트를 진행한다. 첫 벤치마크인 Disease Odyssey는 이러한 평가가 왜 중요한지 보여주는 초기 지표다. 회사에 따르면, 환자 병력을 바탕으로 수면 무호흡증이나 빈혈 같은 질환을 찾아낸 주요 모델의 비율은 사례의 53%~69%에 그쳤다.

10월 21일 발표에는 Xlue AI 및 Standard Model Biomedicine과 함께 진행한 평가도 포함됐다. 이 평가 결과는 병원과 개발자에게 중요한 두 가지 질문을 다룬다. 모델이 실제 의료 기록에서 유용한 임상적 신호를 추출할 수 있는지, 그리고 그러한 예측을 산출하는 데 비용이 얼마나 드는지다.

Protege는 모델을 개발하는 조직 외부에서 더 많은 평가를 수행하는 것을 목표로 한다. 개인정보를 보호한 환자 기록과 임상의가 검증한 답변을 사용해 평가를 설계하고 실행한 뒤 점수를 매긴다. 이를 통해 개발자는 성능에 대해 더 광범위한 주장을 하기 전에 약점을 파악할 수 있다.

의학 시험 문제에 답하는 것과는 다른 평가

진단명이 명확하게 제시된 의학 문제는 여러 차례 진료에 걸친 환자 병력과는 다르다. 증상은 시간이 지나며 나타나고, 기록은 불완전할 수 있으며, 결정적인 단서는 관련성이 낮은 정보들 사이에 묻혀 있을 수도 있다. Disease Odyssey는 이러한 종단적 병력에서 진단이 내려지기 전에 질환을 알아내는 능력에 초점을 맞춘다.

보고된 53%~69% 범위는 테스트한 사례와 질환에 해당하는 수치이지, 의료 AI 전반에 대한 수치가 아니다. Protege의 발표에는 더 광범위한 순위를 매길 수 있을 만큼 표본 크기, 정확한 비교 대상 모델, 결과의 불확실성에 관한 세부 정보가 충분히 제시되지 않았다. 다만 회사의 초기 벤치마크에서 개선의 여지가 상당히 크다는 점은 확인할 수 있다.

Protege의 공동 창업자 겸 CEO인 Bobby Samuels는 발표에서 “의료 AI는 빠르게 발전하고 있지만, 평가 방식은 그 속도를 따라가지 못하고 있습니다”라고 말했다.

Protege가 개발과 테스트를 분리하는 방식

Protege는 자사의 절차를 이중맹검 방식이라고 설명한다. 모델 개발자는 환자 데이터나 질문을 사전에 볼 수 없고, Protege는 시스템이 어떻게 만들어졌는지 모르는 상태에서 평가를 진행한다. 여기서 이중맹검이라는 말은 평가 절차를 가리키며, 무작위 임상시험을 뜻하지는 않는다.

테스트 자료를 개발 과정에서 배제하는 것은 벤치마크 질문에 노출되면 실제보다 성능이 높아 보일 수 있기 때문에 중요하다. 학습 중 답을 접한 모델은 실제로 새로운 사례를 마주했을 때보다 더 유능해 보일 수 있다.

회사의 의료 AI 평가 플랫폼에는 실무에 유용한 여러 통제 장치가 마련돼 있다. 개인정보를 보호하는 분리된 테스트 사례, 버전이 관리되는 작업과 채점 방식, 실패 양상 및 영향을 받는 집단에 대한 분석을 제공한다고 설명한다. 버전 관리는 모델 출시 버전 간 비교의 의미를 높여준다. 작업과 채점 규칙이 모르는 사이 바뀌지 않았다면 점수가 높아졌다는 사실을 더 쉽게 해석할 수 있다.

이 플랫폼은 전자의무기록, 임상 기록, 영상, 병리 자료, 보험 청구 자료와 치료 결과 등 서로 연계된 정보를 활용한다. Data Lab은 임상 질문을 평가 작업과 기준 답변으로 바꾼다. 이러한 조합은 모델이 개별 의학 정보를 그대로 재현하는지 여부만이 아니라, 임상 맥락을 어떻게 활용하는지도 테스트하기 위한 것이다.

전문 모델, 성능과 비용으로 경쟁

함께 공개된 평가들은 서로 다른 작업을 다루므로, 그 결과는 Disease Odyssey와 별도로 살펴봐야 한다.

Standard Model Biomedicine과 함께 진행한 평가에서 Protege는 유방암과 폐암의 생존 예측, 그리고 환자가 다음 치료를 받기까지 걸리는 시간을 예측하는 작업을 평가했다. 회사에 따르면, 해당 전문 모델은 주요 시스템과 경쟁력 있는 성능을 보이면서도 예측 1건당 비용은 36~170배 낮았다.

Xlue AI의 HealthSAW 모델을 대상으로 한 별도의 평가에서는 암, 심혈관 질환 및 신경계 질환과 관련된 향후 위험을 살펴봤다. Protege에 따르면 HealthSAW는 16개 테스트 중 14개에서 주요 모델보다 우수한 성능을 보였으며, 환자 1명당 비용은 해당 모델 비용의 0.1% 미만이었다.

이는 Protege가 보고한 작업별 비교 결과이지, 모든 임상 환경에서 특정 모델이 가장 뛰어나다는 것을 입증한 결과는 아니다. 발표에는 전체 비용 산정 방법이 상세히 설명돼 있지 않다. 예측 비용이 낮으면 반복 선별 검사나 대규모 분석을 더 쉽게 수행할 수 있지만, 실제 도입 비용은 통합과 감독, 부정확한 결과로 인해 발생하는 업무에도 영향을 받는다.

모델 업데이트에 발맞춰야 하는 평가

Protege는 AI 개발용 데이터도 제공하는 사업을 전개하고 있어, 개발 데이터와 평가 데이터를 분리하는 것이 접근 방식의 중요한 요소다. 회사 자료는 출처 추적, 접근 제어, 환자 사례 갱신을 시간이 지나도 테스트의 유용성을 유지하는 방법으로 강조한다.

회사는 병리학, 피부과, 종양학 및 행정 업무 흐름을 비롯한 분야로 평가를 확대할 계획이다. 목표는 제품에 영구적으로 붙는 단일 점수가 아니라, 모델이 바뀔 때마다 반복 실행할 수 있는 일관된 절차를 마련하는 것이다.

이는 구매자와 개발자 모두에게 유용하다. 병원은 업데이트된 모델이 여전히 자사의 환자 집단과 업무 흐름에 잘 맞는지 알아야 한다. 개발자에게는 평균 점수만으로는 부족하다. 어떤 사례에서 실패하는지, 한 영역의 개선이 다른 영역의 약점으로 이어지는지 파악해야 한다.

독립적인 테스트는 이러한 논의를 더 구체적으로 만드는 데 도움이 될 수 있지만, 과거 데이터를 바탕으로 한 벤치마크 성능이 임상 현장에서 입증된 이점과 같은 것은 아니다. 전향적 연구, 환자 집단별 성능, 위양성률과 위음성률, 임상의의 업무량에 미치는 영향도 여전히 중요한 근거다.

Protege의 출시는 헬스케어 AI 기업에 한층 더 날카로운 질문을 던진다. 익숙하지 않은 사례를 놓고 다른 주체가 테스트를 설계했을 때 시스템은 어떤 성능을 보이는가? 새 서비스의 가치는 그 방법과 결과가 조직의 답변을 얼마나 명확하게 뒷받침하는지, 그리고 다듬어진 시연에서는 드러나지 않는 문제를 테스트가 얼마나 일관되게 찾아내는지에 달려 있다.