Google, 건강 분야 AI 평가를 위한 다중 방법 프레임워크 공개

Google은 2026년 11월 4일, 건강 분야 범용 생성형 AI를 평가하는 방법을 설명한 백서를 발표했다. 이 프레임워크는 폐쇄형 질문 벤치마크, AI 자동 평가 시스템, 전문가의 검토를 결합해 흔히 발생하는 상황과 고위험 상황에서 정확성, 안전성, 유용성을 평가한다.

저자인 Sarah Montgomery-Taylor 박사는 Google for Health의 임상 평가 책임자이며, Elizabeth McGlynn 박사와 Dana Gelb Safran 박사도 이 작업에 참여했다. Google은 이 평가 방식을 개발했으며, 자사 모델이 안전한 건강 관련 상호작용을 뒷받침하는 유용하고 정확한 답변을 제공하는지 평가하는 데 계속 사용하고 있다고 밝혔다. 이 방법론을 공개하는 목적은 투명성을 높이고 개발자, 연구자, 임상의가 사람들이 신뢰할 수 있는 도구를 만들도록 돕는 것이다.

실제 임상 활용에 맞춘 평가 설계

저자들은 개별 과업을 위해 개발된 평가 방법으로는 범용 모델을 충분히 평가할 수 없다고 주장한다. 이들이 든 예는 CT 영상에서 폐암을 찾아낼 수 있지만 유방촬영 영상에서 유방암을 찾아내거나 대화를 요약해 진료 기록으로 작성하지는 못하는, 생성형 AI 이전의 모델이다. 하나의 모델이 수백 개, 수천 개 또는 그 이상의 과업을 수행할 수 있게 되면 개발자와 의료 기관은 상호작용과 위험의 우선순위를 정할 방법이 필요하다.

평가자는 테스트 사례를 선정하기 전에 핵심 사용자 여정(Critical User Journey)을 설계한다. 여기에는 누가 시스템을 사용하는지, 무엇을 달성하려는지, 어떤 단계를 거치는지가 포함된다. 사용자는 환자, 가족, 임상의 또는 행정 담당자일 수 있다. 이러한 설계는 대표성 있는 테스트 데이터와 지표를 마련하는 데 도움이 된다. 또한 의도된 사용 방식과 흔히 발생하는 오용 사례도 고려하는데, 허가 범위를 벗어난 용도에 의존하는 행위와 안전 필터를 우회하려는 시도 등이 여기에 포함된다.

그런 다음 각 애플리케이션을 세 가지 영역에서 평가한다. 정확성 평가에는 의학적 합의, 근거의 뒷받침 여부, 사실성, 임상적 추론, 맥락에 대한 적절성이 포함되며, 의학적 요약과 같은 과업에서는 출처에 근거했는지도 평가한다. 안전성은 진술이 정확한지만 따지는 데 그치지 않고, 누군가 답변을 해석해 행동하거나 행동하지 않을 때 발생할 수 있는 피해까지 살핀다. 평가에서는 피해의 심각성과 발생 가능성을 모두 고려한다. 유용성은 건강 정보 이해도, 관련성, 포괄성, 그리고 사용자가 답변을 바탕으로 실제 행동을 취할 수 있는지를 다룬다. 따라서 답변은 정확하더라도 안전하지 않을 수 있으며, 정확하고 안전하더라도 지나치게 복잡하거나 실행에 옮기기 어려워 사용자에게 도움이 되지 않을 수 있다.

논문에 제시된 사례는 과업에 따라 주요 위험이 어떻게 달라지는지 보여준다. 증상을 확인하려는 일반 사용자의 경우, 긴급 진료가 필요한 위험 징후를 강조하지 못하는 것이 핵심적인 안전 문제다. 반대로 지나치게 경고하는 답변은 불필요한 불안을 일으킬 수 있고, 자가 평가 지침이 불분명하면 적절한 후속 조치를 방해할 수 있다. 임상의가 AI로 초안을 작성한 퇴원 요약의 경우에는 환각, 누락, 사실 오류가 정확성을 위협하고, 알레르기나 금기 약물을 놓치면 안전상의 위험이 발생하며, 혼란스러운 형식이나 일관성 없는 일정은 유용성을 떨어뜨릴 수 있다.

자동화의 규모와 인간의 판단을 결합

첫 번째 평가 방법은 객관식 문항처럼 정답이 명확한 테스트를 활용한다. 이를 통해 방대한 양의 기초 지식 점검을 비교적 적은 비용으로 수행할 수 있다. 그러나 정적 테스트로는 실제 상호작용의 복잡성과 대표성을 재현할 수 없다. 데이터 오염도 한계로 꼽힌다. 테스트 문항이 학습 데이터에 포함되면, 결과가 일반화된 의학적 추론 능력보다 테스트에 대비한 정도를 반영할 수 있기 때문이다. 따라서 이 프레임워크는 이러한 벤치마크로 기준선을 설정하고 이후 평가의 목표를 정하되, 실제 환경에서의 성능을 검증하려면 추가적인 방법이 필요하다고 본다.

두 번째 방법은 다른 AI 시스템에 채점을 맡기는 것이다. 이러한 자동 평가 시스템은 작성된 채점 기준을 개방형 답변에 적용해 전문가 검토자가 현실적으로 채점할 수 있는 것보다 훨씬 많은 시나리오를 평가한다. 사용자가 처음에는 임상 정보를 밝히지 않는 상황을 포함한 다중 턴 대화를 시뮬레이션해, 모델이 지침을 제공하기 전에 확인 질문을 하는지도 평가할 수 있다. 하지만 자동 평가자가 장황한 답변에 높은 점수를 주거나, 자체 모델 계열의 답변을 선호하거나, 품질이 일정하지 않은 인간 주석을 그대로 확산할 수 있으므로 전문가가 만든 참조 데이터를 바탕으로 검증해야 한다.

그런 다음 임상의와 다른 분야 전문가가 복잡한 증상, 예외 사례, 임상적 합의가 제한적인 주제 등 자동화된 평가 기준이 가장 취약한 사례를 검토한다. 또한 결과물이 지역의 임상 관행과 다양한 환자 집단에 부합하는지도 판단한다. 별도의 레드팀 테스트에서는 감정에 호소하거나, 허구의 상황을 설정하거나, 의료 전문가인 척하는 등의 전술을 사용해 안전 경계를 시험하고, 제품의 의도된 범위를 벗어나는 결과를 유도한다. 인간의 검토 역시 완벽하지 않다. 저자들은 평가 과제에서 두 의사의 점수가 30~40% 또는 그 이상 차이 날 수 있다고 지적하며, 평가자 간 편차를 통제하고 적절한 분석을 수행해야 한다고 강조한다.

배포 후에도 이어지는 모니터링

평가는 제품이 나오기 전, 기반 모델의 일반적인 역량과 안전성을 테스트하는 단계에서 시작된다. 모델을 애플리케이션에 적용하기 시작하면 평가는 해당 제품의 사용자와 업무 흐름에 맞춰 진행된다. 출시가 가까워지면 조용한 섀도 트라이얼, 임상 파일럿 또는 단계적 출시를 포함한 통제된 배포를 진행할 수 있으며, 더 널리 제공하기 전에 인간공학 및 사용성 테스트도 실시한다.

임상팀과 개발팀은 보편적으로 일률 적용되거나 자의적인 수치 기준이 아니라 애플리케이션의 임상적 위험 프로필을 바탕으로, 제품 개발 단계별 관문에서 통과 기준과 평가 기준표의 가중치를 함께 정해야 한다. 배포 후에는 개발자가 알고리즘 드리프트와 시스템 안정성을 추적한다. 도입 기관은 전문가용 도구의 경우 임상 업무 흐름의 안전성을, 소비자용 제품의 경우 사용자 안전과 사용 패턴을 모니터링한다.

저자들은 사용자 불만이나 중대 안전사건과 같은 사후 대응적 신호만으로는 배포 후 모니터링을 수행할 수 없다고 말한다. 테스트 세트는 실제 상호작용과 다르며, 사용자는 경험을 쌓으면서 프롬프트와 기대를 바꾼다. 모니터링 결과는 요구사항과 학습, 후속 평가의 우선순위에 반영되어야 한다. 상호작용과 건강 결과를 장기간 모니터링하는 데는 데이터 사일로와 더불어 개인정보 보호, 기술적·조직적 장애물이 따른다. 논문은 개발자와 보건의료 시스템이 함께 져야 할 책임, 도입 비용, 독립적 검증, 과학적 합의도 아직 해결해야 할 거버넌스 과제로 꼽는다.

이 프레임워크는 개발자와 보건의료 시스템이 모델이 정적인 벤치마크를 통과했는지가 아니라, 개발과 배포 전 과정에서 정확성, 안전성, 유용성을 입증할 수 있는지를 묻도록 한다. 핵심 과제는 실무적인 데 있다. 모니터링을 책임성과 연결하는 동시에 책임 소재를 정하고, 필요한 작업에 자금을 지원하며, 조직과 데이터의 경계를 넘어 결과를 독립적으로 검증해야 한다.