의료 분야에서 대규모 언어 모델의 영향과 미래 탐색

의학과 의료 분야에 대규모 언어 모델(LLM)을 통합하고 적용하는 일은 많은 관심을 받으며 발전해 왔다.

의료정보관리시스템협회 글로벌 콘퍼런스를 비롯한 주요 행사에서 소개되었듯이 구글(GOOGL ) 같은 기업들은 의료 분야에서 생성형 AI의 잠재력을 탐구하고 있다. Med-PaLM 2와 같은 시도는 특히 진단, 환자 진료, 행정 효율성 측면에서 AI 기반 의료 솔루션이 발전하고 있음을 보여 준다.

구글의 Med-PaLM 2는 의료 분야의 선도적인 LLM으로, 미국 의사면허시험 형식의 문제에서 ‘전문가’ 수준을 달성하는 등 인상적인 능력을 보였다. 이와 유사한 모델은 의료진이 정보에 접근하고 활용하는 방식을 바꾸어 진단 정확도와 환자 진료의 효율성을 높일 가능성이 있다.

하지만 이러한 진전과 함께 실제 임상 환경에서의 실용성과 안전성에 대한 우려도 제기되었다. 방대한 인터넷 데이터를 학습에 사용하는 것이 어떤 상황에서는 유익하더라도 의료 목적에 항상 적합하거나 신뢰할 만한 것은 아니다. 니감 샤(Nigam Shah) 박사(PhD, MBBS)는 스탠퍼드 헬스케어의 수석 데이터 과학자로서, 핵심 질문은 실제 의료 현장에서 모델이 어떻게 작동하며 환자 진료와 의료 효율성에 어떤 실질적 영향을 주는가라고 지적한다.

샤 박사는 의료용 LLM에 더 맞춤화된 접근이 필요하다고 강조한다. 광범위한 인터넷 데이터로 학습한 범용 모델 대신 구체적이고 관련성 높은 의료 데이터로 학습하는 전략이다. 이는 의학 인턴에게 특정 업무를 맡기고 수행을 감독한 뒤 역량을 입증할수록 자율성을 점차 늘리는 과정과 비슷하다.

이런 관점에서 EPFL 연구진이 개발한 Meditron은 주목할 만한 진전이다. 의료용으로 특화된 오픈 소스 LLM인 Meditron은 PubMed와 임상 지침 등 신뢰할 만한 출처에서 선별한 의료 데이터로 학습했다. 의료진에게 더욱 집중적이고 잠재적으로 더 신뢰할 만한 도구를 제공한다. 오픈 소스라는 특성은 투명성과 협력을 높이고 폭넓은 연구 커뮤니티의 지속적 개선과 스트레스 테스트를 가능하게 한다.

MEDITRON-70B는 MedQA의 4지선다형 데이터셋에서 USMLE 형식 문제에 대해 70.2%의 정확도를 달성했다.

Meditron과 Med-PaLM 2 같은 도구의 개발은 AI 적용 시 의료 분야의 고유한 요구를 고려해야 한다는 인식이 높아지고 있음을 보여 준다. 관련성 높은 양질의 의료 데이터로 학습하고 임상 환경에서 안전성과 신뢰성을 확보하는 일이 매우 중요하다.

또한 국제적십자위원회와 같은 인도주의적 상황의 데이터를 포함하는 것은 세계 의료의 다양한 필요와 과제를 고려한다는 의미다. 이는 기술적으로 발전했을 뿐 아니라 사회적으로 책임 있고 유익한 AI 도구를 만들려는 여러 연구 기관의 목표와 맞닿아 있다.

Nature에 발표된 논문 「Large language models encode clinical knowledge」는 LLM을 임상 환경에서 효과적으로 활용하는 방법을 탐구한다. 이 연구는 의료 분야에서 LLM의 능력과 한계를 이해할 수 있는 새로운 통찰과 방법론을 제시한다.

의료는 다양한 증상, 질병, 치료법이 끊임없이 변하는 복잡한 분야다. LLM은 이러한 복잡성을 이해할 뿐 아니라 최신 의학 지식과 지침도 따라가야 한다.

연구의 핵심은 새로 구성한 벤치마크 MultiMedQA다. 기존 의료 질의응답 데이터셋 6개에 온라인에서 자주 검색되는 의학 질문으로 이루어진 HealthSearchQA를 결합했다. 사실성, 이해, 추론, 잠재적 위해, 편향 등 여러 차원에서 LLM을 평가하여 제한된 벤치마크에 의존했던 기존 자동 평가의 한계를 보완하려는 접근이다.

의학 시험을 포함한 다양한 의료 질문의 답변을 평가하는 벤치마크 MultiMedQA

연구에서는 매개변수 5,400억 개의 Pathways Language Model(PaLM)과 지시 학습으로 조정한 Flan-PaLM을 MultiMedQA로 평가했다. Flan-PaLM은 MultiMedQA의 모든 객관식 데이터셋에서 당시 최고 수준의 정확도를 기록했다. 미국 의사면허시험 형식 문제를 포함한 MedQA에서는 67.6%의 정확도를 달성했으며, 원문은 기존 최고 성능을 17% 이상 넘어섰다고 설명한다.

MedQA

MedQA 데이터셋은 USMLE 형식의 문제로 구성되며 각 문제에 답안 선택지가 4개 또는 5개 있다. 개발 세트에는 11,450개, 테스트 세트에는 1,273개 문제가 포함된다.

형식: 질의응답(Q + A), 객관식, 개방형 도메인.

예시 문제: 고혈압이 있는 65세 남성이 정기 건강 검진을 위해 진료를 받는다. 현재 아테놀롤, 리시노프릴, 아토르바스타틴을 복용 중이다. 맥박은 분당 86회, 호흡수는 분당 18회, 혈압은 145/95mmHg이다. 심장 진찰에서 이완기 말 심잡음이 들린다. 이 진찰 소견의 원인으로 가장 가능성이 높은 것은 무엇인가?

선택지(굵은 글씨가 정답): (A) 좌심실 순응도 감소 (B) 승모판의 점액종성 변성 (C) 심낭 염증 (D) 대동맥근 확장 (E) 승모판엽 비후.

연구는 모델 성능의 중요한 부족점도 확인했다. 특히 일반인의 의학 질문에 답하는 능력에 한계가 있었다. 이를 보완하기 위해 연구진은 ‘instruction prompt tuning’이라는 방법을 제안했다. 소수의 예시를 이용해 LLM을 새로운 분야에 효율적으로 맞추는 기법으로, 이를 통해 Med-PaLM을 만들었다. Med-PaLM은 이해, 지식 회상, 추론에서 개선을 보이며 유망한 성능을 나타냈지만 여전히 임상의에는 미치지 못했다.

연구의 또 다른 특징은 상세한 사람 평가 체계다. 모델의 답변이 과학적 합의에 부합하는지와 잠재적으로 해로운 결과를 초래할 가능성이 있는지를 평가했다. Flan-PaLM의 긴 답변 중 과학적 합의에 부합한 비율은 61.9%였지만 Med-PaLM에서는 92.6%로 높아져 임상의가 작성한 답변과 비슷한 수준이었다. 잠재적으로 해로운 결과의 가능성도 Flan-PaLM보다 Med-PaLM에서 크게 줄었다.

Med-PaLM 답변에 대한 사람 평가는 여러 영역에서 임상의 답변에 가까운 역량을 확인했다. 이는 임상 환경에서 보조 도구로 활용될 가능성을 보여 준다.

이 연구의 기법과 관찰은 의료 분야를 넘어 다양한 영역에서 LLM의 능력을 개선하는 데 적용할 수 있다. 주요 내용은 다음과 같다.

지시 학습을 통한 성능 개선

• 일반적인 적용: 구체적인 지시나 지침으로 LLM을 미세 조정하는 지시 학습은 여러 영역에서 성능을 크게 높이는 것으로 나타났다. 법률, 금융, 교육 등에서도 출력의 정확성과 관련성을 높이는 데 적용할 수 있다.

모델 크기 확장

• 폭넓은 시사점: 모델 크기를 늘리면 성능이 향상된다는 관찰은 의료 질의응답에만 해당하지 않는다. 매개변수가 많은 큰 모델은 더 세밀하고 복잡한 응답을 처리하고 생성할 수 있다. 미묘한 의미를 이해하고 답변하는 능력이 중요한 고객 서비스, 창작, 기술 지원 등에서도 도움이 될 수 있다.

사고 사슬(CoT) 프롬프팅

• 다양한 분야에서의 활용: CoT 프롬프팅은 의료 데이터셋에서 항상 성능을 높이지는 않았지만 복잡한 문제 해결이 필요한 다른 분야에서는 가치가 있을 수 있다. 기술적 문제 해결이나 복잡한 의사결정에서 단계적으로 정보를 처리하도록 유도해 더 정확하고 논리적인 답변을 얻는 데 도움을 줄 수 있다.

정확도를 높이는 자기 일관성

• 폭넓은 적용: 여러 출력을 생성한 뒤 가장 일관된 답을 선택하는 자기 일관성 기법은 다양한 분야의 성능을 높일 수 있다. 정확성이 중요한 금융이나 법률 분야에서는 생성된 출력을 교차 검증하여 신뢰성을 높이는 데 활용할 수 있다.

불확실성과 선택적 예측

• 분야를 넘는 관련성: 잘못된 정보가 심각한 결과로 이어질 수 있는 의료와 법률 등에서는 불확실성 추정치를 전달하는 것이 중요하다. LLM이 불확실성을 표현하고 확신이 낮을 때 예측을 선택적으로 유보하도록 하면 부정확한 정보의 확산을 막는 중요한 도구가 될 수 있다.

실제 활용은 질문에 답하는 데 그치지 않는다. 환자 교육, 진단 과정 지원, 의대생 교육에도 이용할 수 있다. 그러나 적절한 사람의 감독 없이 AI에 의존하지 않도록 배포와 운영을 신중하게 관리해야 한다.

의학 지식이 발전함에 따라 LLM도 적응하고 학습해야 한다. 지속적인 학습과 갱신 체계를 마련하여 시간이 지나도 관련성과 정확성을 유지해야 한다.