의료 분야에서 대규모 언어 모델의 영향과 미래 탐색

의료 및 헬스케어 분야에서 대규모 언어 모델(LLM)의 통합 및 적용은 상당한 관심과 발전을 보인 분야입니다.

헬스케어 정보 관리 및 시스템 협회 글로벌 컨퍼런스와 다른 주목할 만한 행사에서 구글과 같은 회사들이 헬스케어 분야에서 생성적 AI의 잠재력을 탐색하는 것을 주도하고 있음을 알 수 있습니다. Med-PaLM 2와 같은 их의 이니셔티브는 특히 진단, 환자 케어, 행정 효율성과 같은 분야에서 AI 기반 헬스케어 솔루션의 발전하는 풍경을 강조합니다.

구글의 Med-PaLM 2는 헬스케어 분야에서 선구적인 LLM으로서 인상적인 능력을 보여주었으며, 특히 미국 의사 면허 시험 스타일의 질문에서 “전문가” 수준을 달성했습니다. 이러한 모델과 그 유사한 모델들은 의료 전문가가 정보에 접근하고 활용하는 방식을革命화할 수 있으며, 진단 정확도와 환자 케어 효율성을 향상시킬 수 있습니다.

그러나 이러한 발전과 함께, 이러한 기술의 실제성과 안전성에 대한 우려가 제기되었습니다. 예를 들어, 모델 훈련을 위한 광범위한 인터넷 데이터 소스의 의존성은 일부 상황에서는 유익할 수 있지만 항상 의료 목적에 적합하거나 신뢰할 수 있는 것은 아닙니다. 스탠퍼드 헬스케어의 수석 데이터 과학자인 니감 샤(Nigam Shah) 박사는 이러한 모델의 실제 의료 환경에서의 성능과 환자 케어 및 헬스케어 효율성에 대한 실제 영향에 대한 질문을 던집니다.

샤 박사의 관점은 의료 분야에서 LLM을 사용하는 더 세분화된 접근 방식의 필요성을 강조합니다. 일반적인 인터넷 데이터에 훈련된 일반 목적 모델 대신에, 의료 데이터에 특화된 모델을 훈련하는 접근 방식을 제안합니다. 이는 의료 인턴을 훈련하는 것과 유사합니다. 즉, 특정 작업을 제공하고, 성능을 감독하며, 능력을 입증함에 따라 점차적으로 더 많은 자율성을 부여합니다.

이와 일관된 EPFL 연구자들이 개발한 Meditron은 의료 분야에서 중요한 발전입니다. Meditron은 의료 응용 프로그램을 위한 오픈 소스 LLM으로서, 의료 전문가에게 더 집중적이고 신뢰할 수 있는 도구를 제공합니다. PubMed와 같은 신뢰할 수 있는 출처에서 수집된 의료 데이터에 훈련된 Meditron은 의료 전문가에게 더 집중적이고 신뢰할 수 있는 도구를 제공합니다. 오픈 소스 특성은 투명성과 협력을 촉진하며, 더 넓은 연구 커뮤니티에서 지속적인 개선과 스트레스 테스트를 허용합니다.

이 연구는 LLM의 능력과 한계를 평가하기 위한 새로운 벤치마크인 MultiMedQA를 제시합니다. MultiMedQA는 의료 질문에 대한 답변을 평가하기 위한 포괄적인 접근 방식을 제공합니다. 이 벤치마크는 사실성, 이해, 추론, 잠재적 유해성, 및 편향성과 같은 다양한 차원에서 LLM을 평가합니다.

MedQA

MedQA 데이터셋은 미국 의사 면허 시험 스타일의 질문을 특징으로 하며, 각 질문에는 4개 또는 5개의 답변 옵션이 있습니다. 개발 세트에는 11,450개의 질문과 테스트 세트에는 1,273개의 질문이 포함되어 있습니다.

이 연구는 LLM의 성능을 평가하기 위한 인간 평가 프레임워크를 제시합니다. 이 프레임워크는 모델의 답변을 과학적 합의와 잠재적으로 유해한 결과와 일치하는지 평가합니다. 예를 들어, Flan-PaLM의 장형 답변 중 61.9%가 과학적 합의와 일치하는 반면, Med-PaLM의 경우 92.6%로 klinician-generated 답변과 유사했습니다. 또한 Med-PaLM의 답변은 Flan-PaLM보다 잠재적으로 유해한 결과가 적었습니다.

Instruction Tuning Improves Performance

• 일반화된 적용: 지침 튜닝은 LLM의 성능을 향상시키는 데 유용한 기술입니다. 이는 의료 분야뿐만 아니라 법률, 금융, 교육 등 다양한 분야에서 적용될 수 있습니다.

Scaling Model Size

• 보다広い 의미: 모델 크기를 확장하면 성능이 향상됩니다. 이는 의료 분야뿐만 아니라 고객 서비스, 창조적 글쓰기, 기술 지원 등에서 유용한 기술입니다.

Chain of Thought (COT) Prompting

• 다양한 분야에서의 활용: COT 프롬프팅은 의료 데이터셋에서 항상 성능을 향상시키지 못할 수 있지만, 기술 문제 해결이나 복잡한 의사 결정 시나리오와 같은 다른 분야에서 유용한 기술입니다.

Self-Consistency for Enhanced Accuracy

• 보다 넓은 적용: 자기 일관성은 다양한 분야에서 정확도를 향상시키는 데 유용한 기술입니다. 특히 금융이나 법률과 같은 분야에서 정확성이 중요합니다.

Uncertainty and Selective Prediction

• 다양한 분야에서의 활용: 불확실성을 전달하는 것은 의료나 법률과 같은 분야에서 중요합니다. LLM의 불확실성을 전달하고, 자신감이 낮은 경우 예측을 선택적으로 제외하는 것은 이러한 분야에서 중요한 도구입니다.

이러한 모델의 실제 적용은 질문에 답변하는 것을 넘어섭니다. 환자 교육, 진단 과정 지원, 의료 학생 교육 등에 사용될 수 있습니다. 그러나 이러한 모델의 배포는 적절한 인간 감시 없이 의존하지 않도록 주의해야 합니다.