의료 혁명: 의학에서 대규모 언어 모델의 영향과 미래 탐구

의학 및 의료 분야에서 LLM(대형 언어 모델)의 통합 및 적용은 상당한 관심과 개발의 주제였습니다.

에서 언급했듯이 의료 정보 관리 및 시스템 학회 글로벌 컨퍼런스 및 기타 주목할만한 이벤트를 통해 Google과 같은 회사는 의료 분야에서 생성 AI의 잠재력을 탐구하는 데 앞장서고 있습니다. Med-PaLM 2와 같은 이들의 이니셔티브는 특히 진단, 환자 치료, 행정 효율성과 같은 분야에서 AI 기반 의료 솔루션의 진화하는 환경을 강조합니다.

의료 분야의 선구적인 LLM인 Google의 Med-PaLM 2는 특히 미국 의료 면허 시험 스타일 질문에서 '전문가' 수준을 달성하는 등 인상적인 기능을 입증했습니다. 이 모델과 이와 유사한 다른 모델은 의료 전문가가 정보에 액세스하고 활용하는 방식에 혁명을 일으키고 잠재적으로 진단 정확성과 환자 치료 효율성을 향상시킬 것을 약속합니다.

그러나 이러한 발전과 함께 임상 환경에서 이러한 기술의 실용성과 안전성에 대한 우려가 제기되었습니다. 예를 들어, 모델 훈련을 위해 방대한 인터넷 데이터 소스에 의존하는 것은 일부 상황에서는 유익하지만 의료 목적으로는 항상 적절하거나 신뢰할 수 있는 것은 아닙니다. 처럼 니감 샤, PhD, MBBS, 최고 데이터 과학자 스탠포드 건강 관리, 지적해야 할 중요한 질문은 실제 의료 환경에서 이러한 모델의 성능과 환자 치료 및 의료 효율성에 대한 실제 영향에 관한 것입니다.

Shah 박사의 관점은 의학에서 LLM을 활용하기 위한 보다 맞춤화된 접근 방식의 필요성을 강조합니다. 그는 광범위한 인터넷 데이터에 대해 훈련된 범용 모델 대신 특정 관련 의료 데이터에 대해 모델을 훈련시키는 보다 집중적인 전략을 제안합니다. 이 접근 방식은 의료 인턴을 훈련하는 것과 유사합니다. 즉, 특정 작업을 제공하고 성과를 감독하며 능력을 입증함에 따라 점차적으로 더 많은 자율성을 허용합니다.

이에 맞춰 개발도 EPFL 연구진의 Meditron 이 분야에서 흥미로운 발전을 보여줍니다. 의료 응용 분야에 특별히 맞춤화된 오픈 소스 LLM인 Meditron은 중요한 발전을 보여줍니다. PubMed 및 임상 지침과 같은 평판이 좋은 소스에서 선별된 의료 데이터에 대한 교육을 받은 Meditron은 의료 종사자에게 보다 집중적이고 잠재적으로 보다 신뢰할 수 있는 도구를 제공합니다. 오픈 소스 특성은 투명성과 협업을 촉진할 뿐만 아니라 광범위한 연구 커뮤니티의 지속적인 개선과 스트레스 테스트를 허용합니다.

MEDITRON-70B는 MedQA-70.2 옵션 데이터 세트에서 USMLE 스타일 질문에 대해 4의 정확도를 달성합니다.

Meditron, Med-PaLM 2 등과 같은 도구의 개발은 AI 애플리케이션과 관련하여 의료 부문의 고유한 요구 사항에 대한 인식이 높아지고 있음을 반영합니다. 관련성 있는 고품질 의료 데이터에 대해 이러한 모델을 교육하고 임상 환경에서 안전성과 신뢰성을 보장하는 데 중점을 두는 것이 매우 중요합니다.

더욱이, 국제적십자위원회와 같은 인도주의적 맥락의 데이터 세트와 같은 다양한 데이터세트를 포함시키는 것은 글로벌 헬스케어의 다양한 요구와 과제에 대한 민감성을 보여줍니다. 이러한 접근 방식은 기술적으로 진보할 뿐만 아니라 사회적으로 책임 있고 유익한 AI 도구를 만드는 것을 목표로 하는 많은 AI 연구 센터의 광범위한 사명과 일치합니다.

"라는 제목의 논문대규모 언어 모델은 임상 지식을 인코딩합니다.” 최근 Nature에 발표된 논문에서는 대규모 언어 모델(LLM)이 임상 환경에서 어떻게 효과적으로 활용될 수 있는지 탐구합니다. 이 연구는 획기적인 통찰력과 방법론을 제시하고 의료 분야에서 LLM의 역량과 한계를 조명합니다.

의료 영역은 끊임없이 진화하는 다양한 증상, 질병 및 치료법으로 인해 복잡하다는 특징이 있습니다. LLM은 이러한 복잡성을 이해할 뿐만 아니라 최신 의학 지식과 지침을 따라잡아야 합니다.

이 연구의 핵심은 MultiMedQA라는 새로 선별된 벤치마크를 중심으로 진행됩니다. 이 벤치마크는 온라인에서 자주 검색되는 의료 질문으로 구성된 새로운 데이터 세트인 HealthSearchQA와 XNUMX개의 기존 의료 질문 답변 데이터 세트를 통합합니다. 이 포괄적인 접근 방식은 사실성, 이해력, 추론, 피해 가능성, 편견 등 다양한 측면에서 LLM을 평가하여 제한된 벤치마크에 의존했던 이전 자동 평가의 한계를 해결하는 것을 목표로 합니다.

건강 검진 전반에 걸친 의학적 질문에 답하기 위한 벤치마크인 MultiMedQA

이 연구의 핵심은 MultiMedQA에서 540억 매개변수 LLM인 PaLM(Pathways Language Model)과 명령 조정 변형인 Flan-PaLM을 평가하는 것입니다. 놀랍게도 Flan-PaLM은 미국 의료 면허 시험 스타일 질문으로 구성된 MedQA에서 67.6%의 정확도를 포함하여 MultiMedQA 내의 모든 객관식 데이터 세트에 대해 최첨단 정확도를 달성했습니다. 이 성능은 이전 모델에 비해 크게 개선되어 이전 기술 수준을 17% 이상 능가합니다.

MedQA

Format: question and answer (Q + A), multiple choice, open domain.

Example question: A 65-year-old man with hypertension comes to the physician for a routine health maintenance examination. Current medications include atenolol, lisinopril, and atorvastatin. His pulse is 86 min−1, respirations are 18 min−1, and blood pressure is 145/95 mmHg. Cardiac examination reveals end diastolic murmur. Which of the following is the most likely cause of this physical examination?

Answers (correct answer in bold): (A) Decreased compliance of the left ventricle, (B) Myxomatous degeneration of the mitral valve (C) Inflammation of the pericardium (D) Dilation of the aortic root (E) Thickening of the mitral valve leaflets.

또한 이 연구는 모델 성능, 특히 소비자 의료 질문에 대한 답변에서 심각한 격차를 확인했습니다. 이러한 문제를 해결하기 위해 연구원들은 명령 프롬프트 튜닝이라는 방법을 도입했습니다. 이 기술은 몇 가지 예시를 사용하여 LLM을 새로운 도메인에 효율적으로 정렬하여 Med-PaLM을 생성합니다. Med-PaLM 모델은 고무적인 성능을 발휘하고 이해력, 지식 회상 및 추론의 향상을 보여주지만 임상의에 비해 여전히 부족합니다.

이 연구의 주목할만한 측면은 상세한 인간 평가 프레임워크입니다. 이 프레임워크는 과학적 합의 및 잠재적으로 유해한 결과에 대한 모델의 답변을 평가합니다. 예를 들어, Flan-PaLM의 긴 형식 답변 중 61.9%만이 과학적 합의와 일치하는 반면, 이 수치는 Med-PaLM의 경우 92.6%로 증가하여 임상의가 생성한 답변과 비슷합니다. 마찬가지로, Flan-PaLM에 비해 Med-PaLM의 대응에서는 유해한 결과가 발생할 가능성이 크게 감소했습니다.

Med-PaLM의 반응에 대한 인간의 평가는 임상의가 생성한 답변과 밀접하게 일치하면서 여러 영역에서 그 숙련도를 강조했습니다. 이는 임상 환경에서 지원 도구로서 Med-PaLM의 잠재력을 강조합니다.

위에서 논의된 연구는 의료 응용 분야를 위한 LLM(대형 언어 모델) 향상의 복잡성을 탐구합니다. 이 연구의 기술과 관찰은 다양한 영역에서 LLM 역량을 향상시키기 위해 일반화될 수 있습니다. 다음과 같은 주요 측면을 살펴보겠습니다.

명령어 튜닝으로 성능 향상

• 일반화된 응용: 특정 지침이나 지침을 사용하여 LLM을 미세 조정하는 명령 조정은 다양한 영역에서 성능을 크게 향상시키는 것으로 나타났습니다. 이 기술은 법률, 금융 또는 교육 분야와 같은 다른 분야에 적용되어 LLM 결과의 정확성과 관련성을 향상시킬 수 있습니다.

확장 모델 크기

• 더 넓은 시사점: 모델 크기를 확장하면 성능이 향상된다는 관찰은 의학적 질문 답변에만 국한되지 않습니다. 더 많은 매개변수를 갖춘 더 큰 모델은 더 미묘하고 복잡한 반응을 처리하고 생성할 수 있는 능력을 갖습니다. 이러한 확장은 미묘한 이해와 응답 생성이 중요한 고객 서비스, 창의적 글쓰기, 기술 지원과 같은 영역에서 유용할 수 있습니다.

생각의 사슬(COT) 촉구

• 다양한 도메인 활용: COT 프롬프트의 사용은 의료 데이터 세트의 성능을 항상 향상시키는 것은 아니지만 복잡한 문제 해결이 필요한 다른 영역에서 유용할 수 있습니다. 예를 들어 기술 문제 해결 또는 복잡한 의사 결정 시나리오에서 COT 프롬프트는 LLM이 정보를 단계별로 처리하도록 안내하여 보다 정확하고 합리적인 결과를 얻을 수 있습니다.

향상된 정확성을 위한 자체 일관성

• 더 넓은 응용 분야: 여러 개의 출력을 생성하고 가장 일관된 답변을 선택하는 자기 일관성 기술은 다양한 분야에서 성능을 크게 향상시킬 수 있습니다. 정확성이 가장 중요한 금융이나 법률과 같은 영역에서는 이 방법을 사용하여 생성된 출력을 교차 검증하여 신뢰성을 높일 수 있습니다.

불확실성과 선택적 예측

• 도메인 간 관련성: 의료 및 법률과 같이 잘못된 정보가 심각한 결과를 초래할 수 있는 분야에서는 불확실성 추정치를 전달하는 것이 중요합니다. 불확실성을 표현하고 신뢰도가 낮을 ​​때 선택적으로 예측을 연기하는 LLM의 능력을 사용하는 것은 이러한 영역에서 부정확한 정보의 전파를 방지하는 중요한 도구가 될 수 있습니다.

이러한 모델의 실제 적용은 질문에 답하는 것 이상으로 확장됩니다. 환자 교육, 진단 과정 지원, 심지어 의대생 교육에도 사용할 수 있습니다. 그러나 적절한 인간 감독 없이 AI에 의존하지 않도록 배포를 신중하게 관리해야 합니다.

의학 지식이 발전함에 따라 LLM도 적응하고 학습해야 합니다. 이를 위해서는 지속적인 학습과 업데이트를 위한 메커니즘이 필요하며 시간이 지나도 모델의 관련성과 정확성을 유지해야 합니다.