Революция в здравоохранении: изучение влияния и будущего больших языковых моделей в медицине

Интеграция и применение больших языковых моделей (LLM) в медицине и здравоохранении является темой, вызывающей значительный интерес и развитие.

Как отмечалось в Глобальная конференция «Управление информацией в здравоохранении и системное общество» и других примечательных событий, такие компании, как Google, возглавляют исследование потенциала генеративного искусственного интеллекта в здравоохранении. Их инициативы, такие как Med-PaLM 2, подчеркивают развивающуюся среду решений в области здравоохранения на основе искусственного интеллекта, особенно в таких областях, как диагностика, уход за пациентами и административная эффективность.

Программа Med-PaLM 2 от Google, новаторская программа LLM в сфере здравоохранения, продемонстрировала впечатляющие возможности, в частности, достигнув «экспертного» уровня в вопросах, аналогичных экзамену на получение медицинской лицензии в США. Эта модель и другие подобные ей обещают революционизировать способы доступа и использования информации медицинскими работниками, потенциально повышая точность диагностики и эффективность ухода за пациентами.

Однако наряду с этими достижениями высказывались опасения по поводу практичности и безопасности этих технологий в клинических условиях. Например, использование обширных источников данных в Интернете для обучения моделей, хотя и полезно в некоторых контекстах, не всегда может быть уместным или надежным для медицинских целей. Как Нигам Шах, PhD, MBBS, главный специалист по данным Стэнфордское Здравоохранение, отмечает, что важнейшие вопросы, которые следует задать, касаются эффективности этих моделей в реальных медицинских условиях и их фактического влияния на уход за пациентами и эффективность здравоохранения.

Точка зрения доктора Шаха подчеркивает необходимость более индивидуального подхода к использованию LLM в медицине. Вместо моделей общего назначения, обученных на обширных интернет-данных, он предлагает более целенаправленную стратегию, при которой модели обучаются на конкретных, актуальных медицинских данных. Этот подход напоминает обучение медицинских интернов: он дает им конкретные задачи, контролирует их выполнение и постепенно предоставляет большую автономию по мере того, как они демонстрируют компетентность.

В соответствии с этим ведется разработка Meditron от исследователей EPFL представляет собой интересное достижение в этой области. Meditron, LLM с открытым исходным кодом, специально разработанный для медицинских приложений, представляет собой значительный шаг вперед. Meditron, обученный на основе тщательно подобранных медицинских данных из авторитетных источников, таких как PubMed и клинических руководств, предлагает более целенаправленный и потенциально более надежный инструмент для практикующих врачей. Его природа с открытым исходным кодом не только способствует прозрачности и сотрудничеству, но также позволяет постоянному совершенствованию и стресс-тестированию со стороны более широкого исследовательского сообщества.

MEDITRON-70B достигает точности 70.2 по вопросам в стиле USMLE в наборе данных опций MedQA-4

Разработка таких инструментов, как Meditron, Med-PaLM 2 и других, отражает растущее признание уникальных требований сектора здравоохранения, когда дело касается приложений ИИ. Очень важно уделять особое внимание обучению этих моделей актуальным высококачественным медицинским данным и обеспечению их безопасности и надежности в клинических условиях.

Более того, включение разнообразных наборов данных, например, из гуманитарного контекста, такого как Международный комитет Красного Креста, демонстрирует чувствительность к различным потребностям и проблемам глобального здравоохранения. Этот подход соответствует более широкой миссии многих исследовательских центров ИИ, целью которых является создание инструментов ИИ, которые не только технологически продвинуты, но также социально ответственны и полезны.

Бумага под названием «Большие языковые модели кодируют клинические знания», недавно опубликованная в журнале Nature, исследует, как большие языковые модели (LLM) могут эффективно использоваться в клинических условиях. В исследовании представлены новаторские идеи и методологии, проливающие свет на возможности и ограничения LLM в медицинской сфере.

Медицинская сфера отличается своей сложностью и разнообразием симптомов, заболеваний и методов лечения, которые постоянно развиваются. Магистр права должен не только понимать эту сложность, но и быть в курсе новейших медицинских знаний и рекомендаций.

Ядро этого исследования вращается вокруг недавно созданного эталона под названием MultiMedQA. Этот тест объединяет шесть существующих наборов данных медицинских вопросов-ответов с новым набором данных HealthSearchQA, который включает медицинские вопросы, которые часто ищут в Интернете. Этот комплексный подход направлен на оценку LLM по различным параметрам, включая фактичность, понимание, обоснование, возможный вред и предвзятость, тем самым устраняя ограничения предыдущих автоматизированных оценок, которые основывались на ограниченных контрольных показателях.

MultiMedQA, эталон для ответов на медицинские вопросы, связанные с медицинским обследованием.

Ключом к исследованию является оценка языковой модели Pathways (PaLM), LLM с 540 миллиардами параметров, и ее настраиваемого варианта Flan-PaLM на MultiMedQA. Примечательно, что Flan-PaLM достигает высочайшей точности для всех наборов данных с несколькими вариантами ответов в рамках MultiMedQA, включая точность 67.6% в MedQA, который включает вопросы в стиле экзамена по медицинскому лицензированию в США. Эти характеристики знаменуют собой значительное улучшение по сравнению с предыдущими моделями, превосходя предыдущее состояние более чем на 17%.

МедQA

Format: question and answer (Q + A), multiple choice, open domain.

Example question: A 65-year-old man with hypertension comes to the physician for a routine health maintenance examination. Current medications include atenolol, lisinopril, and atorvastatin. His pulse is 86 min−1, respirations are 18 min−1, and blood pressure is 145/95 mmHg. Cardiac examination reveals end diastolic murmur. Which of the following is the most likely cause of this physical examination?

Answers (correct answer in bold): (A) Decreased compliance of the left ventricle, (B) Myxomatous degeneration of the mitral valve (C) Inflammation of the pericardium (D) Dilation of the aortic root (E) Thickening of the mitral valve leaflets.

Исследование также выявляет критические пробелы в эффективности модели, особенно в ответах на медицинские вопросы потребителей. Чтобы решить эти проблемы, исследователи предлагают метод, известный как настройка подсказки инструкций. Этот метод эффективно согласовывает LLM с новыми областями, используя несколько образцов, что приводит к созданию Med-PaLM. Модель Med-PaLM, хотя и работает обнадеживающе и демонстрирует улучшение понимания, вспоминания знаний и рассуждения, все же не дотягивает до клиницистов.

Примечательным аспектом этого исследования является детальная система оценки человека. Эта структура оценивает ответы моделей на соответствие научному консенсусу и потенциальным вредным последствиям. Например, хотя только 61.9% развернутых ответов Flan-PaLM соответствовали научному консенсусу, для Med-PaLM эта цифра выросла до 92.6%, что сопоставимо с ответами, полученными врачами. Аналогичным образом, вероятность вредных последствий была значительно снижена в ответах Med-PaLM по сравнению с Flan-PaLM.

Человеческая оценка ответов Med-PaLM выявила его компетентность в нескольких областях, что тесно согласуется с ответами, полученными врачами. Это подчеркивает потенциал Med-PaLM как вспомогательного инструмента в клинических условиях.

Исследование, обсуждаемое выше, углубляется в тонкости улучшения моделей большого языка (LLM) для медицинских приложений. Методы и наблюдения из этого исследования могут быть обобщены для улучшения возможностей LLM в различных областях. Давайте рассмотрим эти ключевые аспекты:

Настройка инструкций повышает производительность

• Универсальное приложение: Настройка инструкций, которая включает в себя точную настройку LLM с использованием конкретных инструкций или рекомендаций, показала, что значительно повышает производительность в различных областях. Этот метод можно применить к другим областям, таким как юридическая, финансовая или образовательная сфера, чтобы повысить точность и актуальность результатов LLM.

Масштабирование размера модели

• Более широкие последствия: Наблюдение о том, что масштабирование размера модели повышает производительность, не ограничивается ответами на медицинские вопросы. Более крупные модели с большим количеством параметров способны обрабатывать и генерировать более тонкие и сложные ответы. Такое масштабирование может быть полезным в таких областях, как обслуживание клиентов, творческое письмо и техническая поддержка, где понимание нюансов и генерация ответов имеют решающее значение.

Цепочка мыслей (COT)

• Разнообразное использование доменов: Использование подсказок COT, хотя и не всегда повышает производительность при работе с наборами медицинских данных, может быть полезным в других областях, где требуется сложное решение проблем. Например, при устранении технических неполадок или сложных сценариях принятия решений подсказки COT могут помочь специалистам LLM обрабатывать информацию шаг за шагом, что приводит к более точным и обоснованным результатам.

Самосогласованность для повышения точности

• Более широкие приложения: Метод самосогласованности, при котором генерируется несколько результатов и выбирается наиболее последовательный ответ, может значительно повысить производительность в различных областях. В таких областях, как финансы или юриспруденция, где точность имеет первостепенное значение, этот метод можно использовать для перекрестной проверки полученных результатов для повышения надежности.

Неопределенность и выборочное предсказание

• Междоменная релевантность: Сообщение оценок неопределенности имеет решающее значение в областях, где дезинформация может иметь серьезные последствия, таких как здравоохранение и право. Использование способности LLM выражать неопределенность и выборочно откладывать прогнозы, когда уверенность низкая, может стать решающим инструментом в этих областях для предотвращения распространения неточной информации.

Реальное применение этих моделей выходит за рамки ответов на вопросы. Их можно использовать для обучения пациентов, оказания помощи в диагностических процессах и даже для обучения студентов-медиков. Однако их развертывание необходимо тщательно контролировать, чтобы избежать зависимости от ИИ без надлежащего человеческого контроля.

По мере развития медицинских знаний студенты LLM также должны адаптироваться и учиться. Для этого необходимы механизмы непрерывного обучения и обновления, гарантирующие, что модели останутся актуальными и точными с течением времени.