Prerak Garg, 微软高级总监 Prerak Garg 微软高级总监

医疗保健领域基础模型的变革潜力

过去两年中，像GPT-4这样的通用基础模型已经取得了显著的进步，凭借更大的数据集、更大的模型规模和架构改进，提供了前所未有的功能。这些模型可以适应各个领域的广泛任务。然而，医疗保健人工智能仍然以专门为特定任务设计的模型为特征。例如，一个训练用于分析X光片以检测骨折的模型只能识别骨折，缺乏生成综合放射学报告的能力。大多数由食品和药物管理局批准的 500 个人工智能模型 仅限于一个或两个用例。然而，基础模型以其在不同任务中的广泛适用性而闻名，为医疗保健应用铺平了变革的道路。虽然已经有初步尝试开发用于医疗应用的基础模型，但这种更广泛的方法尚未在医疗保健人工智能中普及。这种缓慢的采用主要是由于获取大型和多样化的医疗保健数据集的挑战，以及模型需要跨不同类型的医疗数据进行推理。医疗保健的实践本质上是多模态的，结合来自图像、电子健康记录（EHRs）、传感器、可穿戴设备、基因组学等的信息。因此，基础医疗保健模型也必须本质上是多模态的。尽管如此，最近在多模态架构和自监督学习方面的进展，这些进展可以处理各种数据类型而无需标记数据，为医疗保健基础模型铺平了道路。医疗保健领域生成式人工智能的当前状态医疗保健传统上采用技术较慢，但似乎更迅速地接受了 生成式人工智能 。在HIMSS24上，医疗保健技术专业人员最大的全球会议上，生成式人工智能几乎是每个演讲的焦点。医疗保健领域生成式人工智能的第一个广泛应用的用例是缓解临床文档的行政负担。传统上，记录患者互动和护理过程会消耗大量医生的时间（>2小时/天），经常使他们分心于直接的患者护理。像GPT-4或MedPalm-2这样的人工智能模型被用于监测患者数据和医生-患者互动，以草拟关键文档，例如进展笔记、出院摘要和转介信。这些草稿准确地捕捉了基本信息，只需要医生的审查和批准。这大大减少了文书工作时间，允许医生更专注于患者护理，提高服务质量，减少倦怠。然而，基础模型在医疗保健领域的更广泛应用尚未完全实现。像GPT-4这样的通用基础模型有几个局限性；因此，需要一个医疗保健特定的基础模型。例如，GPT-4缺乏分析医疗图像或理解患者纵向数据的能力，这对于提供准确的诊断至关重要。另外，它不具备最新的医疗知识，因为它仅在2023年12月之前的数据上进行了训练。Google的MedPalm-2代表了首次尝试构建医疗保健特定的基础模型，能够回答医疗查询并推理医疗图像。然而，它仍然没有捕捉到医疗保健人工智能的全部潜力。构建医疗保健基础模型构建医疗保健基础模型的过程从公共和私人来源的数据开始，包括生物库、实验数据和患者记录。该模型将能够处理和组合不同的数据类型，例如文本和图像或实验室结果，以执行复杂的医疗任务。此外，它可以推理新的情况，并以医学上精确的语言表达其输出。这种能力扩展到推断和利用医疗概念和临床数据之间的因果关系，特别是在提供基于观察数据的治疗建议时。例如，它可以根据最近的严重胸部创伤和下降的动脉氧水平预测急性呼吸窘迫综合征，尽管氧气供应增加。此外，该模型将访问来自知识图或数据库等资源的上下文信息，以获取最新的医疗知识，提高其推理能力，并确保其建议反映医学的最新进展。医疗保健基础模型的应用和影响医疗保健基础模型的潜在用途是广泛的。在诊断方面，例如，该模型可以减少对人工分析的依赖。对于治疗计划，该模型可以通过考虑患者的整个医疗记录、基因细节和生活方式因素来帮助制定个性化的治疗策略。其他应用包括： 基于证据的放射学报告： 医疗保健基础模型可以通过创建可以支持放射科医生、自动化报告草稿和减少工作量的多功能助手来改变数字放射学。它还将能够集成整个患者病史。例如，放射科医生可以询问模型关于病情随时间的变化：“您能否识别出自上次扫描以来肿瘤大小的任何变化？” 床边临床决策支持： 利用临床知识，它将提供清晰的自由文本解释和数据摘要，提醒医疗人员注意患者的即刻风险，并建议下一步骤。例如，模型可以提醒“警告：此患者即将进入休克状态”，并提供相关数据摘要和操作检查清单。 药物发现： 设计特异性和强烈地与目标结合的蛋白质是药物发现的基础。早期模型如RFdiffusion已经开始根据基本输入（如结合目标）生成蛋白质。构建在这些初始模型之上，医疗保健特定的基础模型可以被训练来理解语言和蛋白质序列。这将使其能够提供基于文本的界面来设计蛋白质，可能加速新药物的开发 挑战虽然构建医疗保健特定的基础模型仍然是最终目标，最近的进展使其更加可行，但仍然存在在开发一个能够跨不同医疗概念进行推理的单一模型方面的重大挑战： 映射多个模态： 模型必须在各种数据模态上进行训练，例如EHR数据、医疗图像数据和基因数据。跨这些模态进行推理具有挑战性，因为获取高保真度的数据以准确地映射所有这些模态之间的交互是困难的。此外，表示各种生物模态，从细胞动力学到分子结构和基因组范围的基因相互作用，是复杂的。在人类数据上进行最佳训练是不切实际且不道德的，因此研究人员依赖于预测性较低的动物模型或细胞系，这在将实验室测量结果转化为整个生物体的复杂工作时会带来挑战。 验证和验证： 医疗保健基础模型由于其多功能性而难以验证。传统上，人工智能模型被验证用于特定的任务，例如从MRI诊断某种类型的癌症。然而，基础模型可以执行新的、未见过的任务，使其难以预测所有可能的故障模式。它们需要对其测试和批准的用例进行详细说明，并且应对非标签使用发出警告。验证其输出也很复杂，因为它们处理多样化的输入和输出，可能需要一个跨学科的专家小组来确保准确性。 社会偏见： 这些模型存在延续偏见的风险，因为它们可能会在代表性不足的数据或包含偏见相关性的数据上进行训练。解决这些偏见至关重要，特别是随着模型规模的增加，这可能会加剧这个问题。 前进之路生成式人工智能已经开始通过减轻临床文档的行政负担来重塑医疗保健，但其全部潜力还在前方。医疗保健领域基础模型的未来承诺是变革性的。想象一个医疗保健系统，其中诊断不仅更快而且更准确，治疗计划根据个体患者的基因特征、生活方式因素和整个医疗记录进行量身定制，新药物可以在几个月而不是几年内被发现。创建医疗保健特定的基础人工智能模型带来了挑战，特别是在整合分散的医疗和临床数据方面。然而，这些障碍可以通过技术人员、临床医生和政策制定者之间的合作努力来解决。通过共同努力，我们可以开发商业框架，以激励各利益相关者（EHR、成像公司、病理实验室、提供者）统一这些数据，并构建能够处理医疗保健中复杂、多模态交互的人工智能模型架构。此外，确保这一进步以明确的道德指南和健全的监管框架为指导至关重要，以确保这些技术被负责任和公平地使用。通过保持高标准的验证和公平性，医疗保健社区可以建立信任，并在患者和从业者中培养接受度。通往医疗保健基础模型的全部潜力之路是一个令人兴奋的前沿领域。通过拥抱这一创新精神，医疗保健部门可以期待不仅满足当前的挑战，而且变革医疗科学。我们正站在一个大胆的新时代的门槛上，这是一个充满可能性、由人工智能改善全球生活的承诺所驱动的时代。