iMerit 推出 Scholars 平台，扩大专家主导的 AI 训练与评估规模

模型可能给出令人信服的医学解释，或流畅地解答数学问题，却仍会犯下只有专业人士才能察觉的错误。正是这种对专家判断的需求，促使iMerit推出了iMerit Scholars 平台。该系统旨在统筹训练、评估和挑战先进 AI 模型的人才。

这家由 EXL 拥有的公司于 10 月 26 日宣布推出该平台，将招聘、入职、专家匹配、项目分配、人员参与和付款整合到一个统一平台中。公告称，其现有的 Scholars 计划覆盖 118 个国家和地区、使用 106 种语言的 30,000 多名受邀且经过审核的专业人士。

该平台旨在随着需求增长，管理数十万名专家。这指的是平台预期能够达到的运营规模，与目前报告的社区规模有所不同。眼下，这一平台的核心价值在于，让模型开发和部署的整个生命周期中，专业人力的协调变得更加容易。

打造推动模型改进的人才队伍

Scholars 社区涵盖医学、数学、农业、语言学、自主系统等多个专业领域。这些专家参与监督微调、模型评估、红队测试以及基于人类反馈的强化学习（通常简称 RLHF）。

这些工作需要不同类型的判断。微调可能需要精心构造示例，展示模型应当生成何种回应。评估则是判断输出是否符合既定标准。红队测试会有意探查系统的失效之处；人类反馈则可以提供偏好和纠正意见，为后续训练提供依据。

因此，为任务匹配合适的人选，与扩大人才库同样重要。熟悉某个细分专科的临床医生，可能会发现知识面广泛的审核者忽略的重大错误。语言学家则可能识别出直译时会消失的歧义。

新平台根据专业领域和认知技能为项目匹配人才，同时提供行政支持，帮助专家持续参与其中。iMerit 表示，其目标是与专家建立持续合作关系，让他们熟悉工作内容并参与反馈周期。

“我们需要的不只是有足够专业知识来教模型的人，还需要能够证明模型有错并加以纠正的人。”iMerit 执行副总裁兼 EXL 旗下 iMerit 负责人 Radha Basu 表示。

Ango Hub 将专家判断与训练数据相连接

Scholars 平台底层的运营技术是Ango Hub，这是 iMerit 的数据标注和模型评估平台。它的作用是将专家工作转化为有组织、可审核的成果，以便纳入训练或评估流程。

Ango Hub 现有的产品文档介绍了可配置的工作流、由多名标注人员处理同一数据资产、基准任务，以及审核者接受、拒绝或纠正标签的控制功能。项目指南和问题处理系统可帮助审核者解决疑问，基于角色的访问控制则规定哪些人可以处理特定数据。

该平台支持多种模态，包括图像、视频、音频、文本、PDF 文件和医学 DICOM 数据。随着模型开发日益结合语言、视觉、临床或现实物理世界的信息，这种广泛的支持尤为重要。界面和审核流程需要适应专家正在检查的材料。

区分这两个平台很有帮助：Scholars 负责协调专家队伍及其与项目的合作关系，Ango Hub 则提供相应工具和工作流，将专家贡献转化为可供 AI 使用的数据。

从纠正答案到评估完整的智能体工作流

iMerit 的Deep Reasoning Lab对这一流程进行了更细致的审视。公司介绍称，专家会设计多步骤场景、审核模型输出、对错误进行分类，并提供附有解释的纠正意见。这些结构化示例有助于开发者找出答案出错之处，并制作有针对性的训练材料。

这类推理轨迹是针对特定任务创建并审核的整理成果。不应假定它们揭示了生成模型答案时发生的全部内部计算过程。它们的实际价值在于，明确呈现评估路径及相应纠正意见，使其足够清晰，便于检查和复用。

该公司的智能体评估服务将审核范围从最终回应扩展到规划步骤、工具调用、中间状态和结果。公司介绍称，该服务针对任务完成情况、工具选择、依据支撑和政策边界等问题，采用结构化评分标准和专家裁定。

当 AI 能够采取行动时，这一点就变得尤为重要。智能体可能生成一份润色精良的摘要，却使用了错误的工具，或未能完成底层任务。审核一系列操作，能让专家识别此类失误，并向开发者提供结构化反馈。

支付与项目连续性成为基础设施的一部分

此次上线还集成了Trolley，用于全球付款。iMerit 表示，这项集成支持其国际专家社群的安全支付和合规工作流程。

支付运营看似与模型性能无关，但会影响专业人员能否持续参与项目。当项目依赖多个国家的专家时，招募、入职、任务访问和报酬支付都会成为运营环节中不可或缺的一部分。

该平台将这些功能与人才匹配和互动整合在一起，而不是让各个项目团队分别搭建相关流程。对客户而言，预期收益是获得更稳定的团队和审核流程；对专家而言，则是从加入项目、完成工作到收到报酬，整个过程更加清晰。

“你们做的不只是数据标注，还在帮助塑造这些系统在你们所在领域的推理方式和行为表现，”贝丝以色列女执事医疗中心的病理学专家、iMerit 医疗保健 AI 学者 Pavel Kopach 医学博士在公告中表示。

EXL 带来企业部署背景

此次上线是在EXL完成对iMerit的收购之后推出的；该收购于8月3日宣布。EXL表示，此次整合旨在将模型训练与评估专长，与其企业数据、运营背景及AI实施能力结合起来。

这为 Scholars 拓展了更广阔的市场渠道。Basu 表示，iMerit 正从前沿模型开发拓展至银行、医疗保健和保险工作流程；在这些领域，领域定制、可信度与安全性都会影响 AI 能否在生产环境中成功运行。

新平台本身并不能证明某个模型在所有专业场景中都可靠。它解决的是一个更具体的前提问题：组织好测试系统是否符合特定场景要求所需的人员、工具和反馈。随着 AI 日益深入专业工作流程，找到合适的专家、获取有效的修正意见，并将这些知识反馈到开发过程中，正成为技术栈中越来越重要的一环。