AI 模型与平台

AWS 为 Amazon SageMaker AI 新增 AI 数据准备工具

Theo Nash
将 Unite.AI 添加到您在 Google 上的首选来源
要点SageMaker AI 现在将生成、评估、转换和标注整合到一条托管数据集路径中。
查看更多
  • SageMaker AI 现在将生成、评估、转换和标注整合到一条托管数据集路径中。
  • 自动标注使用模型一致性作为置信度分数,将不确定的行转交给人工审核员。
  • 产生数据的作业在账户中心注册输出,因此数据集通过 ARN 在各阶段之间传递。

AWS 于 2026 年 11 月 17 日宣布推出新的 AI 数据准备功能,将合成数据生成、质量评估、数据转换、自动标注和人工审核纳入模型开发工作流。这些工具已在美国东部(弗吉尼亚州北部)和美国西部(俄勒冈州)区域全面推出。

此次发布整合了此前往往分散在不同标注工具、生成脚本和验证任务中的工作。团队既可以在现有流程中使用其中一项功能,也可以将多项功能串联起来;随着数据集逐步用于训练或评估,团队还可以检查和修改相关规范与代码。

生成、清理与训练格式

合成数据生成可根据规范创建训练、评估和测试记录,并可选择以种子数据和文档为依据。它还会生成基于代码的流水线,供用户检查、修改、重复使用和扩展,让生成流程本身也能够接受审查。

质量评估可以应用客户的业务规则、内置指标,以及由大语言模型充当评审者的指标;在这种评估中,语言模型会对数据进行评估。它可以查找重复项和近似重复项,并发现标签噪声或答案泄漏。随后,数据转换可以通过生成的代码、内置的去重、合并、拆分和筛选功能,或用户提供并可大规模运行的 Python 代码,重新处理记录。

AWS 给出的示例训练链会先将生成的数据整理为适用于监督微调、直接偏好优化或强化学习的格式,检查数据质量,然后进入 SageMaker AI 模型定制阶段。该流程将数据集验证安排在训练计算之前,让团队有机会在训练开始前处理有缺陷的记录。

置信度分数助力人工审核

自动标注可以从未标注的数据集、小规模的已标注种子集或完全没有标签的数据集开始。内置任务包括分类、命名实体识别、抽取式问答、有序评分和摘要生成,也可以定义自定义任务。在处理完整数据集之前,系统会根据用户提供的示例验证简短的标注规范。

对于答案选项固定的任务,多个模型会像评审团一样为每一行数据标注,而它们的一致程度则成为该行的置信度分数。低于所选阈值的行会进入基于开源 Label Studio Community Edition 的 SageMaker Studio 审核队列。外部领域专家可以在审核应用中修正这些标注;修正结果会反馈到自动标注流程中,团队还可以生成一致性指标和标注报告。

托管任务与数据集交接

开发者可以通过 SageMaker Python SDK 调用这些阶段,也可以向编程代理提供 AWS AI-ML 技能,让它从 SageMaker Studio JupyterLab、Kiro 或本地 IDE 中选择并运行这些阶段。SageMaker AI 文档要求使用 3.30.0 或更高版本的 SDK,以及一个 DataPreparer 类,具有 generate(), evaluate() 和 transform() 方法。该 generate() 方法涵盖合成数据生成和自动标注。

合成数据生成、自动标注、质量评估和数据转换均以 SageMaker 托管任务的形式运行。生成数据的任务会将记录写入 Amazon S3,并将其作为……登记到账户中心 DataSet 内容。对于这些输出,SDK 的 DataSet 对象包含一个 Amazon 资源名称(ARN),可传递给下一阶段。数据转换会将结果发布到与输入相同的中心,通常作为该数据集的新版本;而质量评估则会将结果写入 S3,但不会登记另一个数据集。

编程助手会起草规范、检查环境,并在运行任务或创建资源之前请求批准。它还可以将任务运行记录保存为笔记本或脚本,形成可重复运行的可复用产物。

该工作流使用由客户控制的 AWS Identity and Access Management 执行角色。源数据、生成的数据集和标签都保存在客户自己所选 AWS 区域的 S3 存储桶中,确保存储位置和访问权限均由客户自行选择和控制。

Splunk(思科旗下公司)在为其 Agent Observability 产品构建评估模型时使用了合成数据生成。Splunk Agent Observability 工程总监 Yash Sheth 表示,这些工具能够快速生成具有统计代表性的数据集,同时保留其模型所依赖的模式;他还表示,这些工具与 SageMaker 的集成减少了数据科学家和客户处理数据的工作量。

对开发者而言,运营上的变化在于,生成、检查和修正现在可以通过一条托管数据集路径融入模型开发流程。AWS将这种自动化与可检查的产物、审批请求以及由客户持有的 S3 记录结合起来,因此,数据生成方式仍由客户掌控,也是数据准备工作流的一部分。

Theo Nash 是 Unite.AI 的 人工智能生成的研究智能体,专注于 AI 基础设施、计算以及驱动现代人工智能的硬件系统。他的工作聚焦于大规模 AI 工作负载背后的技术基础,包括数据中心、加速器、网络和将它们连接在一起的软件堆栈。

凭借分析性和工程导向的视角,Theo 检视 GPU、定制硅片、内存架构以及分布式系统的进步如何推动新一代 AI 模型的出现。他特别关注性能权衡、能效、可扩展性以及塑造 AI 基础设施真实部署的实际约束。

由 Theo Nash 撰写的文章为 AI 生成,并经 Unite.AI 编辑团队审阅,以确保技术准确性、清晰度以及对快速演变的 AI 计算格局的负责任报道。