Модели и платформы ИИ
AWS добавляет инструменты подготовки данных с использованием ИИ в Amazon SageMaker AI

Ключевые моментыSageMaker AI теперь объединяет генерацию, оценку, преобразование и разметку в одном…
Показать больше
- SageMaker AI теперь объединяет генерацию, оценку, преобразование и разметку в одном управляемом пути набора данных.
- Автоматическая разметка использует согласие моделей в качестве оценки уверенности, чтобы направлять неопределённые строки на проверку людям.
- Задания, создающие данные, регистрируют выходные данные в центральном узле учётной записи, чтобы наборы данных передавались между этапами по ARN.
17 ноября 2026 года AWS объявила о новых возможностях подготовки данных с использованием ИИ для Amazon SageMaker AI: в рабочие процессы разработки моделей добавлены генерация синтетических данных, оценка качества, преобразование, автоматическая разметка и проверка человеком. Инструменты доступны всем пользователям в регионах Восток США (Северная Вирджиния) и Запад США (Орегон).
Этот выпуск объединяет задачи, которые часто выполняются с помощью отдельных инструментов разметки, скриптов генерации и заданий проверки. Команда может использовать одну возможность в рамках существующего процесса или объединить несколько возможностей в цепочку; спецификации и код можно просматривать и изменять по мере подготовки набора данных к обучению или оценке.
Генерация, очистка и форматы для обучения
Генерация синтетических данных создает записи для обучения, оценки и тестирования на основе спецификации, при необходимости используя исходные данные и документы. Кроме того, она создает конвейер на основе кода, который пользователи могут проверять, изменять, повторно использовать и масштабировать, — таким образом, сам процесс генерации становится доступным для проверки.
При оценке качества можно применять бизнес-правила заказчика, встроенные метрики и метрики оценки языковой моделью (LLM-as-a-judge), при которой модель анализирует данные. Система может находить дубликаты и почти полные дубликаты, а также выявлять шум в разметке и утечку ответов. Затем преобразование позволяет менять структуру записей с помощью сгенерированного кода, встроенных функций удаления дубликатов, объединения, разделения и фильтрации либо предоставленного пользователем кода Python, выполняемого в масштабе.
В примере AWS данные в цепочке подготовки к обучению приводятся к формату для контролируемой тонкой настройки, прямой оптимизации предпочтений или обучения с подкреплением, затем проверяются на качество, после чего начинается настройка модели в SageMaker AI. Такая последовательность позволяет проверить набор данных до выделения вычислительных ресурсов для обучения и дает командам возможность исправить дефектные записи до запуска обучения.
Оценки уверенности используются при проверке человеком
Автоматическую разметку можно начать с неразмеченного набора данных, небольшого исходного набора с разметкой или вообще без разметки. Встроенные задачи включают классификацию, распознавание именованных сущностей, извлечение ответов на вопросы, порядковую оценку и суммирование; можно также задавать собственные задачи. Перед обработкой всего набора данных краткая спецификация разметки проверяется на примерах пользователя.
В задачах с фиксированным набором возможных ответов несколько моделей размечают каждую строку, выступая в роли жюри; степень их согласия становится оценкой уверенности для этой строки. Строки, оценка которых ниже выбранного порога, попадают в очередь на проверку в SageMaker Studio, созданную на основе версии Label Studio Community Edition с открытым исходным кодом. Внешние профильные эксперты могут исправлять их в приложении для проверки; эти исправления учитываются при автоматической разметке, а команды могут формировать метрики согласованности и отчеты о разметке.
Управляемые задания и передача наборов данных
Разработчики могут запускать эти этапы через SageMaker Python SDK или предоставить агенту для написания кода навык AWS AI-ML, чтобы тот выбирал и выполнял их из SageMaker Studio JupyterLab, Kiro или локальной интегрированной среды разработки. В документации SageMaker AI указана версия SDK 3.30.0 или новее и DataPreparer класс с generate(), evaluate() и transform() методами. Метод generate() охватывает как генерацию синтетических данных, так и автоматическую разметку.
Генерация синтетических данных, автоматическая разметка, оценка качества и преобразование выполняются как управляемые задания SageMaker. Задания, создающие данные, записывают их в Amazon S3 и регистрируют в хабе учетной записи как DataSet контент. Для таких результатов объект SDK DataSet содержит имя ресурса Amazon, или ARN, которое можно передать на следующий этап. Результат преобразования публикуется в том же хабе, что и входные данные, обычно как новая версия этого набора данных; оценка качества, напротив, записывает результаты в S3, не регистрируя новый набор данных.
Ассистент для написания кода создает черновики спецификаций, проверяет среду и запрашивает разрешение перед запуском задания или созданием ресурсов. Он также может сохранять запуски заданий в виде блокнота или скрипта, создавая повторно используемый артефакт, который можно запустить снова.
В этом рабочем процессе используется роль выполнения AWS Identity and Access Management, которой управляет заказчик. Исходные данные, сгенерированные наборы данных и метки остаются в собственных корзинах S3 заказчика в выбранном регионе AWS; это позволяет хранить данные и управлять доступом к ним в соответствии с разрешениями и местоположением, выбранными заказчиком.
Компания Splunk, входящая в Cisco, использовала генерацию синтетических данных при создании моделей оценки для своего продукта Agent Observability. Яш Шет, директор по разработке Splunk Agent Observability, сообщил, что инструменты быстро создавали статистически репрезентативные наборы данных, сохраняя закономерности, от которых зависят модели, а интеграция с SageMaker сократила объем рутинной работы с данными для специалистов по анализу данных и заказчиков.
Для разработчиков операционное изменение заключается в том, что генерация, проверка и исправление данных теперь могут поддерживать разработку моделей в рамках единого управляемого процесса работы с наборами данных. AWS дополнила автоматизацию артефактами, доступными для проверки, запросами на утверждение и записями в S3, которыми владеет заказчик, поэтому контроль над созданием данных остается частью процесса их подготовки.












