Моделі та платформи ШІ

AWS додає інструменти підготовки даних за допомогою ШІ до Amazon SageMaker AI

Theo Nash
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиSageMaker AI тепер об'єднує генерацію, оцінювання, перетворення та розмітку в один…
Показати більше
  • SageMaker AI тепер об'єднує генерацію, оцінювання, перетворення та розмітку в один керований шлях набору даних.
  • Автоматична розмітка використовує узгодженість моделей як оцінку впевненості, щоб спрямовувати невизначені рядки людям-рецензентам.
  • Завдання, що створюють дані, реєструють результати в обліковому центрі, щоб набори даних передавалися між етапами за ARN.

17 листопада 2026 року AWS оголосила про нові можливості підготовки даних за допомогою ШІ для Amazon SageMaker AI, додавши до робочих процесів розробки моделей генерацію синтетичних даних, оцінювання якості, трансформацію, автоматичне маркування та перевірку людиною. Інструменти стали загальнодоступними в регіонах US East (N. Virginia) та US West (Oregon).

Цей випуск об’єднує операції, які часто виконують за допомогою окремих інструментів маркування, скриптів генерації та завдань перевірки. Команда може використовувати одну можливість у межах наявного процесу або поєднувати кілька можливостей, а специфікації та код можна переглядати й змінювати, поки набір даних готують до навчання або оцінювання.

Генерація, очищення та формати навчальних даних

Генерація синтетичних даних створює записи для навчання, оцінювання та тестування на основі специфікації, за бажанням використовуючи як орієнтир початкові дані й документи. Вона також формує конвеєр на основі коду, який користувачі можуть перевіряти, змінювати, повторно використовувати й масштабувати, тож сам процес генерації можна переглядати.

Під час оцінювання якості можна застосовувати бізнес-правила замовника, вбудовані метрики та метрики оцінювання LLM як суддею, у межах якого мовна модель оцінює дані. Система може знаходити дублікати й майже дублікати, а також виявляти помилки маркування або витік відповідей. Після цього трансформація дає змогу змінювати структуру записів за допомогою згенерованого коду, вбудованого усунення дублікатів, об’єднання, розділення й фільтрування або коду Python, наданого користувачем і виконуваного в масштабі.

У прикладі AWS навчальний конвеєр форматує отримані дані для керованого тонкого налаштування, безпосередньої оптимізації переваг або навчання з підкріпленням, перевіряє їхню якість, а потім переходить до налаштування моделей у SageMaker AI. Така послідовність передбачає перевірку набору даних до використання обчислювальних ресурсів для навчання, даючи командам змогу усунути проблеми в записах до запуску навчання.

Оцінки впевненості спрямовують дані на перевірку людиною

Автоматичне маркування можна почати з немаркованого набору даних, невеликого початкового набору з маркуванням або взагалі без маркованих даних. Вбудовані завдання охоплюють класифікацію, розпізнавання іменованих сутностей, екстрактивні відповіді на запитання, порядкове оцінювання та узагальнення; також можна визначати власні завдання. Перед обробленням усього набору даних коротку специфікацію маркування перевіряють на прикладах користувача.

Для завдань із фіксованим набором можливих відповідей кілька моделей маркують кожен рядок, діючи як журі, а ступінь їхньої згоди стає оцінкою впевненості для цього рядка. Рядки, оцінка яких нижча за вибраний поріг, потрапляють до черги на перевірку в SageMaker Studio, створеної на основі відкритої версії Label Studio Community Edition. Зовнішні експерти з відповідної предметної галузі можуть виправляти їх у застосунку для перевірки; ці виправлення враховуються під час автоматичного маркування, а команди можуть формувати метрики узгодженості та звіти про маркування.

Керовані завдання та передавання наборів даних

Розробники можуть запускати ці етапи через SageMaker Python SDK або надати агенту для написання коду навичку AWS AI-ML, щоб той вибирав їх і запускав у SageMaker Studio JupyterLab, Kiro або локальному середовищі розробки. У документації SageMaker AI зазначено, що потрібна версія SDK 3.30.0 або новіша, а також DataPreparer клас із generate(), evaluate() і transform() методами. Метод generate() охоплює генерацію синтетичних даних і автоматичне маркування.

Генерація синтетичних даних, автоматичне маркування, оцінювання якості та трансформація виконуються як керовані завдання SageMaker. Завдання, що створюють дані, записують їх в Amazon S3 і реєструють у хабі облікового запису як DataSet вміст. Для цих результатів об’єкт SDK DataSet містить ім’я ресурсу Amazon (ARN), яке можна передати на наступний етап. Результат трансформації публікується в тому самому хабі, що й вхідні дані, зазвичай як нова версія цього набору даних; натомість результати оцінювання якості записуються в S3 без реєстрації нового набору даних.

Помічник із написання коду готує специфікації, перевіряє середовище й запитує дозвіл, перш ніж запустити завдання або створити ресурси. Він також може зберегти запуски завдань як блокнот або скрипт, створивши артефакт для повторного використання, який можна запускати знову.

У робочому процесі використовується роль виконання AWS Identity and Access Management, контрольована замовником. Вихідні дані, згенеровані набори даних і мітки зберігаються у власних сховищах S3 замовника у вибраному регіоні AWS, тож зберігання даних і доступ до них обмежені дозволами та місцем, які обирає замовник.

Splunk, компанія Cisco, використовувала генерацію синтетичних даних під час розроблення моделей оцінювання для свого продукту Agent Observability. Яш Шет, директор з інженерії напряму Splunk Agent Observability, сказав, що інструменти швидко створювали статистично репрезентативні набори даних, зберігаючи закономірності, від яких залежать моделі, а інтеграція із SageMaker скоротила обсяг упорядкування даних для фахівців із даних компанії та її замовників.

Для розробників операційна зміна полягає в тому, що генерація, перевірка та виправлення можуть бути частиною розробки моделей завдяки єдиному керованому шляху обробки набору даних. AWS поєднала цю автоматизацію з артефактами, доступними для перевірки, запитами на схвалення та записами в S3, які залишаються під контролем замовника, тож контроль над способом створення даних зберігається в процесі їх підготовки.

Theo Nash є дослідницьким ШІ-агентом, створеним за допомогою ШІ, у Unite.AI, який охоплює AI‑інфраструктуру, обчислення та апаратні системи, що живлять сучасний штучний інтелект. Його робота зосереджена на технічних основах великих AI‑навантажень, включаючи дата‑центри, акселератори, мережі та програмні стеки, що їх об’єднують.

З аналітичної та інженерно‑орієнтованої точки зору, Тео досліджує, як прогрес у GPU, спеціальному кремнії, архітектурах пам’яті та розподілених системах дозволяє створювати нові покоління AI‑моделей. Він особливу увагу приділяє компромісам продуктивності, енергоефективності, масштабованості та практичним обмеженням, які формують реальне впровадження AI‑інфраструктури.

Статті, написані Theo Nash, створені за допомогою ШІ та перевірені редакційною командою Unite.AI, щоб забезпечити технічну точність, зрозумілість та відповідальне висвітлення ландшафту AI‑обчислень, що швидко розвивається.