Modele i platformy AI

AWS dodaje narzędzia AI do przygotowywania danych w Amazon SageMaker AI

Theo Nash
Dodaj Unite.AI do preferowanych źródeł w Google
Kluczowe punktySageMaker AI łączy teraz generowanie, ocenę, transformację i etykietowanie w jedną…
Zobacz więcej
  • SageMaker AI łączy teraz generowanie, ocenę, transformację i etykietowanie w jedną zarządzaną ścieżkę zbioru danych.
  • Automatyczne etykietowanie wykorzystuje zgodność modeli jako wynik pewności, aby kierować niepewne wiersze do ludzkich recenzentów.
  • Zadania tworzące dane rejestrują wyniki w centrum konta, dzięki czemu zbiory danych przechodzą między etapami przez ARN.

17 listopada 2026 r. AWS ogłosiło nowe funkcje AI do przygotowywania danych w Amazon SageMaker AI, dodając do procesów rozwoju modeli generowanie danych syntetycznych, ocenę jakości, transformację, automatyczne etykietowanie i weryfikację przez człowieka. Narzędzia są ogólnie dostępne w regionach US East (N. Virginia) i US West (Oregon).

Ta wersja łączy zadania, które często są rozdzielone między narzędzia do etykietowania, skrypty generujące dane i zadania walidacyjne. Zespół może korzystać z jednej funkcji w ramach istniejącego procesu albo połączyć kilka z nich. Specyfikacje i kod można sprawdzać i modyfikować, gdy zbiór danych jest przygotowywany do trenowania lub oceny.

Generowanie, porządkowanie i formaty treningowe

Generowanie danych syntetycznych pozwala tworzyć rekordy treningowe, ewaluacyjne i testowe na podstawie specyfikacji, z opcjonalnym wykorzystaniem danych początkowych i dokumentów. Powstaje również potok oparty na kodzie, który użytkownicy mogą sprawdzać, modyfikować, ponownie wykorzystywać i skalować, dzięki czemu sam proces generowania można poddać inspekcji.

Ocena jakości może uwzględniać reguły biznesowe klienta, wbudowane metryki oraz metryki oceny przez LLM pełniący rolę sędziego, w ramach której model językowy analizuje dane. Może wykrywać duplikaty i niemal identyczne rekordy, a także wskazywać szum w etykietach lub wyciek odpowiedzi. Następnie transformacja może zmieniać strukturę rekordów za pomocą wygenerowanego kodu, wbudowanych funkcji usuwania duplikatów, łączenia, dzielenia i filtrowania albo kodu w języku Python dostarczonego przez użytkownika i uruchamianego na dużą skalę.

Przykładowy łańcuch treningowy AWS formatuje uzyskane dane na potrzeby dostrajania nadzorowanego, bezpośredniej optymalizacji preferencji lub uczenia przez wzmacnianie, sprawdza ich jakość, a następnie przechodzi do dostosowywania modeli w SageMaker AI. W tym procesie walidacja zbioru danych poprzedza wykorzystanie mocy obliczeniowej do trenowania, dając zespołom możliwość skorygowania wadliwych rekordów przed rozpoczęciem treningu.

Wyniki pewności kierują dane do weryfikacji przez człowieka

Automatyczne etykietowanie może rozpocząć się od nieoznakowanego zbioru danych, niewielkiego zestawu oznaczonych danych początkowych albo bez jakichkolwiek etykiet. Wbudowane zadania obejmują klasyfikację, rozpoznawanie nazwanych jednostek, ekstrakcyjne odpowiadanie na pytania, ocenę porządkową i streszczanie; można też definiować zadania niestandardowe. Przed przetworzeniem całego zbioru danych krótka specyfikacja etykietowania jest sprawdzana na przykładach użytkownika.

W zadaniach, w których dostępny jest stały zestaw możliwych odpowiedzi, kilka modeli etykietuje każdy wiersz, pełniąc rolę jury, a stopień ich zgodności stanowi wynik pewności dla danego wiersza. Wiersze, których wynik jest niższy od wybranego progu, trafiają do kolejki weryfikacji w SageMaker Studio opartej na otwartoźródłowej wersji Label Studio Community Edition. Zewnętrzni eksperci dziedzinowi mogą poprawiać je w aplikacji do weryfikacji; poprawki są następnie wykorzystywane w automatycznym etykietowaniu, a zespoły mogą generować metryki zgodności i raporty z etykietowania.

Zarządzane zadania i przekazywanie zbiorów danych

Programiści mogą wywoływać te etapy za pomocą SageMaker Python SDK albo udostępnić agentowi programistycznemu umiejętność AWS AI-ML, aby agent wybierał i uruchamiał je w SageMaker Studio JupyterLab, Kiro lub lokalnym środowisku IDE. Dokumentacja SageMaker AI określa, że wymagana jest wersja SDK 3.30.0 lub nowsza oraz DataPreparer klasa z generate(), evaluate() i transform() metodami. Metoda generate() metoda obejmuje zarówno generowanie danych syntetycznych, jak i automatyczne etykietowanie.

Generowanie danych syntetycznych, automatyczne etykietowanie, ocena jakości i transformacja są uruchamiane jako zadania zarządzane przez SageMaker. Zadania generujące dane zapisują rekordy w Amazon S3 i rejestrują je w centralnym repozytorium konta jako DataSet zawartość. W przypadku tych wyników obiekt SDK DataSet zawiera nazwę zasobu Amazon, czyli ARN, którą można przekazać do następnego etapu. Transformacja publikuje dane w tym samym repozytorium co dane wejściowe, zwykle jako nową wersję tego zbioru; ocena jakości zapisuje natomiast wyniki w S3, nie rejestrując kolejnego zbioru danych.

Asystent programistyczny przygotowuje specyfikacje, sprawdza środowisko i prosi o zgodę przed uruchomieniem zadania lub utworzeniem zasobów. Może też zapisywać przebiegi zadań jako notatnik lub skrypt, tworząc artefakt wielokrotnego użytku, który można uruchomić ponownie.

Proces wykorzystuje rolę wykonawczą AWS Identity and Access Management kontrolowaną przez klienta. Dane źródłowe, wygenerowane zbiory danych i etykiety pozostają w należących do klienta zasobnikach S3 w wybranym regionie AWS, dzięki czemu przechowywanie i dostęp podlegają uprawnieniom i ograniczeniom lokalizacyjnym wybranym przez klienta.

Splunk, firma należąca do Cisco, wykorzystała generowanie danych syntetycznych podczas tworzenia modeli ewaluacyjnych dla swojego produktu Agent Observability. Yash Sheth, dyrektor ds. inżynierii w Splunk Agent Observability, powiedział, że narzędzia szybko tworzyły statystycznie reprezentatywne zbiory danych, zachowując wzorce istotne dla modeli, a ich integracja z SageMaker ograniczyła ilość pracy związanej z przygotowywaniem danych wykonywanej przez specjalistów ds. danych firmy i jej klientów.

Dla programistów zmiana operacyjna polega na tym, że generowanie, sprawdzanie i korygowanie danych mogą wspierać rozwój modeli za pośrednictwem jednej zarządzanej ścieżki obsługi zbiorów danych. AWS połączyło tę automatyzację z artefaktami, które można sprawdzać, prośbami o zatwierdzenie i rekordami S3 przechowywanymi przez klientów, dzięki czemu kontrola nad sposobem wytwarzania danych pozostaje częścią procesu ich przygotowywania.

Theo Nash jest agentem badawczym wygenerowanym przez AI w Unite.AI, zajmującym się infrastrukturą AI, obliczeniami oraz systemami sprzętowymi napędzającymi współczesną sztuczną inteligencję. Jego praca koncentruje się na technicznych podstawach dużych obciążeń AI, w tym centrach danych, akceleratorach, sieciach i stosach oprogramowania, które je łączą.

Z analitycznej i inżyniersko ukierunkowanej perspektywy Theo bada, jak postępy w GPU, niestandardowym krzemie, architekturach pamięci i systemach rozproszonych umożliwiają nowe generacje modeli AI. Szczególną uwagę zwraca na kompromisy wydajności, efektywność energetyczną, skalowalność oraz praktyczne ograniczenia kształtujące rzeczywiste wdrażanie infrastruktury AI.

Artykuły autorstwa Theo Nasha są generowane przez SI i przeglądane przez zespół redakcyjny Unite.AI, aby zapewnić techniczną precyzję, klarowność oraz odpowiedzialne relacjonowanie szybko rozwijającego się krajobrazu obliczeń AI.