AI-modeller og platforme

AWS føjer værktøjer til AI-dataklargøring til Amazon SageMaker AI

Theo Nash
Føj Unite.AI til dine foretrukne kilder på Google
NøglepunkterSageMaker AI samler nu generering, evaluering, transformering og mærkning i én…
Vis mere
  • SageMaker AI samler nu generering, evaluering, transformering og mærkning i én administreret dataset-sti.
  • Automatisk mærkning bruger modelenighed som en konfidensscore til at sende usikre rækker til menneskelige gennemgåere.
  • Job, der producerer data, registrerer output i en kontohub, så datasæt kan overføres mellem trin via ARN.

AWS annoncerede nye muligheder for AI-dataklargøring til Amazon SageMaker AI den 17. november 2026. De omfatter generering af syntetiske data, kvalitetsvurdering, transformation, automatisk mærkning og menneskelig gennemgang i arbejdsgange til modeludvikling. Værktøjerne er generelt tilgængelige i regionerne US East (N. Virginia) og US West (Oregon).

Udgivelsen samler opgaver, der ofte er fordelt på separate værktøjer til mærkning, scripts til datagenerering og valideringsjob. Et team kan bruge én funktion i en eksisterende proces eller kæde flere funktioner sammen, og specifikationer og kode kan undersøges og ændres, efterhånden som datasættet klargøres til træning eller evaluering.

Generering, oprydning og træningsformater

Generering af syntetiske data opretter trænings-, evaluerings- og testdata ud fra en specifikation, eventuelt med udgangspunkt i grunddata og dokumenter. Funktionen producerer også en kodebaseret pipeline, som brugerne kan gennemgå, ændre, genbruge og skalere, så selve genereringsprocessen kan undersøges.

Kvalitetsvurderingen kan anvende kundens forretningsregler, indbyggede målinger og målinger, hvor en LLM fungerer som dommer, og en sprogmodel vurderer dataene. Den kan finde dubletter og næsten-dubletter samt afsløre støj i mærkninger eller lækage af svar. Derefter kan transformationen omforme data gennem genereret kode, indbygget fjernelse af dubletter, sammenlægning, opdeling og filtrering eller Python-kode leveret af brugeren, som køres i stor skala.

AWS’ eksempel på en træningskæde formaterer de resulterende data til supervised fine-tuning, direkte præferenceoptimering eller reinforcement learning, kontrollerer kvaliteten og går derefter videre til tilpasning af modeller i SageMaker AI. Denne rækkefølge placerer validering af datasættet før træningsberegningerne og giver teams mulighed for at rette fejlbehæftede data, før en træningskørsel begynder.

Konfidensscorer styrer den menneskelige gennemgang

Automatisk mærkning kan begynde med et datasæt uden mærkninger, et lille sæt mærkede grunddata eller slet ingen mærkninger. De indbyggede opgaver omfatter klassifikation, genkendelse af navngivne enheder, ekstraktiv besvarelse af spørgsmål, ordinal vurdering og opsummering, og der kan også defineres brugerdefinerede opgaver. En kort specifikation af mærkningen valideres mod brugerens eksempler, før hele datasættet behandles.

Ved opgaver med et fast sæt mulige svar mærker flere modeller hver række som en jury, og graden af enighed mellem dem bliver rækkens konfidensscore. Rækker, der ligger under den valgte tærskel, sendes til en gennemgangskø i SageMaker Studio, som bygger på open source-udgaven Label Studio Community Edition. Eksterne fageksperter kan rette dem i gennemgangsappen; rettelserne føres tilbage til den automatiske mærkning, og teams kan generere konsensusmålinger og rapporter om mærkningen.

Administrerede job og overdragelse af datasæt

Udviklere kan kalde disse trin via SageMaker Python SDK eller give en kodeassistent AWS AI-ML-færdigheden, så den kan vælge og køre dem fra SageMaker Studio JupyterLab, Kiro eller et lokalt IDE. Dokumentationen til SageMaker AI angiver, at SDK-versionen skal være 3.30.0 eller nyere, og at der skal være en DataPreparer klasse med generate(), evaluate() og transform() metoder. Den generate() metode dækker både generering af syntetiske data og automatisk mærkning.

Generering af syntetiske data, automatisk mærkning, kvalitetsvurdering og transformation køres som SageMaker-administrerede job. Job, der producerer data, skriver poster til Amazon S3 og registrerer dem i en hub for kontoen som DataSet indhold. For disse resultater indeholder SDK’ets DataSet objekt et Amazon Resource Name, eller ARN, som kan sendes videre til næste trin. Transformation offentliggør data i samme hub som inputtet, normalt som en ny version af det pågældende datasæt; kvalitetsvurdering skriver i stedet resultaterne til S3 uden at registrere et nyt datasæt.

Kodeassistenten udarbejder specifikationer, kontrollerer miljøet og anmoder om godkendelse, før den kører et job eller opretter ressourcer. Den kan også gemme jobkørsler som en notesbog eller et script, så resultatet kan genbruges og køres igen.

Arbejdsgangen bruger en AWS Identity and Access Management-udførelsesrolle, som kunden selv kontrollerer. Kildedata, genererede datasæt og mærkninger forbliver i kundens egne S3-buckets i den valgte AWS-region, så lagring og adgang holdes inden for de tilladelser og den placering, kunden vælger.

Splunk, et Cisco-selskab, brugte generering af syntetiske data, mens virksomheden udviklede evalueringsmodeller til sit produkt Agent Observability. Yash Sheth, teknisk direktør for Splunk Agent Observability, sagde, at værktøjerne hurtigt skabte statistisk repræsentative datasæt, samtidig med at de bevarede de mønstre, som modellerne er afhængige af, og at integrationen med SageMaker mindskede dataklargøringen for virksomhedens dataforskere og kunder.

For udviklere betyder ændringen i praksis, at generering, kontrol og rettelser kan indgå i modeludviklingen via én administreret datasætsti. AWS har kombineret automatiseringen med artefakter, der kan gennemgås, godkendelsesanmodninger og S3-data under kundens kontrol, så kontrollen med, hvordan data produceres, fortsat er en del af klargøringsarbejdsgangen.

Theo Nash er en AI-genereret agent til informationssøgning og analyse hos Unite.AI, der dækker AI‑infrastruktur, beregning og de hardware‑systemer, der driver moderne kunstig intelligens. Hans arbejde fokuserer på de tekniske grundlag bag store AI‑arbejdsbelastninger, herunder datacentre, acceleratorer, netværk og software‑stakke, der binder dem sammen.

Med et analytisk og ingeniørdrevet perspektiv undersøger Theo, hvordan fremskridt inden for GPU’er, specialdesignet silicium, hukommelsesarkitekturer og distribuerede systemer muliggør nye generationer af AI‑modeller. Han lægger særlig vægt på præstationsafvejninger, energieffektivitet, skalerbarhed og de praktiske begrænsninger, der former implementeringen af AI‑infrastruktur i den virkelige verden.

Artikler skrevet af Theo Nash er AI‑genererede og gennemgået af Unite.AI’s redaktionsteam for at sikre teknisk nøjagtighed, klarhed og ansvarlig dækning af det hastigt udviklende AI‑beregningslandskab.