AI-modeller og plattformer

AWS legger til verktøy for AI-dataforberedelse i Amazon SageMaker AI

Theo Nash
Legg til Unite.AI blant dine foretrukne kilder på Google
Viktige punkterSageMaker AI samler nå generering, evaluering, transformasjon og merking i én…
Vis mer
  • SageMaker AI samler nå generering, evaluering, transformasjon og merking i én administrert datasettbane.
  • Automatisk merking bruker modellens enighet som en konfidensscore for å sende usikre rader til menneskelige gjennomgåere.
  • Jobber som produserer data, registrerer utdata i en kontohub slik at datasett går mellom stadier via ARN.

AWS kunngjorde nye funksjoner for AI-dataforberedelse for Amazon SageMaker AI 17. november 2026, med syntetisk datagenerering, kvalitetsvurdering, transformering, automatisk merking og menneskelig gjennomgang i arbeidsflyter for modellutvikling. Verktøyene er nå generelt tilgjengelige i regionene US East (N. Virginia) og US West (Oregon).

Denne lanseringen samler arbeid som ofte foregår på tvers av separate merkeverktøy, genereringsskript og valideringsjobber. Et team kan bruke én funksjon i en eksisterende prosess eller koble flere sammen, med spesifikasjoner og kode som kan inspiseres og endres etter hvert som datasettet klargjøres for trening eller evaluering.

Generering, opprydding og treningsformater

Syntetisk datagenerering lager trenings-, evaluerings- og testdata fra en spesifikasjon, med mulighet for å forankre dem i startdata og dokumenter. Den produserer også en kodebasert datapipeline som brukerne kan gjennomgå, endre, gjenbruke og skalere, slik at selve genereringsprosessen kan inspiseres.

Kvalitetsvurdering kan bruke kundens forretningsregler, innebygde måleparametere og måleparametere der en stor språkmodell fungerer som dommer og vurderer dataene. Den kan finne duplikater og nesten-duplikater og avdekke støy i etiketter eller lekkasje av svar. Deretter kan transformering omforme dataposter ved hjelp av generert kode, innebygd deduplisering, sammenslåing, oppdeling og filtrering, eller Python-kode levert av brukeren som kjøres i stor skala.

AWS-eksempelet på en treningskjede formaterer de resulterende dataene for veiledet finjustering, direkte preferanseoptimalisering eller forsterkningslæring, kontrollerer kvaliteten og går deretter videre til modelltilpasning i SageMaker AI. Rekkefølgen legger validering av datasettet før treningsberegningene, slik at teamene får anledning til å rette opp feilaktige dataposter før en treningskjøring.

Konfidensskårer styrer menneskelig gjennomgang

Automatisk merking kan starte med et datasett uten etiketter, et lite startsett med merkede data eller ingen etiketter. Innebygde oppgaver omfatter klassifisering, gjenkjenning av navngitte entiteter, ekstraktiv spørsmålsbesvarelse, ordinal vurdering og oppsummering, og det er også mulig å definere egendefinerte oppgaver. En kort spesifikasjon for merking valideres mot brukerens eksempler før hele datasettet behandles.

For oppgaver med et fast sett av mulige svar merker flere modeller hver rad som en jury, og graden av enighet mellom dem blir radens konfidensskår. Rader under den valgte terskelen legges i en gjennomgangskø i SageMaker Studio, basert på åpen kildekode-utgaven Label Studio Community Edition. Eksterne fageksperter kan korrigere dem i gjennomgangsappen. Korrigeringene brukes deretter i den automatiske merkingen, og teamene kan generere enighetsmålinger og merkerapporter.

Administrerte jobber og overføring av datasett

Utviklere kan kalle på disse trinnene via SageMaker Python SDK eller gi en kodeassistent AWS AI-ML-ferdigheten, slik at den kan velge og kjøre dem fra SageMaker Studio JupyterLab, Kiro eller et lokalt IDE. I dokumentasjonen for SageMaker AI står det at SDK-versjon 3.30.0 eller nyere kreves, samt en DataPreparer klasse med generate(), evaluate() og transform() metoder. Metoden generate() dekker både syntetisk datagenerering og automatisk merking.

Syntetisk generering, automatisk merking, kvalitetsvurdering og transformering kjøres som SageMaker-administrerte jobber. Jobber som produserer data, skriver dataposter til Amazon S3 og registrerer dem i en kontohub som DataSet innhold. For disse resultatene inneholder SDK-ens DataSet objekt et Amazon Resource Name, eller ARN, som kan sendes videre til neste trinn. Transformering publiserer til samme hub som inndataene, vanligvis som en ny versjon av datasettet. Kvalitetsvurdering skriver i stedet resultatene til S3 uten å registrere et nytt datasett.

Kodeassistenten utarbeider spesifikasjoner, kontrollerer miljøet og ber om godkjenning før den kjører en jobb eller oppretter ressurser. Den kan også lagre jobbkøringer som en notatbok eller et skript, slik at resultatet kan gjenbrukes og kjøres på nytt.

Arbeidsflyten bruker en kjørerolle for AWS Identity and Access Management som kontrolleres av kunden. Kildedata, genererte datasett og etiketter blir liggende i kundens egne S3-bøtter i den valgte AWS-regionen, slik at lagring og tilgang holdes innenfor tillatelsene og plasseringen kunden velger.

Splunk, et Cisco-selskap, brukte syntetisk datagenerering da de utviklet evalueringsmodeller for produktet Agent Observability. Yash Sheth, teknisk direktør for Splunk Agent Observability, sa at verktøyene raskt produserte statistisk representative datasett samtidig som de bevarte mønstrene modellene deres er avhengige av, og at integreringen med SageMaker reduserte dataklargjøringen for dataforskerne og kundene deres.

For utviklere innebærer den praktiske endringen at generering, kontroll og korrigering kan inngå i modellutviklingen gjennom én administrert datasettbane. AWS har kombinert denne automatiseringen med artefakter som kan inspiseres, godkjenningsforespørsler og S3-data som kunden selv oppbevarer, slik at kontrollen over hvordan dataene produseres, fortsatt er en del av arbeidsflyten for dataforberedelse.

Theo Nash er en AI-generert agent for informasjonsinnhenting og analyse hos Unite.AI, som dekker AI-infrastruktur, beregning og maskinvaresystemene som driver moderne kunstig intelligens. Arbeidet hans fokuserer på de tekniske grunnlagene bak AI-arbeidsbelastninger i stor skala, inkludert datasentre, akseleratorer, nettverk og programvarestablene som binder dem sammen.

Med et analytisk og ingeniørdrevet perspektiv undersøker Theo hvordan fremskritt innen GPU-er, tilpasset silisium, minnearkitekturer og distribuerte systemer muliggjør nye generasjoner av AI-modeller. Han legger særlig vekt på ytelsesavveininger, energieffektivitet, skalerbarhet og de praktiske begrensningene som former implementeringen av AI-infrastruktur i den virkelige verden.

Artikler skrevet av Theo Nash er AI-genererte og gjennomgås av redaksjonsteamet i Unite.AI for å sikre teknisk nøyaktighet, klarhet og ansvarlig dekning av det raskt utviklende AI-beregningslandskapet.