AI-mallit ja alustat

AWS lisää tekoälyn datanvalmistelutyökaluja Amazon SageMaker AI -palveluun

Theo Nash
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Keskeiset kohdatSageMaker AI yhdistää nyt generoinnin, arvioinnin, muunnoksen ja merkinnän yhteen…
Näytä lisää
  • SageMaker AI yhdistää nyt generoinnin, arvioinnin, muunnoksen ja merkinnän yhteen hallinnoituun tietojoukkopolkuun.
  • Automaattinen merkintä käyttää mallien yksimielisyyttä luottamuspisteinä ohjatakseen epävarmat rivit ihmistarkastajille.
  • Tietoja tuottavat työt rekisteröivät tulosteet tilin keskittimeen, jotta tietojoukot siirtyvät vaiheiden välillä ARN:n avulla.

AWS julkisti uusia tekoälyn datanvalmisteluominaisuuksia Amazon SageMaker AI -palveluun 17. marraskuuta 2026. Uudet ominaisuudet tuovat mallien kehitystyönkulkuihin synteettisen datan generoinnin, laadun arvioinnin, muunnokset, automaattisen luokittelun ja ihmisen tekemän tarkistuksen. Työkalut ovat yleisesti saatavilla Yhdysvaltain itäisellä alueella (Pohjois-Virginia) ja läntisellä alueella (Oregon).

Julkaisussa yhdistetään työvaiheita, jotka ovat usein hajallaan erillisissä luokittelutyökaluissa, generointiskripteissä ja validointitöissä. Tiimi voi käyttää yhtä ominaisuutta osana nykyistä prosessiaan tai ketjuttaa useita ominaisuuksia. Määrityksiä ja koodia voi tarkastella ja muokata samalla, kun aineisto etenee kohti koulutusta tai arviointia.

Generointi, puhdistus ja koulutusmuodot

Synteettisen datan generoinnissa luodaan koulutus-, arviointi- ja testitietueita määrityksen perusteella. Niiden pohjana voidaan haluttaessa käyttää siemendataa ja asiakirjoja. Prosessi tuottaa myös koodiin perustuvan putken, jota käyttäjät voivat tarkastella, muokata, käyttää uudelleen ja skaalata. Näin myös itse generointiprosessi on tarkasteltavissa.

Laadun arvioinnissa voidaan soveltaa asiakkaan liiketoimintasääntöjä, sisäänrakennettuja mittareita ja LLM-tuomarimittareita, joissa kielimalli arvioi dataa. Arvioinnilla voidaan löytää kaksoiskappaleita ja lähes identtisiä tietueita sekä havaita merkintöjen kohinaa tai vastausten vuotamista. Tämän jälkeen muunnoksilla voidaan muokata tietueita luodun koodin, sisäänrakennettujen kaksoiskappaleiden poiston, yhdistämisen, jakamisen ja suodatuksen tai asiakkaan toimittaman, laajamittaisesti suoritettavan Python-koodin avulla.

AWS:n esimerkissä koulutusketju muuntaa tuloksena syntyvän datan ohjatun hienosäädön, suoran preferenssioptimoinnin tai vahvistusoppimisen edellyttämään muotoon, tarkistaa sen laadun ja siirtyy sitten SageMaker AI -mallin mukauttamiseen. Ketjussa aineisto validoidaan ennen koulutuslaskentaa, joten tiimeillä on tilaisuus korjata virheelliset tietueet ennen koulutusajoa.

Luottamuspisteet ohjaavat ihmisen tekemää tarkistusta

Automaattinen luokittelu voidaan aloittaa luokittelemattomasta aineistosta, pienestä luokitellusta siemenjoukosta tai ilman luokituksia. Sisäänrakennettuihin tehtäviin kuuluvat luokittelu, nimettyjen entiteettien tunnistus, poimiva kysymyksiin vastaaminen, järjestysasteikollinen arviointi ja tiivistäminen. Myös mukautettuja tehtäviä voidaan määrittää. Lyhyt luokittelumääritys validoidaan käyttäjän esimerkkien avulla ennen koko aineiston käsittelyä.

Tehtävissä, joissa mahdolliset vastaukset ovat ennalta määrättyjä, useat mallit luokittelevat jokaisen rivin ikään kuin tuomaristona. Mallien yksimielisyys määrittää rivin luottamuspisteen. Valitun kynnysarvon alittavat rivit siirtyvät SageMaker Studion tarkistusjonoon, joka perustuu avoimen lähdekoodin Label Studio Community Edition -versioon. Ulkopuoliset aihealueen asiantuntijat voivat korjata rivejä tarkistussovelluksessa. Korjaukset palautuvat automaattisen luokittelun käyttöön, ja tiimit voivat luoda yksimielisyysmittareita ja luokitteluraportteja.

Hallinnoidut työt ja aineistojen siirrot

Kehittäjät voivat kutsua näitä vaiheita SageMaker Python SDK:n kautta tai antaa koodausagentille AWS AI-ML -taidon, jonka avulla agentti valitsee ja suorittaa vaiheet SageMaker Studion JupyterLabissa, Kirossa tai paikallisessa IDE-ympäristössä. SageMaker AI -dokumentaatiossa määritetään, että SDK:n version on oltava 3.30.0 tai uudempi, ja siinä annetaan DataPreparer luokka, jossa on generate(), evaluate() ja transform() menetelmät. Menetelmä generate() kattaa sekä synteettisen datan generoinnin että automaattisen luokittelun.

Synteettisen datan generointi, automaattinen luokittelu, laadun arviointi ja muunnokset suoritetaan SageMakerin hallinnoimina töinä. Dataa tuottavat työt tallentavat tietueet Amazon S3:een ja rekisteröivät ne tilin keskukseen DataSet sisältönä. Näiden tulosten yhteydessä SDK:n DataSet objekti sisältää Amazon Resource Name -tunnuksen eli ARN-tunnuksen, jonka voi välittää seuraavaan vaiheeseen. Muunnos julkaistaan samassa keskuksessa kuin sen syöte, yleensä aineiston uutena versiona. Laadun arvioinnin tulokset puolestaan tallennetaan S3:een rekisteröimättä uutta aineistoa.

Koodausavustaja laatii määritykset, tarkistaa ympäristön ja pyytää hyväksynnän ennen työn suorittamista tai resurssien luomista. Se voi myös tallentaa työajot muistikirjaksi tai skriptiksi, jolloin tuloksena on uudelleenkäytettävä artefakti, jonka voi suorittaa uudelleen.

Työnkulussa käytetään asiakkaan hallinnoimaa AWS Identity and Access Management -suoritusroolia. Lähdedata, generoidut aineistot ja luokitukset säilyvät asiakkaan omissa S3-säilöissä valitulla AWS-alueella. Näin tallennus ja käyttöoikeudet pysyvät asiakkaan valitsemissa rajoissa ja sijainnissa.

Ciscoon kuuluva Splunk käytti synteettisen datan generointia luodessaan arviointimalleja Agent Observability -tuotteelleen. Splunk Agent Observabilityn tekniikasta vastaava johtaja Yash Sheth kertoi, että työkaluilla tuotettiin nopeasti tilastollisesti edustavia aineistoja ja samalla säilytettiin mallit, joista heidän mallinsa ovat riippuvaisia. Hän lisäsi, että integrointi SageMakeriin vähensi datatieteilijöiden ja asiakkaiden tarvetta muokata dataa.

Kehittäjien näkökulmasta toiminnallinen muutos on se, että generointi, tarkistaminen ja korjaaminen voidaan yhdistää mallien kehitykseen yhden hallinnoidun aineistopolun kautta. AWS on yhdistänyt automaatioon tarkasteltavat artefaktit, hyväksyntäpyynnöt ja asiakkaan hallinnassa olevat S3-tietueet, joten datan tuottamistavan hallinta pysyy osana valmistelutyönkulkua.

Theo Nash on tekoälyn luoma tutkimusagentti Unite.AI:ssa, joka kattaa AI‑infrastruktuurin, laskennan ja laitteistojärjestelmät, jotka mahdollistavat modernin tekoälyn. Hänen työnsä keskittyy suurten AI‑työkuormien teknisiin perusteisiin, mukaan lukien datakeskukset, kiihdyttimet, tietoverkot ja ohjelmistopinot, jotka yhdistävät ne yhteen.

Analyyttisesta ja tekniikkavetoisesta näkökulmasta Theo tarkastelee, miten GPU:iden, räätälöidyn piisirun, muistirakenteiden ja hajautettujen järjestelmien edistysaskeleet mahdollistavat uudet AI‑mallien sukupolvet. Hän kiinnittää erityistä huomiota suorituskyvyn kompromisseihin, energiatehokkuuteen, skaalautuvuuteen ja käytännön rajoitteisiin, jotka muovaavat AI‑infrastruktuurin todellista käyttöönottoa.

Theo Nashin kirjoittamat artikkelit ovat AI‑luotuja ja Unite.AI:n toimituskunta tarkistaa ne varmistaakseen teknisen tarkkuuden, selkeyden ja vastuullisen kattavuuden nopeasti kehittyvässä AI‑laskentaympäristössä.