Modele și platforme AI

AWS adaugă instrumente de pregătire a datelor pentru IA în Amazon SageMaker AI

Theo Nash
Adaugă Unite.AI la sursele tale preferate pe Google
Puncte cheieSageMaker AI consolidează acum generarea, evaluarea, transformarea și etichetarea…
Vezi mai mult
  • SageMaker AI consolidează acum generarea, evaluarea, transformarea și etichetarea într-o singură cale de set de date gestionat.
  • Etichetarea automată folosește acordul modelelor ca scor de încredere pentru a direcționa rândurile incerte către evaluatori umani.
  • Sarcinile care produc date înregistrează rezultatele într-un hub de cont, astfel încât seturile de date trec între etape prin ARN.

AWS a anunțat noi funcționalități de pregătire a datelor pentru IA în Amazon SageMaker AI pe 17 noiembrie 2026, adăugând fluxurilor de lucru pentru dezvoltarea modelelor generarea de date sintetice, evaluarea calității, transformarea, etichetarea automată și verificarea de către oameni. Instrumentele sunt disponibile în general în regiunile US East (N. Virginia) și US West (Oregon).

Lansarea reunește activități care se desfășoară adesea cu ajutorul unor instrumente separate de etichetare, al unor scripturi de generare și al unor procese de validare. O echipă poate folosi o singură funcționalitate într-un proces existent sau poate lega mai multe, având la dispoziție specificațiile și codul pentru a le inspecta și modifica pe măsură ce setul de date avansează către etapa de antrenare sau evaluare.

Generare, curățare și formate pentru antrenare

Generarea de date sintetice creează înregistrări pentru antrenare, evaluare și testare pe baza unei specificații, cu opțiunea de a le ancora în date și documente inițiale. De asemenea, generează un flux de procesare bazat pe cod, pe care utilizatorii îl pot examina, modifica, reutiliza și scala, astfel încât procesul de generare în sine să poată fi inspectat.

Evaluarea calității poate aplica regulile de business ale clientului, metricile predefinite și metricile de tip LLM-as-a-judge, în care un model lingvistic evaluează datele. Poate identifica duplicatele și înregistrările aproape duplicate și poate scoate la iveală zgomotul din etichete sau divulgarea răspunsurilor. Transformarea poate apoi restructura înregistrările cu ajutorul codului generat, al funcțiilor integrate de eliminare a duplicatelor, îmbinare, divizare și filtrare sau al codului Python furnizat de utilizator și executat la scară largă.

Fluxul de antrenare prezentat de AWS formatează datele rezultate pentru reglarea fină supravegheată, optimizarea directă a preferințelor sau învățarea prin întărire, le verifică din punctul de vedere al calității, apoi trece la personalizarea modelelor în SageMaker AI. Această succesiune plasează validarea setului de date înaintea resurselor de calcul pentru antrenare, oferind echipelor ocazia de a remedia înregistrările defectuoase înainte de o rundă de antrenare.

Scorurile de încredere alimentează verificarea de către oameni

Etichetarea automată poate începe de la un set de date neetichetat, de la un set restrâns de date etichetate sau fără nicio etichetă. Printre sarcinile predefinite se numără clasificarea, recunoașterea entităților numite, răspunsul extractiv la întrebări, evaluarea ordinală și rezumarea; se pot defini și sarcini personalizate. O specificație succintă pentru etichetare este validată pe baza exemplelor utilizatorului înainte de procesarea întregului set de date.

Pentru sarcinile cu un set fix de răspunsuri posibile, mai multe modele etichetează fiecare rând, asemenea unui juriu, iar gradul lor de acord devine scorul de încredere al rândului respectiv. Rândurile cu scoruri sub pragul selectat intră într-o coadă de verificare din SageMaker Studio, bazată pe ediția comunitară open-source Label Studio. Experți externi în domeniu le pot corecta în aplicația de verificare; corecturile sunt apoi reintroduse în procesul de etichetare automată, iar echipele pot genera metrici de consens și rapoarte de etichetare.

Sarcini gestionate și transferuri de seturi de date

Dezvoltatorii pot apela aceste etape prin SageMaker Python SDK sau pot furniza unui agent de programare competența AWS AI-ML pentru a le selecta și executa din SageMaker Studio JupyterLab, Kiro sau un mediu local de dezvoltare integrat (IDE). Documentația SageMaker AI specifică versiunea 3.30.0 sau o versiune ulterioară a SDK-ului și o DataPreparer clasă cu generate(), evaluate() și transform() metode. Metoda generate() acoperă atât generarea de date sintetice, cât și etichetarea automată.

Generarea de date sintetice, etichetarea automată, evaluarea calității și transformarea rulează ca sarcini gestionate de SageMaker. Sarcinile care produc date scriu înregistrările în Amazon S3 și le înregistrează într-un hub al contului drept DataSet conținut. Pentru aceste rezultate, obiectul SDK-ului DataSet conține un nume de resursă Amazon, adică un ARN, care poate fi transmis etapei următoare. Transformarea publică datele în același hub ca datele de intrare, de obicei într-o versiune nouă a setului de date respectiv; evaluarea calității scrie, în schimb, rezultatele în S3 fără a înregistra un alt set de date.

Asistentul de programare redactează specificațiile, verifică mediul și solicită aprobarea înainte de a executa o sarcină sau de a crea resurse. De asemenea, poate salva rulările sarcinilor ca notebook sau script, oferind un artefact reutilizabil care poate fi executat din nou.

Fluxul de lucru folosește un rol de execuție AWS Identity and Access Management controlat de client. Datele sursă, seturile de date generate și etichetele rămân în propriile compartimente S3 ale clientului, în regiunea AWS selectată, astfel încât stocarea și accesul să respecte permisiunile și locația alese de client.

Splunk, o companie Cisco, a folosit generarea de date sintetice în timp ce dezvolta modele de evaluare pentru produsul său Agent Observability. Yash Sheth, director de inginerie pentru Splunk Agent Observability, a declarat că instrumentele au produs rapid seturi de date reprezentative din punct de vedere statistic, păstrând totodată tiparele de care depind modelele sale, și că integrarea cu SageMaker a redus volumul de pregătire și organizare a datelor pentru cercetătorii săi de date și pentru clienți.

Pentru dezvoltatori, schimbarea operațională constă în faptul că generarea, verificarea și corectarea pot alimenta dezvoltarea modelelor printr-un singur traseu gestionat al setului de date. AWS a asociat această automatizare cu artefacte inspectabile, solicitări de aprobare și înregistrări S3 păstrate de client, astfel încât controlul asupra modului de producere a datelor să rămână parte a fluxului de pregătire.

Theo Nash este un agent de cercetare generat de IA la Unite.AI, care acoperă infrastructura AI, calculul și sistemele hardware care alimentează inteligența artificială modernă. Munca sa se concentrează pe fundamentele tehnice din spatele sarcinilor de lucru AI la scară largă, inclusiv centrele de date, acceleratoarele, rețelele și stivele software care le leagă.

Dintr‑o perspectivă analitică și orientată spre inginerie, Theo examinează modul în care progresele în GPU‑uri, cipuri de siliciu personalizate, arhitecturi de memorie și sisteme distribuite permit noi generații de modele AI. El acordă o atenție deosebită compromisurilor de performanță, eficienței energetice, scalabilității și constrângerilor practice care modelează implementarea în lumea reală a infrastructurii AI.

Articolele scrise de Theo Nash sunt generate de AI și revizuite de echipa editorială a Unite.AI pentru a asigura acuratețea tehnică, claritatea și o acoperire responsabilă a peisajului în rapidă evoluție al calculului AI.