AI-modellen en platforms
AWS voegt AI-tools voor gegevensvoorbereiding toe aan Amazon SageMaker AI

Belangrijkste puntenSageMaker AI consolideert nu generatie, evaluatie, transformatie en labeling in één…
Meer weergeven
- SageMaker AI consolideert nu generatie, evaluatie, transformatie en labeling in één beheerd datasetpad.
- Auto-labeling gebruikt modelovereenstemming als betrouwbaarheidsscore om onzekere rijen naar menselijke beoordelaars te sturen.
- Dataproducerende jobs registreren uitvoer in een accounthub zodat datasets via ARN tussen fasen worden doorgegeven.
AWS kondigde nieuwe mogelijkheden voor AI-gegevensvoorbereiding aan voor Amazon SageMaker AI op 17 november 2026. Daarmee worden synthetische gegevensgeneratie, kwaliteitsevaluatie, transformatie, automatische labeling en menselijke beoordeling toegevoegd aan workflows voor modelontwikkeling. De tools zijn algemeen beschikbaar in de regio’s US East (N. Virginia) en US West (Oregon).
Deze release bundelt werkzaamheden die vaak verspreid zijn over afzonderlijke labelingtools, scripts voor gegevensgeneratie en validatietaken. Een team kan één mogelijkheid inzetten binnen een bestaand proces of er meerdere aan elkaar koppelen. De specificaties en code zijn in te zien en aan te passen terwijl de dataset wordt klaargemaakt voor training of evaluatie.
Generatie, opschoning en trainingsformaten
Met synthetische gegevensgeneratie worden trainings-, evaluatie- en testgegevens gegenereerd op basis van een specificatie, eventueel met onderbouwing aan de hand van startgegevens en documenten. Er wordt ook een codegestuurde pipeline gemaakt die gebruikers kunnen bekijken, aanpassen, hergebruiken en opschalen, zodat ook het generatieproces zelf inzichtelijk is.
Bij de kwaliteitsevaluatie kunnen de bedrijfsregels van een klant, ingebouwde meetwaarden en LLM-metingen waarbij een taalmodel als beoordelaar optreedt, worden toegepast. Zo kunnen dubbele en bijna-dubbele gegevens worden gevonden en ruis in labels of antwoordlekkage aan het licht worden gebracht. Vervolgens kan de transformatie gegevens aanpassen met gegenereerde code, ingebouwde ontdubbeling, samenvoeging, opsplitsing en filtering, of met door gebruikers aangeleverde Python-code die op grote schaal wordt uitgevoerd.
In het voorbeeld van AWS wordt de resulterende dataset in de trainingsketen opgemaakt voor supervised fine-tuning, directe voorkeursoptimalisatie of reinforcement learning, op kwaliteit gecontroleerd en vervolgens doorgestuurd naar de modelaanpassing van SageMaker AI. Zo wordt de dataset vóór de trainingsberekening gevalideerd, waardoor teams defecte gegevens kunnen aanpakken voordat een trainingsrun begint.
Betrouwbaarheidsscores sturen menselijke beoordeling aan
Automatische labeling kan beginnen met een dataset zonder labels, een kleine set gelabelde startgegevens of helemaal geen labels. De ingebouwde taken omvatten classificatie, herkenning van benoemde entiteiten, extractieve vraagbeantwoording, ordinale beoordeling en samenvatting; ook kunnen aangepaste taken worden gedefinieerd. Voordat de volledige dataset wordt verwerkt, wordt een korte labelingspecificatie getoetst aan de voorbeelden van de gebruiker.
Bij taken met een vaste reeks mogelijke antwoorden labelen meerdere modellen elke rij als juryleden; de mate waarin ze het met elkaar eens zijn, wordt de betrouwbaarheidsscore van die rij. Rijen die onder de ingestelde drempelwaarde vallen, komen in een beoordelingswachtrij in SageMaker Studio, gebaseerd op de opensource-editie Label Studio Community Edition. Externe vakdeskundigen kunnen de labels corrigeren in de beoordelingsapp. Die correcties worden teruggekoppeld aan de automatische labeling, en teams kunnen consensusmetingen en labelingsrapporten genereren.
Beheerde taken en overdracht van datasets
Ontwikkelaars kunnen deze stappen aanroepen via de SageMaker Python SDK of een programmeeragent de AWS-vaardigheid voor AI en machine learning geven, zodat die de stappen selecteert en uitvoert vanuit SageMaker Studio JupyterLab, Kiro of een lokale IDE. De SageMaker AI-documentatie schrijft SDK-versie 3.30.0 of hoger voor en een DataPreparer klasse met generate(), evaluate() en transform() methoden. De generate() methode omvat zowel synthetische gegevensgeneratie als automatische labeling.
Synthetische gegevensgeneratie, automatische labeling, kwaliteitsevaluatie en transformatie worden uitgevoerd als SageMaker-beheerde taken. Taken die gegevens produceren, schrijven gegevens naar Amazon S3 en registreren deze in een account hub als DataSet inhoud. Voor die uitvoer bevat het object van de SDK een DataSet object een Amazon Resource Name, oftewel ARN, dat aan de volgende stap kan worden doorgegeven. Transformatie publiceert gegevens naar dezelfde hub als de invoer, meestal als een nieuwe versie van die dataset. Kwaliteitsevaluatie schrijft de resultaten daarentegen naar S3 zonder een extra dataset te registreren.
De programmeerassistent stelt specificaties op, controleert de omgeving en vraagt om goedkeuring voordat een taak wordt uitgevoerd of resources worden aangemaakt. De assistent kan taakruns ook opslaan als notebook of script, zodat er een herbruikbaar bestand ontstaat dat opnieuw kan worden uitgevoerd.
De workflow maakt gebruik van een uitvoeringsrol voor AWS Identity and Access Management die door de klant wordt beheerd. Brongegevens, gegenereerde datasets en labels blijven in de eigen S3-buckets van de klant in de geselecteerde AWS-regio. Zo blijven opslag en toegang binnen de door de klant gekozen machtigingen en locatie.
Splunk, een bedrijf van Cisco, gebruikte synthetische gegevensgeneratie bij de ontwikkeling van evaluatiemodellen voor zijn product Agent Observability. Yash Sheth, directeur engineering voor Splunk Agent Observability, zei dat de tools snel statistisch representatieve datasets opleverden en tegelijkertijd de patronen behielden waarvan de modellen afhankelijk zijn. Ook verminderde de integratie met SageMaker volgens hem de hoeveelheid gegevensvoorbereiding voor datawetenschappers en klanten.
Voor ontwikkelaars betekent dit operationeel dat gegevensgeneratie, controle en correctie via één beheerd datasettraject kunnen bijdragen aan modelontwikkeling. AWS heeft die automatisering gecombineerd met inzichtelijke artefacten, goedkeuringsverzoeken en S3-gegevens die bij de klant blijven. Zo blijft de controle over de manier waarop gegevens worden geproduceerd onderdeel van de voorbereidingsworkflow.












