KI-Modelle und Plattformen
AWS ergänzt Amazon SageMaker AI um KI-Tools zur Datenaufbereitung

Wichtige PunkteSageMaker AI fasst nun Generierung, Evaluierung, Transformation und Kennzeichnung in…
Mehr anzeigen
- SageMaker AI fasst nun Generierung, Evaluierung, Transformation und Kennzeichnung in einem einzigen verwalteten Datensatzpfad zusammen.
- Die automatische Kennzeichnung verwendet die Modellübereinstimmung als Konfidenzwert, um unsichere Zeilen an menschliche Prüfer weiterzuleiten.
- Datenproduzierende Jobs registrieren Ausgaben in einem Konto-Hub, sodass Datensätze per ARN zwischen den Phasen weitergegeben werden.
AWS hat neue KI-Funktionen zur Datenaufbereitung angekündigt, die Amazon SageMaker AI am 17. November 2026 um synthetische Datengenerierung, Qualitätsbewertung, Datenumwandlung, automatische Datenkennzeichnung und menschliche Prüfung in Entwicklungsabläufen für Modelle erweitern. Die Tools sind allgemein in den Regionen US East (N. Virginia) und US West (Oregon) verfügbar.
Mit der Veröffentlichung werden Arbeitsschritte zusammengeführt, die häufig auf separate Kennzeichnungstools, Skripte zur Datengenerierung und Validierungsjobs verteilt sind. Ein Team kann eine einzelne Funktion in einen bestehenden Prozess integrieren oder mehrere miteinander verketten. Dabei lassen sich die Spezifikationen und der Code prüfen und ändern, während der Datensatz auf das Training oder die Evaluierung vorbereitet wird.
Generierung, Bereinigung und Trainingsformate
Die synthetische Datengenerierung erstellt anhand einer Spezifikation Trainings-, Evaluierungs- und Testdaten, die sich optional auf Seed-Daten und Dokumente stützen. Außerdem wird eine codebasierte Pipeline erzeugt, die Nutzer prüfen, ändern, wiederverwenden und skalieren können. So lässt sich auch der Generierungsprozess selbst nachvollziehen.
Bei der Qualitätsbewertung können geschäftliche Regeln des Kunden, integrierte Kennzahlen und Kennzahlen nach dem Prinzip „LLM als Beurteiler“ angewendet werden, bei dem ein Sprachmodell die Daten bewertet. Dabei lassen sich Duplikate und nahezu identische Einträge finden sowie Labelrauschen oder das Durchsickern von Antworten aufdecken. Anschließend können die Daten durch generierten Code, integrierte Funktionen zum Entfernen von Duplikaten, Zusammenführen, Aufteilen und Filtern oder durch vom Nutzer bereitgestellten Python-Code umgeformt werden, der sich im großen Maßstab ausführen lässt.
Die von AWS beispielhaft gezeigte Trainingskette formatiert die resultierenden Daten für überwachtes Fine-Tuning, direkte Präferenzoptimierung oder bestärkendes Lernen, prüft ihre Qualität und leitet sie anschließend zur Modellanpassung in SageMaker AI weiter. Die Abfolge sieht die Validierung des Datensatzes vor dem Einsatz von Trainingsressourcen vor und gibt Teams so Gelegenheit, fehlerhafte Datensätze vor einem Trainingslauf zu beheben.
Konfidenzwerte fließen in die menschliche Prüfung ein
Die automatische Datenkennzeichnung kann mit einem unbeschrifteten Datensatz, einer kleinen beschrifteten Startmenge oder ganz ohne Labels beginnen. Zu den integrierten Aufgaben gehören Klassifizierung, Erkennung benannter Entitäten, extraktive Fragebeantwortung, ordinale Bewertung und Zusammenfassung; außerdem lassen sich benutzerdefinierte Aufgaben definieren. Eine kurze Spezifikation für die Kennzeichnung wird anhand der Beispiele des Nutzers überprüft, bevor der gesamte Datensatz verarbeitet wird.
Bei Aufgaben mit einer festgelegten Auswahl möglicher Antworten kennzeichnen mehrere Modelle jede Zeile wie eine Jury; ihr Grad an Übereinstimmung ergibt den Konfidenzwert für die jeweilige Zeile. Zeilen, deren Wert unter dem ausgewählten Schwellenwert liegt, werden in eine Prüfwarteschlange in SageMaker Studio aufgenommen, die auf der Open-Source-Version Label Studio Community Edition basiert. Externe Fachexperten können die Daten in der Prüf-App korrigieren. Diese Korrekturen fließen in die automatische Kennzeichnung zurück. Teams können außerdem Konsenskennzahlen und Kennzeichnungsberichte erstellen.
Verwaltete Jobs und die Weitergabe von Datensätzen
Entwickler können diese Schritte über das SageMaker Python SDK aufrufen oder einem Programmieragenten die AWS-AI/ML-Fähigkeit bereitstellen, damit dieser die Schritte in SageMaker Studio JupyterLab, Kiro oder einer lokalen IDE auswählt und ausführt. In der SageMaker-AI-Dokumentation wird SDK-Version 3.30.0 oder höher sowie eine DataPreparer Klasse mit generate(), evaluate() und transform() Methoden. Die generate() Methode deckt sowohl die synthetische Datengenerierung als auch die automatische Datenkennzeichnung ab.
Synthetische Datengenerierung, automatische Datenkennzeichnung, Qualitätsbewertung und Datenumwandlung werden als von SageMaker verwaltete Jobs ausgeführt. Jobs, die Daten erzeugen, schreiben Datensätze in Amazon S3 und registrieren sie in einem Konten-Hub als DataSet Inhalte. Für diese Ausgaben enthält das DataSet Objekt des SDK einen Amazon Resource Name (ARN), der an den nächsten Schritt übergeben werden kann. Bei der Datenumwandlung werden die Ergebnisse im selben Hub wie die Eingabedaten veröffentlicht, in der Regel als neue Version des Datensatzes. Die Qualitätsbewertung schreibt die Ergebnisse dagegen in S3, ohne einen weiteren Datensatz zu registrieren.
Der Programmierassistent erstellt Spezifikationen, prüft die Umgebung und fordert eine Genehmigung an, bevor er einen Job ausführt oder Ressourcen erstellt. Außerdem kann er Jobläufe als Notebook oder Skript speichern, sodass ein wiederverwendbares Artefakt entsteht, das sich erneut ausführen lässt.
Der Workflow verwendet eine vom Kunden kontrollierte Ausführungsrolle von AWS Identity and Access Management. Quelldaten, generierte Datensätze und Labels verbleiben in den eigenen S3-Buckets des Kunden in der ausgewählten AWS-Region. Dadurch bleiben Speicherung und Zugriff auf die Berechtigungen und den Standort beschränkt, die der Kunde festlegt.
Splunk, ein Unternehmen von Cisco, nutzte die synthetische Datengenerierung bei der Entwicklung von Evaluierungsmodellen für sein Produkt Agent Observability. Yash Sheth, Director of Engineering für Splunk Agent Observability, sagte, die Tools hätten schnell statistisch repräsentative Datensätze erzeugt und dabei die Muster bewahrt, auf die die Modelle angewiesen sind. Außerdem habe die Integration mit SageMaker den Aufwand für die Datenaufbereitung für die Datenwissenschaftler und Kunden des Unternehmens verringert.
Für Entwickler besteht die praktische Veränderung darin, dass Generierung, Prüfung und Korrektur die Modellentwicklung über einen einzigen verwalteten Datenpfad unterstützen können. AWS verbindet diese Automatisierung mit überprüfbaren Artefakten, Genehmigungsanfragen und in Kundenhand verbleibenden S3-Datensätzen. So bleibt die Kontrolle über die Datenerzeugung Teil des Aufbereitungsworkflows.












