KI-Modelle und Plattformen
AWS aktiviert die standardmäßige Überwachung für SageMaker-AI-Inferenzendpunkte

Wichtige PunkteDie Standardüberwachung meldet Latenzdrift und ungenutzte GPUs, ohne dass Benutzer im…
Mehr anzeigen
- Die Standardüberwachung meldet Latenzdrift und ungenutzte GPUs, ohne dass Benutzer im Voraus Schwellenwerte festlegen müssen.
- Die Ergebnisse eröffnen einen agentischen SageMaker Studio-Workflow, der Alternativen auf separater Compute bewertet, bevor Produktionsänderungen erfolgen.
- Die Überwachung verursacht keine zusätzlichen GPU-Kosten und kann über die Umgebungsvariable OPT_OUT_TRACKING deaktiviert werden.
Amazon Web Services (AWS) hat am 19. November 2026 die standardmäßige Überwachung für geeignete SageMaker-AI-Inferenzendpunkte für generative KI aktiviert. Damit werden AWS-Health-Befunde zu Latenzabweichungen, ungenutzter GPU-Kapazität und nicht genutzten Optimierungen beim Serving hinzugefügt.
Für Endpunkte, die vLLM-Serving-Container und GPU-Instances nutzen, ist keine Einrichtung der Überwachung erforderlich. Erfasst werden die Latenz auf Endpunktebene, die GPU-Auslastung und die Serving-Konfiguration, nicht jedoch Inhalte von Anfragen oder Antworten. Ziel ist es, schleichende Abweichungen nach der Bereitstellung zu erkennen, wenn sich Traffic, Prompt-Längen, Serving-Software und Ressourcenanforderungen des Modells verändern.
Die Ankündigung erweitert die Empfehlungen für optimierte Inferenz mit generativer KI, die AWS am 22. April 2026 eingeführt hat. Mit diesem Workflow können Nutzer Kosten, Latenz oder Durchsatz als Ziel festlegen, bis zu drei Instance-Typen vergleichen und Konfigurationen mit NVIDIA AIPerf auf echten GPUs benchmarken. Außerdem lassen sich damit bestehende Produktionsendpunkte benchmarken. Die neue Ebene ergänzt diesen vom Nutzer angestoßenen Entscheidungsprozess um kontinuierliche Beobachtung und Benachrichtigungen.
Was die Überwachung erkennt
Bei Befunden zu Latenzabweichungen werden die mediane (p50) Ende-zu-Ende-Latenz und die mediane Zeit bis zum ersten Token mit den jeweiligen Werten des Endpunkts aus der vorangegangenen Woche verglichen. Da der Basiswert aus historischen Daten stammt, müssen Nutzer nicht im Voraus einen Schwellenwert festlegen. Ein anschließender Benchmark prüft Einstellungen für Tensorparallelität sowie alternative Instance-Typen oder -Größen.
Weitere Befunde betreffen GPUs, deren Auslastung dauerhaft deutlich unter der Kapazitätsgrenze bleibt, unterstütztes, aber deaktiviertes spekulatives Decoding, nicht optimierte GPU-Kernels sowie Serving-Container, denen neuere Leistungsverbesserungen oder Patches für kritische und hochgradige Sicherheitslücken fehlen. Bei ungenutzter Kapazität prüft der Benchmark günstigere Instance-Typen und kleinere Größen anhand des beobachteten Spitzen-Traffics. Konfigurationstests vergleichen die aktuelle Einrichtung je nach Anwendungsfall mit aktiviertem spekulativem Decoding, optimierten Kernels oder einem aktualisierten Container.
Die Beispiele von AWS veranschaulichen Abläufe und sind keine Messungen für die gesamte Flotte: In einem Beispiel steigt die mediane Zeit bis zum ersten Token von einer Woche zur nächsten um etwa 200 Millisekunden; in einem anderen nutzt selbst die am stärksten ausgelastete GPU während des größten Teils einer Woche höchstens 12 % ihrer Kapazität.
Von der Health-Warnung zum Benchmark
Die Befunde werden über AWS Health und per E-Mail übermittelt. Für jeden Endpunkt wird jeweils höchstens eine Benachrichtigung mit allen zutreffenden Befunden versendet. AWS begrenzt außerdem die Anzahl der Benachrichtigungen, die ein Konto gleichzeitig erhält. Die Benachrichtigungen beziehen sich jeweils auf die AWS-Region des Endpunkts.
Eine Benachrichtigung beschreibt, was beobachtet wurde, warum es für Latenz, Kapazität oder Kosten relevant ist und welche Maßnahme empfohlen wird; Schätzungen sind ausdrücklich als solche gekennzeichnet. Sie enthält eine Beobachtung, keinen abgeschlossenen Benchmark. Über die empfohlene Maßnahme wird in SageMaker Studio eine agentengestützte Umgebung geöffnet, in der der Endpunkt und sein beobachteter Traffic bereits vorausgefüllt sind.
Nach der Bestätigung durch den Nutzer erstellt der Agent ein bearbeitbares SageMaker-Python-SDK-Notebook, das das Modell des Endpunkts und ein aus dessen Metriken abgeleitetes Traffic-Profil verwendet. Das Notebook versieht den Empfehlungsauftrag mit dem AWS-Health-Ereignis, sodass sich die Ergebnisse dem Befund zuordnen lassen. Der Auftrag vergleicht die aktuelle Konfiguration anhand von Antwortzeit, Durchsatz und Kosten pro Million Tokens mit Alternativen und nutzt dafür separate Rechenressourcen. Die Produktion bleibt unverändert, bis der Nutzer ein Ergebnis anwendet.
AWS empfiehlt, eine ausgewählte Konfiguration zunächst auf eine Produktionsvariante anzuwenden und die bestehende Konfiguration für ein Rollback verfügbar zu halten. Es ist auch ganz normal, einen Befund zurückzustellen oder zu verwerfen; die Benachrichtigung bleibt im Ereignisverlauf von AWS Health erhalten.
Kosten und Möglichkeiten zum Deaktivieren
Für die Überwachung fallen keine zusätzlichen GPU-Kosten an. Für Benchmarks gelten die üblichen Gebühren für SageMaker AI oder eine bestehende Reservierung für maschinelles Lernen. Um auf einen Befund zu reagieren, sind eine SageMaker-Studio-Domain, AWS-IAM-Berechtigungen zum Ausführen von Empfehlungsaufträgen und Aktualisieren von Endpunkten sowie ein ausreichendes Kontingent für Benchmark-Instances erforderlich.
Kunden können die Zustellung über AWS User Notifications verwalten und optional wiederkehrende Empfehlungen, etwa monatliche Durchläufe, planen. Durch Festlegen der OPT_OUT_TRACKING Umgebungsvariable in einem Modellcontainer wird die Erfassung der Engine-Metriken, GPU-Metriken und Details zur Startkonfiguration dieses Endpunkts gestoppt und dessen Benachrichtigungen werden unterbunden.
Die Unterstützung einer Optimierung garantiert keinen Vorteil. AWS zufolge hängen die Ergebnisse des spekulativen Decodings von der Gleichzeitigkeit der Anfragen sowie der Länge von Prompts und Antworten ab und können sich zwischen Spitzen- und Nebenverkehrszeiten unterscheiden. Dieser Unterschied bestimmt die praktische Rolle der Funktion: Die standardmäßig erfasste Telemetrie liefert den Warnhinweis; der Benchmark zeigt, ob sich die mögliche Kosteneinsparung oder Geschwindigkeitssteigerung bei dem maßgeblichen Traffic tatsächlich erzielen lässt.












