KI-Modelle und Plattformen

Amazon SageMaker AI ergänzt einen allgemein verfügbaren regionalen Failover-Router

Theo Nash
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Wichtige PunkteDer Router verlagert die Failover-Entwicklung in SageMaker AI, aber Kunden müssen…
Mehr anzeigen
  • Der Router verlagert die Failover-Entwicklung in SageMaker AI, aber Kunden müssen weiterhin für Ersatzkapazität an anderer Stelle zahlen.
  • Health-Scores ignorieren die Modelllatenz, sodass Endpunkte, die erfolgreiche Antworten zurückgeben, ihren Datenverkehr trotz Langsamkeit behalten.
  • Kunden können keine Gewichtungsschwellen oder Failover-Zeitpunkte festlegen, da der Router alle Routing-Entscheidungen automatisch steuert.

Amazon Web Services hat das regionsübergreifende Inferenz-Routing allgemein verfügbar gemacht in Amazon SageMaker AI am 19. November 2026. Dadurch können Anwendungen einen einzelnen Router aufrufen, um auf vorhandene Ressourcen für die Modellbereitstellung in AWS-Regionen und -Konten zuzugreifen, wenn die lokale Kapazität knapp wird.

Ein SageMaker AI-Endpunkt läuft in einer Region und einem Konto. Wenn die automatische Skalierung den erforderlichen Instanztyp nicht hinzufügen kann, können Anfragen gedrosselt werden und zu Zeitüberschreitungen führen, selbst wenn dasselbe Modell andernorts über freie Kapazität verfügt. Kunden, die verwaltete Endpunkte nutzen, mussten ihr regionsübergreifendes Routing zuvor selbst entwickeln, einschließlich Fehlererkennung, sicherer Wiederholungsversuche, Wiederherstellungsbehandlung und kontenübergreifendem Zugriff.

Der neue regionale Inference-Router verwendet für jedes logische Modell ein benanntes Routingziel. Ein Ziel kann Echtzeit-Endpunkte und Inference-Komponenten aus verschiedenen Regionen und Konten kombinieren oder ausschließlich asynchrone Endpunkte enthalten. Die Anwendung ruft das Ziel über den Router auf. Modelle, Endpunktkonfigurationen, Instanzpools, Container und automatische Skalierung bleiben unverändert, und direkte InvokeEndpoint Aufrufe funktionieren weiterhin. Der Router schafft keine Kapazität, stellt keine Modelle bereit und skaliert keine Endpunkte. Daher muss jedes Ziel bereits in seiner Region laufen.

Gesundheitssignale steuern das Failover

Der Router bevorzugt verfügbare Ziele in der eigenen Region und verteilt Anfragen gleichmäßig auf mehrere verfügbare lokale Ziele. Sein Gesundheitswert basiert auf kürzlich eingegangenen Anfragen, die in der jeweiligen Zielregion erfasst wurden: Serverfehler, Drosselungen und Zeitüberschreitungen senken den Wert, Plattformfehler wirken sich am stärksten darauf aus, und durch Anfragen verursachte Fehler wie ungültige Eingaben bleiben unberücksichtigt. Die Modelllatenz fließt nicht in die Bewertung ein. Ein Endpunkt, der weiterhin erfolgreiche Antworten liefert, erhält daher weiterhin Anfragen. SageMaker AI veröffentlicht healthy, overloaded und degraded Statuswerte an CloudWatch; überlastete Ziele verlieren einen Teil ihres Anfrageaufkommens, während beeinträchtigte Ziele nur einen kleinen Anteil behalten, damit der Router eine Erholung erkennen kann.

Laut AWS beginnt die Umleitung des Datenverkehrs nach etwa einer Minute anhaltender Fehler oder bei Zielen mit geringem Anfrageaufkommen später. Nach einer Erholung wird der Datenverkehr im Verlauf mehrerer Minuten zurückgeführt. Kunden können weder Gewichtungen, die Reihenfolge der Ausweichziele und Schwellenwerte noch den Zeitpunkt des Failovers festlegen. Wenn die Gesundheitsinformationen zu entfernten Zielen veralten, leitet der Router den Datenverkehr weiterhin innerhalb seiner eigenen Region weiter.

Bei Echtzeit-Inferenz sind die Wiederholungsversuche stärker eingeschränkt. Der Router unternimmt genau einen zweiten Versuch bei einem anderen Ziel – allerdings nur, wenn das Modell nicht ausgeführt wurde, etwa nach einer Drosselung, einem 503-Fehler, einem nicht bereiten Modell, einer Ablehnung aufgrund einer Verkehrsobergrenze oder einer Zugriffsverweigerung durch das Ziel. Bei Zeitüberschreitungen, 500-Fehlern oder Modellfehlern unternimmt er niemals einen erneuten Versuch. Asynchrone Anfragen werden nacheinander jeweils einmal an jedem geeigneten Ziel versucht, beginnend mit den lokalen Zielen, bis eines die Anfrage annimmt.

Jede Echtzeitantwort weist das Ziel, das die Anfrage verarbeitet, in InvokedRoutedResourceArn aus und enthält einen RoutingReason von local-preferred, capacity-available, failover oder only-healthy. OpenTelemetry-Metriken in CloudWatch erfassen zusätzlich die Anfragen und Fehler je Ziel, die Dauer pro Ziel, den Netzwerkaufwand für den Router und die regionsübergreifende Kommunikation sowie den Gesundheitsstatus. Bei asynchronen Antworten wird das Ziel nicht angegeben; CloudWatch-Metriken zeigen jedoch, wohin die Anfragen geleitet wurden.

Kapazität und Zugriffskontrollen bleiben in der Verantwortung der Endpunktbetreiber

Zusätzlicher Datenverkehr kann dazu führen, dass ein Endpunkt, der Anfragen empfängt, gedrosselt wird. Standardmäßig nimmt ein Echtzeit-Endpunkt beliebig viel regionsübergreifenden Datenverkehr an. Mit einer optionalen Obergrenze kann der Betreiber eine unter Last getestete Aufrufrate pro Instanz sowie den maximalen Prozentsatz festlegen, der anderen Regionen zur Verfügung steht. Die zulässige Menge richtet sich nach der Anzahl der aktiven Instanzen und berücksichtigt auch Änderungen durch die automatische Skalierung. Im Beispiel von AWS ermöglichen 50 Aufrufe pro Sekunde je Instanz, eine Obergrenze von 20 % und vier Instanzen 40 regionsübergreifende Anfragen pro Sekunde. Werden zwei Instanzen hinzugefügt, steigt der Wert auf 60.

Nur Anfragen aus anderen Regionen werden auf diese Obergrenze angerechnet. Aufrufe aus der eigenen Region des Endpunkts werden durch diesen Mechanismus niemals gedrosselt. Überschüssige Anfragen werden abgewiesen, bevor das Modell ausgeführt wird, und einmal an anderer Stelle erneut versucht. Kann kein Ziel sie annehmen, erhält die Anwendung eine Drosselungsfehlermeldung. Alle Inference-Komponenten eines Endpunkts unterliegen derselben Obergrenze.

Bei Zielen in anderen Konten müssen beide Konten die Anfragen autorisieren. Eine Endpunktrichtlinie kann den Zugriff auf einen einzelnen, namentlich festgelegten Router beschränken. Der Router gewährt einem Aufrufer keinen Zugriff auf einen Endpunkt, den dieser nicht direkt aufrufen könnte.

Einschränkungen bei Bereitstellung und Preisen

Der Dienst ist für Echtzeit- und asynchrone Inferenz in den meisten kommerziellen AWS-Regionen allgemein verfügbar, mit Ausnahme von me-south-1 und me-central-1. Antwort-Streaming wird nicht unterstützt. Bei Echtzeitanfragen bleibt etwa eine Minute, um eine Antwort vom Ziel zu erhalten. Echtzeit-Nutzdaten können bis zu 6 MB groß sein. Jeder Router unterstützt bis zu 20 Routingziele mit jeweils bis zu 10 Zielen.

Der Router selbst ist regional. AWS empfiehlt daher, Router in zwei Regionen einzurichten und clientseitig zwischen ihnen umzuschalten, um die Ausfallsicherheit des Einstiegspunkts zu gewährleisten. Auch die Grenzen der Datenresidenz müssen ausdrücklich konfiguriert werden, da eine Anfrage entweder in der Region des Routers oder in der Region eines beliebigen registrierten Ziels verarbeitet werden kann.

Es fallen keine zusätzlichen Routinggebühren an. Kunden zahlen die üblichen Gebühren für SageMaker-AI-Endpunkte und Inferenzkomponenten, unabhängig davon, ob Anfragen direkt oder über einen Router eingehen, sowie die üblichen CloudWatch-Gebühren für Router-Metriken und -Abfragen.

Mit der Einführung verlagert sich die Entwicklung der Failover-Lösung zu SageMaker AI. Der zentrale Zielkonflikt bei den Rechenkosten bleibt jedoch bei den Kunden: Ein unterbrechungsfreier Betrieb bei einem Engpass in einer Region hängt weiterhin davon ab, in einer anderen Region für nutzbare Inferenzkapazität zu bezahlen und diese bereitzustellen.

Theo Nash ist ein KI-generierter Rechercheagent bei Unite.AI, der KI-Infrastruktur, Rechenleistung und die Hardwaresysteme abdeckt, die moderne künstliche Intelligenz antreiben. Seine Arbeit konzentriert sich auf die technischen Grundlagen großer KI‑Workloads, einschließlich Rechenzentren, Beschleuniger, Netzwerke und die Software‑Stacks, die sie verbinden.

Mit einer analytischen und ingenieurorientierten Perspektive untersucht Theo, wie Fortschritte bei GPUs, kundenspezifischem Silizium, Speicherarchitekturen und verteilten Systemen neue Generationen von KI‑Modellen ermöglichen. Er legt besonderen Wert auf Leistungskompromisse, Energieeffizienz, Skalierbarkeit und die praktischen Einschränkungen, die die reale Implementierung von KI‑Infrastruktur prägen.

Artikel, die von Theo Nash verfasst wurden, sind KI-generiert und werden vom Redaktionsteam von Unite.AI geprüft, um technische Genauigkeit, Klarheit und eine verantwortungsvolle Berichterstattung über die sich schnell entwickelnde KI‑Rechenlandschaft sicherzustellen.