KI-Modelle und Plattformen
AWS leitet HyperPod-Inferenz aus einer Region über einen einzigen Endpunkt

Wichtige PunkteDas globale Gateway fügt eine Cluster-Auswahl-Ebene über dem bestehenden…
Mehr anzeigen
- Das globale Gateway fügt eine Cluster-Auswahl-Ebene über dem bestehenden Pod-Level-Inference-Gateway-Routing hinzu.
- Betreiber stimmen vier gewichtete Signale ab, darunter RegionProximity mit 0,40, um Latenz gegen Resilienz abzuwägen.
- AWS gibt an, dass das Gateway keine Prompts oder Completions protokolliert oder speichert und nur über PrivateLink routet.
AWS hat am 20. November 2026 das Amazon SageMaker HyperPod Global Inference Gateway vorgestellt. Damit erhalten Kunden einen einzigen verwalteten Endpunkt für Inferenzanfragen an registrierte HyperPod-Cluster in einer oder mehreren AWS-Regionen. Der Dienst wählt anhand von Kapazität, Warteschlange, Nähe und Fehlersignalen einen Cluster aus und schaltet automatisch auf einen anderen um, wenn ein Cluster nicht verfügbar ist.
Mit der Einführung kommt eine zweite Routing-Ebene hinzu, die über dem bestehenden SageMaker HyperPod Inference Gateway liegt. Dieses Gateway auf Clusterebene wählt weiterhin einzelne Modell-Pods anhand von Signalen wie der Auslastung des Key-Value-Caches (KV-Cache) und der Warteschlangentiefe aus. Die neue globale Ebene wählt zuerst den Cluster aus, während die Pod-Auswahl unverändert bleibt.
AWS geht ein Problem bei der Kapazitätsauslastung an: Anfragen können sich in einem ausgelasteten Cluster stauen, während bereits bereitgestellte GPUs an anderer Stelle ungenutzt bleiben. Im Beispiel von vier Modellen, die über fünf Cluster in zwei Regionen bereitgestellt werden, müssen Clients bei einer Bereitstellung pro Modell 20 Endpunkte verwalten. Gateways auf Clusterebene verringern diese Zahl auf fünf, während das globale Gateway nur einen Endpunkt bereitstellt. Die verwaltete Ebene macht es für dieses Routing überflüssig, Load-Balancer, DNS und regionsübergreifende Netzwerke selbst aufzubauen und zu warten. Außerdem kann sie Spitzenverkehr an Cluster mit verfügbarer Kapazität weiterleiten.
Konfigurierbare Clusterauswahl
Ein Betreiber veröffentlicht jeden teilnehmenden Cluster, indem er aktiviert spec.globalRouting in seinem bestehenden InferenceGatewayConfig, und ruft anschließend auf CreateGlobalInferenceGateway mit den zu gruppierenden Clustern. Durch die Veröffentlichung werden im Kundenkonto ein Network Load Balancer, ein VPC-Endpunktdienst (Virtual Private Cloud) und Zertifikatsressourcen erstellt. Ein nicht veröffentlichter Cluster kann nicht erfolgreich hinzugefügt werden.
Clients senden OpenAI-kompatible Anfragen, die mit AWS Signature Version 4 (SigV4) signiert sind, an den regionalen Endpunkt. Das Gateway authentifiziert den Aufrufer und wählt einen gesunden Cluster aus. AWS PrivateLink überträgt die Anfrage innerhalb einer Region oder regionsübergreifend, und das Inference Gateway des Clusters wählt den Modell-Pod aus. SageMaker betreibt die Routing-Flotte und verwaltet private Endpunkte, die Zertifikatsprüfung, Zustandsprüfungen, Authentifizierung und Ratenbegrenzung. Ein dienstverwalteter Publisher auf jedem Cluster stellt Auslastungsmetriken bereit.
Für jede Anfrage bewertet das Gateway gesunde Cluster anhand von vier konfigurierbaren Signalen:
| Signal | Messgröße | Standardgewichtung |
|---|---|---|
KVHeadroom |
Verfügbarer KV-Cache und verfügbarer GPU-Speicher im Cluster | 0.20 |
QueueDepth |
Auslastung des Clusters | 0.25 |
RegionProximity |
Entfernung zwischen dem Cluster und der Region des Gateways | 0.40 |
ErrorRate |
Kürzlich fehlgeschlagene Anfragen im Cluster | 0.15 |
Kunden, die die Standardwerte überschreiben, müssen alle vier Gewichtungen festlegen. Die Werte müssen zwischen 0,0 und 1,0 liegen und zusammen 1,0 ergeben. Ein Signal lässt sich mit dem Wert null deaktivieren. UpdateGlobalInferenceGateway ändert die Gewichtung für neue Anfragen, ohne dass eine erneute Bereitstellung erforderlich ist; laufende Anfragen werden weiterhin mit den alten Einstellungen bearbeitet. Laut AWS können Workloads, bei denen Ausfallsicherheit wichtiger ist als Nähe, den Wert für ErrorRate erhöhen und den Wert für RegionProximity.
Umschaltung bei Ausfällen und Datenschutz
Das Gateway überprüft den Zustand jedes Clusters und leitet den Datenverkehr nach einem Ausfall an den nächstbesten Cluster weiter, ohne dass Änderungen auf Clientseite erforderlich sind. Ein wiederhergestellter Cluster wird schrittweise wieder in den Betrieb aufgenommen. Eine fehlgeschlagene Anfrage wird einmal an einem anderen Cluster erneut versucht, sofern das Streaming noch nicht begonnen hat. Ist kein gesunder Cluster mehr verfügbar, gibt das Gateway den HTTP-Statuscode 503 zurück. Das Hinzufügen eines gesunden Clusters ändert den Endpunkt nicht und beeinträchtigt andere Cluster nicht. Wird ein Cluster entfernt, nimmt er keine neuen Anfragen mehr an, während bereits laufende Anfragen abgeschlossen werden können.
IAM steuert Aufrufe mit und ohne Streaming separat. Kunden-JWTs (JSON Web Tokens) werden, sofern verwendet, innerhalb der SigV4-Signatur übertragen. Anfragen erreichen Cluster ausschließlich über AWS PrivateLink. AWS gibt an, dass das Gateway weder Prompts noch generierte Antworten protokolliert oder speichert. Wird das globale Gateway gelöscht, wird sein Endpunkt abgeschaltet; die Endpunkte der einzelnen Cluster bleiben jedoch weiterhin in Betrieb.
Jinhyung Park, VP of AI Platform bei Bagelcode, erklärte in der Ankündigung von AWS, dass während der Betatests Anfragen über das Gateway regionsübergreifend zwischen zwei Regionen weitergeleitet wurden und weiterhin bearbeitet werden konnten, als ein Cluster das Modell nicht mehr bereitstellen konnte. So erhielt das kleine Plattformteam des Unternehmens eine regionsübergreifende Ausfallsicherung, ohne eine eigene Routing-Ebene aufbauen oder warten zu müssen.
Verfügbarkeit und Migration
Der Dienst ist in 13 Regionen verfügbar: US East (N. Virginia und Ohio), US West (N. California und Oregon), Südamerika (São Paulo), Europa (Frankfurt, Irland, London und Stockholm) sowie Asien-Pazifik (Tokio, Mumbai, Singapur und Sydney).
AWS empfiehlt Nutzern mit nur einem Cluster, weiterhin den Endpunkt des Inference Gateway des Clusters zu verwenden und erst dann zum globalen Dienst zu wechseln, wenn sie einen zweiten Cluster hinzufügen. Während der Client-Migration bleiben bestehende Endpunkte der einzelnen Cluster in Betrieb. Ein Gateway, das nur Cluster in einer Region umfasst, kann einen Workload weiterhin dort belassen. Ein veröffentlichter Cluster, der keinem Gateway zugeordnet ist, erhält keinen Datenverkehr, obwohl sein Network Load Balancer weiterläuft und Kosten verursacht.
Indem der Dienst Standortnähe, Kapazität und Ausfallsignale in einer Richtlinie zusammenführt, macht er die Nutzung ansonsten ungenutzter GPU-Kapazität zu einer Konfigurationsentscheidung statt zu einem separaten Netzwerkprojekt.












