KI-Modelle und Plattformen
AWS ergänzt SageMaker JumpStart um Ranglisten für Qualität, Geschwindigkeit und Kosten

Wichtige PunkteAWS hält Benchmark-Ergebnisse getrennt, damit Teams den Test priorisieren können, der…
Mehr anzeigen
- AWS hält Benchmark-Ergebnisse getrennt, damit Teams den Test priorisieren können, der für ihre Anwendung wichtig ist.
- Die Ranglisten spiegeln eine gewählte Bereitstellungskonfiguration wider und nicht eine universelle Reihenfolge der Modellqualität.
- Die stündliche Kostenschätzung schließt Datenübertragung, Speicherung und Rabatte aus, daher ist sie nicht die vollständige Rechnung.
Amazon Web Services stellte am 18. November 2026 die Modell-Rangliste von Amazon SageMaker JumpStart vor. Sie bietet Nutzern von SageMaker Studio eine zentrale Übersicht über Benchmark-Ergebnisse, Antwortleistung und geschätzte Instanzpreise für mehr als 70 Modelle.
Die Einführung trägt einem Auswahlproblem Rechnung, das durch den Katalog von JumpStart mit Hunderten von Foundation-Modellen mit offenen Gewichten entsteht: Veröffentlichte Ergebnisse können auf unterschiedlichen Prompts, Einstellungen und Hardware basieren, während sich Bereitstellungsverhalten und Kosten je nach Konfiguration unterscheiden. Die neue Ranglistenansicht steht auf der JumpStart-Seite für Basismodelle neben den Bereichen „Kategorien“ und „Alle Modelle“, öffnet sich direkt mit Ranglisten für große Sprachmodelle und bietet weiterhin die Such- und Filterfunktionen von JumpStart. Zum Start sind Meta, Google, Qwen, IBM und Arcee vertreten; außerdem lässt sich die Rangliste über eine URL teilen.
Einheitliche Tests und Steuerungsmöglichkeiten für die Bereitstellung
AWS zufolge führt das Unternehmen jeden Benchmark für die getesteten Modelle mit einem einheitlichen Evaluierungsrahmen und denselben Einstellungen aus. Die drei Tests sind BIG-Bench Hard für mehrstufiges Schlussfolgern, GPQA Diamond mit Fragen aus den Naturwissenschaften auf Graduiertenniveau, die sich nur schwer durch Websuchen beantworten lassen, sowie MMLU-Pro, das umfassenderes Wissen und Schlussfolgern anhand anspruchsvollerer Multiple-Choice-Fragen prüft.
Die Ergebnisse werden getrennt ausgewiesen und nicht zu einem Gesamtwert zusammengefasst. So können Nutzer den Test priorisieren, der für ihre Anwendung am relevantesten ist. Bei allen drei Benchmarks sind höhere Werte besser.
Für die Messung der betrieblichen Leistung sendet AWS eine standardisierte Arbeitslast an Endpunkte, die mit denselben JumpStart-Bereitstellungskonfigurationen eingerichtet sind, die auch Kunden zur Verfügung stehen. Die Rangliste weist die Zeit bis zum ersten Token, den Durchsatz pro Anfrage in Tokens pro Sekunde und die geschätzten Instanzkosten pro Stunde aus. Diese Werte hängen von zwei Einstellungen ab: einem Anwendungsprofil, das standardmäßig auf „Maximaler Kontext“ gesetzt ist, und einem Optimierungsziel, dessen Standardwert „Ausgewogen“ ist. Eine Änderung des Profils wirkt sich auf die Leistungs- und Kostenergebnisse aus, lässt die Qualitätswerte jedoch unverändert.
„Ausgewogen“ wählt die Konfiguration mit den niedrigsten geschätzten Kosten pro Token und berücksichtigt dabei sowohl den Stundenpreis als auch die Generierungsgeschwindigkeit. Die anderen Ziele wählen den niedrigsten Stundenpreis der Instanz, die kürzeste Zeit bis zum ersten Token oder den höchsten Durchsatz; bei einigen Konfigurationen für hohen Durchsatz kommt spekulatives Decoding zum Einsatz. Dadurch bezieht sich die Rangfolge auf eine bestimmte Bereitstellungskonfiguration und stellt keine allgemeingültige Reihenfolge der Modelle dar.
Die Auswahl wirkt sich auch auf die Bereitstellung aus
Teams können zunächst Modelle ausschließen, die Anforderungen etwa an die Lizenz, den Anbieter oder die Ein- und Ausgabemodalität nicht erfüllen, und die verbleibenden Einträge anschließend nach einem ausgewählten Benchmark sortieren. Blaue Heatmaps heben innerhalb der Spalten bessere Ergebnisse hervor; anpassbare Spalten und fixierte Modellnamen erleichtern den Vergleich über größere Tabellen hinweg.
Wird ein Modell ausgewählt, öffnen sich die Bereitstellungsoptionen und – sofern die Anpassung im Serverless-Betrieb unterstützt wird – die entsprechenden Anpassungsmöglichkeiten. In der Dokumentation zu SageMaker JumpStart wird darauf hingewiesen, dass Anpassung, Feinabstimmung und Evaluierung nicht für jedes Modell verfügbar sind.
AWS empfiehlt, für die Bereitstellung dasselbe Anwendungsprofil und Optimierungsziel wie beim Vergleich zu verwenden, da eine andere Konfiguration Qualität, Latenz, Durchsatz und Kosten verändern kann. Die Stundenschätzung umfasst ausschließlich die SageMaker-Instanz zum On-Demand-Tarif für den Standardinstanztyp der jeweiligen Konfiguration. Datenübertragung, Speicher, Gebühren für Inferenzkomponenten, Rabatte auf Reserved Instances und AWS Savings Plans sind darin nicht enthalten. Der Preis in der Rangliste entspricht daher nicht der vollständigen Rechnung.
Grenzen der Benchmarks und mögliche Erweiterungen
AWS empfiehlt, die Rangliste zunächst zur Vorauswahl zu nutzen und anschließend die zwei oder drei aussichtsreichsten Kandidaten vor dem Produktiveinsatz mit den eigenen Daten und Prompts der Organisation zu testen. Die Ergebnisse sollten innerhalb des jeweiligen Benchmarks verglichen und nahe beieinanderliegende Werte als gleichwertig betrachtet werden, da kleine Unterschiede auf Schwankungen zwischen einzelnen Durchläufen zurückzuführen sein können. Modelle mit und ohne Schlussfolgerungsfähigkeit verwenden unterschiedliche Generierungsparameter. Zudem werden die GPQA-Diamond-Ergebnisse für Modelle mit Schlussfolgerungsfähigkeit über 10 Durchläufe gemittelt. Vergleiche zwischen diesen Modelltypen sind daher nur näherungsweise möglich.
AWS zufolge prüft das Unternehmen Ranglisten für kuratierte private Hubs, zusätzliche Ranglisten für Aufgaben wie Objekterkennung, Text-Embeddings und Bildverständnis sowie die Aufnahme weiterer Modelle und Benchmarks. Ein fehlender Wert bedeutet nicht, dass die Qualität schlecht ist: Einige Modelle wurden schlicht noch nicht getestet, und die zum Start verfügbaren Benchmarks konzentrieren sich auf LLMs.
Für JumpStart-Nutzer kann die Modellauswahl nun mit bereitstellungsspezifischen Nachweisen direkt in dem Dienst beginnen, in dem das Modell ausgeführt wird. Die verbleibende Entscheidung ist enger gefasst, aber weiterhin wichtig: Hält der Benchmark-Vorsprung eines Modells auch bei der eigenen Arbeitslast einer Organisation stand, und rechtfertigt ein möglicher Zugewinn dessen gemessenes Antwortverhalten und Instanzkosten?












