AI-modellen en platforms
AWS voegt ranglijsten voor kwaliteit, snelheid en kosten toe aan SageMaker JumpStart

Belangrijkste puntenAWS houdt benchmarkscores gescheiden zodat teams prioriteit kunnen geven aan de test…
Meer weergeven
- AWS houdt benchmarkscores gescheiden zodat teams prioriteit kunnen geven aan de test die voor hun toepassing van belang is.
- Ranglijsten weerspiegelen een gekozen implementatieconfiguratie in plaats van een universele ordening van modelkwaliteit.
- De schatting van de kosten per uur sluit gegevensoverdracht, opslag en kortingen uit, dus het is niet de volledige rekening.
Amazon Web Services introduceerde op 18 november 2026 het modelklassement van Amazon SageMaker JumpStart, waarmee gebruikers van SageMaker Studio één overzicht krijgen van benchmarkresultaten, responsprestaties en geschatte kosten van instanties voor meer dan 70 modellen.
De introductie pakt een keuzeprobleem aan dat ontstaat door de catalogus van JumpStart, met honderden foundationmodellen met open gewichten: gepubliceerde resultaten kunnen gebaseerd zijn op verschillende prompts, instellingen en hardware, terwijl het gedrag en de kosten bij implementatie per configuratie verschillen. De nieuwe klassementsweergave staat naast Categories en All models op de pagina met basismodellen van JumpStart, opent rechtstreeks de ranglijst van grote taalmodellen en behoudt de zoekfunctie en filters van JumpStart. Bij de introductie zijn Meta, Google, Qwen, IBM en Arcee opgenomen in het klassement, dat een deelbare URL heeft.
Consistente tests en instellingen voor implementatie
AWS zegt dat het elke benchmark uitvoert met een gemeenschappelijk evaluatiekader en dezelfde instellingen voor de geteste modellen. De drie tests zijn BIG-Bench Hard, voor meerstapsredeneringen; GPQA Diamond, met wetenschappelijke vragen op universitair niveau die moeilijk te beantwoorden zijn met zoekopdrachten op internet; en MMLU-Pro, dat bredere kennis en redeneervermogen toetst met moeilijkere meerkeuzevragen.
De scores blijven afzonderlijk en worden niet samengevoegd tot één totaalscore, zodat gebruikers voorrang kunnen geven aan de test die het meest relevant is voor hun toepassing. Hogere scores zijn bij alle drie de benchmarks beter.
Voor operationele metingen stuurt AWS een gestandaardiseerde werklast naar eindpunten die gebruikmaken van dezelfde JumpStart-implementatieconfiguraties die beschikbaar zijn voor klanten. Het klassement toont de tijd tot het eerste token, de doorvoer per aanvraag in tokens per seconde en de geschatte kosten van een instantie per uur. Deze cijfers hangen af van twee instellingen: een gebruiksscenario-profiel, dat standaard is ingesteld op Max Context, en een optimalisatiedoel, dat standaard is ingesteld op Balanced. Als het profiel wordt gewijzigd, veranderen de resultaten voor prestaties en kosten, maar blijven de kwaliteitsscores gelijk.
Balanced kiest de configuratie met de laagste geschatte kosten per token, waarbij zowel de uurprijs als de generatiesnelheid meetellen. De andere doelen kiezen de laagste uurprijs voor een instantie, de kortste tijd tot het eerste token of de hoogste doorvoer; sommige configuraties voor doorvoer gebruiken speculatieve decodering. Daardoor is de rangschikking specifiek voor een implementatieconfiguratie en geen universele rangorde van modellen.
De keuze werkt door tot aan de implementatie
Teams kunnen eerst modellen uitsluiten die niet voldoen aan vereisten zoals licentie, aanbieder of invoer- en uitvoermodaliteit, en de overgebleven modellen vervolgens sorteren op een gekozen benchmark. Blauwe warmtekaarten laten binnen kolommen de betere resultaten zien, terwijl aanpasbare kolommen en vastgezette modelnamen vergelijking over een groter aantal modellen mogelijk maken.
Als je een model selecteert, worden de implementatieopties geopend en, wanneer aanpassing zonder serverbeheer wordt ondersteund, ook de instellingen voor aanpassing. In de documentatie van SageMaker JumpStart staat dat aanpassing, fijnafstemming en evaluatie niet voor elk model beschikbaar zijn.
AWS adviseert om te implementeren met hetzelfde gebruiksscenario-profiel en optimalisatiedoel als bij de vergelijking, omdat een andere configuratie de kwaliteit, latentie, doorvoer en kosten kan veranderen. De uurprijs is alleen een schatting van de kosten voor de SageMaker-instantie tegen het on-demandtarief voor het standaardinstantietype van de configuratie. Gegevensoverdracht, opslag, kosten voor inferentiecomponenten, kortingen op gereserveerde instanties en AWS Savings Plans zijn niet in dit bedrag opgenomen. De prijskolom van het klassement geeft dus niet de volledige rekening weer.
Beperkingen van benchmarks en mogelijke uitbreiding
AWS adviseert het klassement te gebruiken om een shortlist samen te stellen en vervolgens de twee of drie beste kandidaten vóór productie te testen met de eigen gegevens en prompts van de organisatie. Scores moeten per benchmark worden vergeleken; resultaten die dicht bij elkaar liggen, moeten als gelijkspel worden beschouwd, omdat kleine verschillen kunnen voortkomen uit variatie tussen uitvoeringen. Voor redenerende en niet-redenerende modellen worden verschillende generatieparameters gebruikt. De resultaten van GPQA Diamond voor redenerende modellen zijn bovendien gemiddelden van 10 uitvoeringen. Vergelijkingen tussen deze typen modellen zijn daarom bij benadering.
AWS zegt te onderzoeken of er klassementen komen voor zorgvuldig samengestelde privéhubs, aanvullende taakgerichte klassementen voor objectdetectie, tekstembeddingen en beeldbegrip, en meer modellen en benchmarks. Een ontbrekende score betekent niet dat de kwaliteit slecht is: sommige modellen zijn eenvoudigweg nog niet getest. De benchmarks bij de introductie zijn gericht op grote taalmodellen.
Voor gebruikers van JumpStart kan de modelkeuze nu beginnen met bewijs dat specifiek is voor de implementatie, binnen de dienst waarin het model zal draaien. De resterende beslissing is beperkter, maar nog steeds belangrijk: of het benchmarkvoordeel van een model standhoudt bij de eigen werklast van een organisatie, en of eventuele winst opweegt tegen het gemeten responsgedrag en de kosten van de instantie.












