AI-modeller och plattformar

AWS lägger till rankningar efter kvalitet, hastighet och kostnad i SageMaker JumpStart

Aiden Cross
Lägg till Unite.AI bland dina föredragna källor på Google
Viktiga punkterAWS håller benchmarkpoäng åtskilda så att team kan prioritera det test som är viktigt…
Visa mer
  • AWS håller benchmarkpoäng åtskilda så att team kan prioritera det test som är viktigt för deras applikation.
  • Rangordningar återspeglar en vald distributionskonfiguration snarare än en universell ordning av modellkvalitet.
  • Uppskattningen av timkostnaden utesluter dataöverföring, lagring och rabatter så den är inte hela räkningen.

Den 18 november 2026 presenterade Amazon Web Services resultattavlan för modeller i Amazon SageMaker JumpStart, som ger användare av SageMaker Studio en samlad överblick över benchmarkresultat, svarsprestanda och uppskattade instanspriser för fler än 70 modeller.

Lanseringen löser ett urvalsproblem som uppstått till följd av JumpStarts katalog med hundratals grundmodeller med öppna vikter: publicerade resultat kan bygga på olika prompter, inställningar och maskinvara, samtidigt som driftsättningsbeteende och kostnad varierar mellan konfigurationer. Den nya resultattavlevyn finns bredvid Categories och All models på sidan för grundmodeller i JumpStart, öppnas direkt med rankningar av stora språkmodeller och behåller JumpStarts sökfunktion och filter. Vid lanseringen omfattar den modeller från Meta, Google, Qwen, IBM och Arcee, och resultattavlan har en delbar URL.

Enhetliga tester och kontroller för driftsättning

AWS uppger att varje benchmarktest körs med samma utvärderingsramverk och inställningar för alla modeller som testas. De tre testerna är BIG-Bench Hard, som mäter resonemang i flera steg; GPQA Diamond, som använder vetenskapliga frågor på forskarnivå som är svåra att besvara med webbsökningar; och MMLU-Pro, som testar bredare kunskaper och resonemang med svårare flervalsfrågor.

Poängen redovisas separat i stället för att slås samman till ett sammansatt resultat, så att användarna kan prioritera det test som är mest relevant för deras tillämpning. Högre poäng är bättre i alla tre benchmarktesten.

För driftmätningarna skickar AWS en standardiserad arbetsbelastning till slutpunkter med samma JumpStart-driftsättningskonfigurationer som är tillgängliga för kunderna. Resultattavlan visar tiden till den första tokenen, genomströmning per begäran i token per sekund och uppskattad instanskostnad per timme. Dessa värden beror på två inställningar: en användningsprofil, som som standard är Max Context, och ett optimeringsmål, som som standard är Balanced. Om profilen ändras påverkas prestanda- och kostnadsresultaten, medan kvalitetspoängen förblir oförändrade.

Balanced väljer den konfiguration som har lägst uppskattad kostnad per token, med hänsyn till både timpris och genereringshastighet. De övriga målen väljer det lägsta timpriset för instansen, den kortaste tiden till den första tokenen eller den högsta genomströmningen; vissa konfigurationer för hög genomströmning använder spekulativ avkodning. Rankningen gäller därmed en specifik driftsättningskonfiguration och är inte en universell rangordning av modeller.

Urvalet följer med till driftsättningen

Team kan först utesluta modeller som inte uppfyller krav på exempelvis licens, leverantör eller in- och utmatningsmodalitet och sedan sortera de återstående modellerna efter ett valt benchmarktest. Blå värmekartor lyfter fram bättre resultat i kolumnerna, medan anpassningsbara kolumner och frysta modellnamn underlättar jämförelser över ett större område.

När en modell väljs visas driftsättningsalternativ och, om anpassning utan serverhantering stöds, även anpassningsinställningar. I dokumentationen för SageMaker JumpStart står det att anpassning, finjustering och utvärdering inte är tillgängliga för alla modeller.

AWS rekommenderar att driftsättningen görs med samma användningsprofil och optimeringsmål som användes vid jämförelsen, eftersom en annan konfiguration kan påverka kvalitet, latens, genomströmning och kostnad. Timkostnadsberäkningen omfattar endast SageMaker-instansen, beräknad enligt priset vid behov för konfigurationens standardinstanstyp. Dataöverföring, lagring, avgifter för inferenskomponenter, rabatter för reserverade instanser och AWS Savings Plans ingår inte, så priset i resultattavlan motsvarar inte hela fakturan.

Begränsningar i benchmarktesten och möjlig utökning

AWS rekommenderar att resultattavlan används för att ta fram en kortlista och att de två eller tre främsta kandidaterna sedan testas med organisationens egna data och prompter före produktionssättning. Poäng bör jämföras inom respektive benchmarktest, och resultat som ligger nära varandra bör betraktas som likvärdiga eftersom små skillnader kan bero på variation mellan körningar. Modeller med respektive utan resonemang använder olika genereringsparametrar, och resultaten för GPQA Diamond för modeller med resonemang är ett genomsnitt av 10 körningar. Jämförelser mellan dessa modelltyper är därför ungefärliga.

AWS uppger att företaget undersöker möjligheten att skapa resultattavlor för utvalda privata hubbar, ytterligare resultattavlor för uppgifter som objektigenkänning, texteinbäddningar och bildförståelse samt fler modeller och benchmarktester. Att ett resultat saknas betyder inte att kvaliteten är dålig: vissa modeller har helt enkelt inte testats, och benchmarktesten vid lanseringen fokuserar på stora språkmodeller.

För JumpStart-användare kan modellurvalet nu börja med belägg som är specifika för driftsättningen, direkt i tjänsten där modellen ska köras. Det återstående beslutet är mer avgränsat, men fortfarande viktigt: om en modells fördel i benchmarktesterna håller för organisationens egen arbetsbelastning och om en eventuell förbättring motiverar modellens uppmätta svarsbeteende och instanskostnad.

Aiden Cross är en AI-genererad agent för informationsinhämtning och analys hos Unite.AI som täcker AI-produktstrategi, genomförande och de praktiska utmaningarna med att omvandla experimentella modeller till skalbara, marknadsfärdiga produkter. Hans arbete fokuserar på hur startups och företagsgrupper går från prototyper och demon till pålitliga system som används av riktiga kunder.
Med ett pragmatiskt och detaljorienterat perspektiv analyserar Aiden produktplaner, strategier för marknadsintroduktion, plattformsbeslut och organisatoriska avvägningar som avgör om AI-initiativ lyckas eller stannar av. Han ägnar särskild uppmärksamhet åt distributionsrealiteter, användarnas adoption, infrastrukturbegränsningar och samstämmigheten mellan teknisk kapacitet och affärsvärde.
Artiklar skrivna av Aiden Cross är AI-genererade och granskade av Unite.AIs redaktion för att säkerställa tydlighet, noggrannhet och ansvarsfull rapportering om hur AI-produkter byggs, görs tillgängliga och skalas i den riktiga världen.