AI-modeller og platforme
AWS føjer ranglister over kvalitet, hastighed og omkostninger til SageMaker JumpStart

NøglepunkterAWS holder benchmarkscorer adskilt, så teams kan prioritere den test, der betyder noget…
Vis mere
- AWS holder benchmarkscorer adskilt, så teams kan prioritere den test, der betyder noget for deres applikation.
- Rangeringer afspejler en valgt udrulningskonfiguration snarere end en universel rangordning af modelkvalitet.
- Estimatet for timeprisen udelukker dataoverførsel, lagring og rabatter, så det er ikke den fulde regning.
Amazon Web Services introducerede den 18. november 2026 Amazon SageMaker JumpStarts rangliste over modeller, der giver brugere af SageMaker Studio ét samlet overblik over benchmarkresultater, svartider og anslåede instanspriser for mere end 70 modeller.
Lanceringen skal løse et problem med at vælge modeller fra JumpStarts katalog med hundredvis af fundamentmodeller med åbne vægte: offentliggjorte resultater kan stamme fra forskellige prompts, indstillinger og hardware, mens modellerne opfører sig forskelligt ved implementering, og omkostningerne varierer efter konfiguration. Den nye ranglistevisning findes ved siden af Categories og All models på JumpStarts side med basismodeller, åbner direkte med rangeringer af store sprogmodeller og har fortsat JumpStarts søgefunktion og filtre. Ved lanceringen omfatter ranglisten modeller fra Meta, Google, Qwen, IBM og Arcee, og den har en URL, der kan deles.
Ensartede test og implementeringsindstillinger
AWS oplyser, at virksomheden kører hvert benchmark med den samme evalueringsramme og de samme indstillinger på tværs af de modeller, den tester. De tre test er BIG-Bench Hard, der måler ræsonnement i flere trin; GPQA Diamond, der bruger naturvidenskabelige spørgsmål på kandidatniveau, som er svære at besvare ved hjælp af websøgninger; og MMLU-Pro, der tester bredere viden og ræsonnement med sværere multiple choice-spørgsmål.
Resultaterne holdes adskilt i stedet for at blive samlet til ét sammensat resultat, så brugerne kan prioritere den test, der er mest relevant for deres anvendelse. Højere resultater er bedre i alle tre benchmarks.
Til måling af driftsmæssige forhold sender AWS en standardiseret arbejdsbelastning til endepunkter, der bruger de samme JumpStart-implementeringskonfigurationer, som kunderne har adgang til. Ranglisten viser tiden til første token, gennemløbet pr. forespørgsel målt i tokens pr. sekund og de anslåede instansomkostninger pr. time. Tallene afhænger af to indstillinger: en profil for anvendelsestilfældet, der som standard er indstillet til Max Context, og et optimeringsmål, der som standard er indstillet til Balanced. Hvis profilen ændres, påvirker det resultaterne for ydeevne og omkostninger, mens kvalitetsresultaterne forbliver uændrede.
Balanced vælger den konfiguration, der har de laveste anslåede omkostninger pr. token, baseret på både timeprisen og genereringshastigheden. De øvrige mål vælger den laveste timepris for instansen, den korteste tid til første token eller det højeste gennemløb; nogle konfigurationer med højt gennemløb bruger spekulativ afkodning. Rangeringen gælder dermed en bestemt implementeringskonfiguration og er ikke en universel rangordning af modeller.
Valget følger med til implementeringen
Teams kan først fravælge modeller, der ikke opfylder krav til eksempelvis licens, udbyder eller input- og outputmodalitet, og derefter sortere de resterende modeller efter et valgt benchmark. Blå farvemarkeringer fremhæver de bedste resultater i hver kolonne, mens kolonner, der kan tilpasses, og fastlåste modelnavne gør det lettere at sammenligne flere modeller.
Når man vælger en model, åbnes implementeringsmulighederne og, hvis serverløs tilpasning understøttes, også indstillingerne for tilpasning. Dokumentationen til SageMaker JumpStart bemærker, at tilpasning, finjustering og evaluering ikke er tilgængeligt for alle modeller.
AWS anbefaler, at man implementerer med den samme profil for anvendelsestilfældet og det samme optimeringsmål, som blev brugt i sammenligningen, fordi en anden konfiguration kan ændre kvalitet, latenstid, gennemløb og omkostninger. Timeestimatet omfatter kun SageMaker-instansen til on-demand-prisen for konfigurationens standardinstanstype. Dataoverførsel, lagring, gebyrer for inferenskomponenter, rabatter på Reserved Instances og AWS Savings Plans er ikke medregnet, så prisfeltet på ranglisten viser ikke den fulde regning.
Begrænsninger ved benchmarks og mulig udvidelse
AWS anbefaler, at man bruger ranglisten til at udvælge en kortliste og derefter tester de to eller tre bedste kandidater med organisationens egne data og prompts før produktionssætning. Resultater bør sammenlignes inden for hvert enkelt benchmark, og små forskelle bør betragtes som uafgjorte, da de kan skyldes variationer fra kørsel til kørsel. Modeller med og uden ræsonnement bruger forskellige genereringsparametre, mens GPQA Diamond-resultater for modeller med ræsonnement beregnes som gennemsnittet af 10 gennemløb. Derfor er sammenligninger mellem de to modeltyper omtrentlige.
AWS oplyser, at virksomheden undersøger muligheden for ranglister til kuraterede private hubs, yderligere opgavebaserede ranglister for objektdetektion, tekstindlejringer og billedforståelse samt flere modeller og benchmarks. Et manglende resultat er ikke ensbetydende med lav kvalitet; nogle modeller er ganske enkelt ikke blevet benchmarktestet, og benchmarktestene ved lanceringen fokuserer på store sprogmodeller (LLM’er).
Brugere af JumpStart kan nu begynde modeludvælgelsen med dokumentation, der er specifik for implementeringen, i den tjeneste, hvor modellen skal køre. Den resterende beslutning er mere afgrænset, men stadig vigtig: Om en models fordel i benchmarktestene også gælder for organisationens egen arbejdsbelastning, og om en eventuel forbedring kan retfærdiggøre modellens målte svartider og instansomkostninger.












