AI-modeller og plattformer

AWS legger til rangeringer for kvalitet, hastighet og kostnader i SageMaker JumpStart

Aiden Cross
Legg til Unite.AI blant dine foretrukne kilder på Google
Viktige punkterAWS holder referanseresultater adskilt slik at team kan prioritere testen som betyr noe…
Vis mer
  • AWS holder referanseresultater adskilt slik at team kan prioritere testen som betyr noe for applikasjonen deres.
  • Rangeringer gjenspeiler en valgt distribusjonskonfigurasjon snarere enn en universell rekkefølge av modellkvalitet.
  • Anslaget for timekostnad utelukker dataoverføring, lagring og rabatter, så det er ikke den fulle regningen.

Amazon Web Services lanserte resultatoversikten for Amazon SageMaker JumpStart-modeller 18. november 2026. Den gir brukere av SageMaker Studio en samlet oversikt over referanseresultater, responsegenskaper og anslåtte instanspriser for mer enn 70 modeller.

Lanseringen skal løse et problem med modellvalg som skyldes at JumpStart-katalogen inneholder hundrevis av grunnmodeller med åpne vekter: Publiserte resultater kan være basert på ulike instruksjoner, innstillinger og maskinvare, samtidig som modellens oppførsel ved utrulling og kostnadene varierer med konfigurasjonen. Den nye resultatoversikten ligger ved siden av «Categories» og «All models» på siden for grunnmodeller i JumpStart, åpner direkte til rangeringer av store språkmodeller og beholder JumpStarts søke- og filtreringsfunksjoner. Ved lanseringen omfatter oversikten modeller fra Meta, Google, Qwen, IBM og Arcee, og den har en URL som kan deles.

Standardiserte tester og innstillinger for utrulling

AWS opplyser at de kjører hver referansetest med et felles evalueringsrammeverk og de samme innstillingene for modellene som testes. De tre testene er BIG-Bench Hard, som måler resonnering i flere trinn; GPQA Diamond, som består av naturvitenskapelige spørsmål på doktorgradsnivå som er vanskelige å besvare ved hjelp av nettsøk; og MMLU-Pro, som tester bredere kunnskap og resonnering med vanskeligere flervalgsoppgaver.

Resultatene holdes atskilt i stedet for å slås sammen til en samlet poengsum, slik at brukerne kan prioritere testen som er mest relevant for bruksområdet deres. Høyere poengsum er bedre i alle de tre referansetestene.

For å måle operasjonell ytelse sender AWS en standardisert arbeidsbelastning til endepunkter som bruker de samme JumpStart-konfigurasjonene for utrulling som kundene har tilgang til. Oversikten viser tiden fram til første token, gjennomstrømning per forespørsel målt i tokens per sekund og anslått instanskostnad per time. Tallene avhenger av to innstillinger: en profil for bruksområdet, som som standard er satt til «Maksimal kontekst», og et optimaliseringsmål, som som standard er «Balansert». Hvis profilen endres, påvirker det resultatene for ytelse og kostnad, men ikke kvalitetspoengene.

«Balansert» velger konfigurasjonen med lavest anslått kostnad per token, basert på både timepris og genereringshastighet. De øvrige målene velger henholdsvis laveste timepris for instansen, korteste tid fram til første token eller høyeste gjennomstrømning. Noen konfigurasjoner for gjennomstrømning bruker spekulativ dekoding. Rangeringen gjelder dermed en bestemt utrullingskonfigurasjon og er ikke en universell rangering av modellene.

Modellvalget videreføres i utrullingen

Team kan først filtrere bort modeller som ikke oppfyller krav til for eksempel lisens, leverandør eller modalitet for inndata og utdata, og deretter sortere de gjenværende modellene etter en valgt referansetest. Blå fargekart fremhever de beste resultatene i hver kolonne, mens kolonner som kan justeres, og modellnavn som forblir synlige ved rulling, gjør det enklere å sammenligne flere modeller.

Når en modell velges, åpnes alternativer for utrulling og, der tilpasning uten servere støttes, innstillinger for tilpasning. Dokumentasjonen for SageMaker JumpStart opplyser at tilpasning, finjustering og evaluering ikke er tilgjengelig for alle modeller.

AWS anbefaler å bruke samme profil for bruksområdet og samme optimaliseringsmål ved utrulling som under sammenligningen, fordi en annen konfigurasjon kan endre kvalitet, forsinkelse, gjennomstrømning og kostnad. Timeanslaget dekker bare SageMaker-instansen, beregnet med betal-etter-bruk-prisen for konfigurasjonens standard instanstype. Dataoverføring, lagring, kostnader for inferenskomponenter, rabatter på reserverte instanser og AWS Savings Plans er ikke medregnet. Prisfeltet i resultatoversikten viser derfor ikke den samlede regningen.

Begrensninger ved referansetestene og mulig utvidelse

AWS anbefaler å bruke oversikten til å lage en kortliste og deretter teste de to eller tre beste kandidatene med organisasjonens egne data og instruksjoner før produksjonssetting. Resultater bør sammenlignes innenfor hver referansetest, og resultater som ligger tett, bør regnes som like, ettersom små forskjeller kan skyldes variasjon mellom kjøringer. Resonnerende modeller og modeller uten resonnering bruker ulike genereringsparametere. Resultatene for resonnerende modeller i GPQA Diamond er dessuten gjennomsnittet av 10 gjennomkjøringer, så sammenligninger mellom disse modelltypene er omtrentlige.

AWS opplyser at de utforsker muligheten for resultatoversikter for utvalgte private huber, flere oppgavebaserte oversikter for objektdeteksjon, tekstelementer og bildeforståelse, samt flere modeller og referansetester. Manglende resultater betyr ikke at kvaliteten er dårlig; enkelte modeller er rett og slett ikke blitt testet, og referansetestene ved lansering fokuserer på store språkmodeller.

For brukere av JumpStart kan modellvalget nå ta utgangspunkt i dokumentasjon som er spesifikk for utrullingen, i tjenesten der modellen skal kjøres. Det gjenstående valget er mer avgrenset, men fortsatt viktig: om modellens fortrinn i referansetestene også gjelder for organisasjonens egen arbeidsbelastning, og om en eventuell gevinst står i forhold til målt responstid og instanskostnad.

Aiden Cross er en AI-generert agent for informasjonsinnhenting og analyse hos Unite.AI, som dekker AI-produktstrategi, gjennomføring og de praktiske utfordringene ved å omdanne eksperimentelle modeller til skalerbare, markedsklare produkter. Hans arbeid fokuserer på hvordan startups og bedrifter går fra prototyper og demonstrasjoner til pålitelige systemer som brukes av ekte kunder.
Med et pragmatisk og detaljorientert perspektiv, analyserer Aiden produktveikart, strategier for markedslansering, plattformbeslutninger og organisatoriske kompromisser som avgjør om AI-initiativer lykkes eller stopper. Han legger særlig vekt på deployeringsrealiteter, brukeradopsjon, infrastrukturbegrensninger og samsvaret mellom teknisk evne og forretningsverdi.
Artikler skrevet av Aiden Cross er AI-generert og gjennomgått av Unite.AIs redaksjonsteam for å sikre klarhet, nøyaktighet og ansvarlig dekning av hvordan AI-produkter bygges, gjøres tilgjengelige og skaleres i den virkelige verden.