AI-mallit ja alustat
AWS lisää laatu-, nopeus- ja kustannusvertailut SageMaker JumpStartiin

Keskeiset kohdatAWS pitää vertailuarvojen pisteet erillään, jotta tiimit voivat priorisoida…
Näytä lisää
- AWS pitää vertailuarvojen pisteet erillään, jotta tiimit voivat priorisoida sovellukselleen tärkeän testin.
- Sijoitukset heijastavat valittua käyttöönottokokoonpanoa eivätkä yleismaailmallista mallin laadun järjestystä.
- Tuntikustannusarvio ei sisällä tiedonsiirtoa, tallennusta eikä alennuksia, joten se ei ole koko lasku.
Amazon Web Services esitteli 18. marraskuuta 2026 Amazon SageMaker JumpStart -mallien tulostaulukon, joka tarjoaa SageMaker Studion käyttäjille yhden näkymän vertailutuloksiin, vasteaikoihin ja arvioituihin instanssihintoihin yli 70 mallin osalta.
Julkaisu vastaa valintaongelmaan, jonka JumpStartin satojen avoimilla painoarvoilla varustettujen perusmallien valikoima on synnyttänyt: julkaistut tulokset voivat perustua erilaisiin kehotteisiin, asetuksiin ja laitteistoihin, kun taas mallien toiminta käyttöönotossa ja kustannukset vaihtelevat kokoonpanon mukaan. Uusi tulostaulukkonäkymä on JumpStartin perusmallisivulla luokkien ja kaikkien mallien rinnalla. Se avautuu suoraan suurten kielimallien sijoituksiin, ja siinä ovat edelleen käytettävissä JumpStartin haku- ja suodatustoiminnot. Julkaisu kattaa Metan, Googlen, Qwenin, IBM:n ja Arceen mallit, ja tulostaulukolla on jaettava URL-osoite.
Yhdenmukaiset testit ja käyttöönoton hallinta
AWS kertoo suorittavansa jokaisen vertailutestin kaikille testaamilleen malleille yhteisellä arviointikehikolla ja samoilla asetuksilla. Testejä on kolme: BIG-Bench Hard, joka mittaa monivaiheista päättelyä; GPQA Diamond, jossa käytetään jatko-opintotason luonnontieteellisiä kysymyksiä, joihin on vaikea vastata verkkohauilla; sekä MMLU-Pro, joka arvioi laajempaa tietämystä ja päättelykykyä tavallista vaikeammilla monivalintakysymyksillä.
Pisteet esitetään erikseen eikä niitä yhdistetä kokonaistulokseksi, joten käyttäjät voivat painottaa sovelluksensa kannalta olennaisinta testiä. Kaikissa kolmessa vertailutestissä suurempi pistemäärä on parempi.
Toiminnallisten mittareiden määrittämiseksi AWS lähettää vakioidun työkuorman päätepisteisiin, joissa käytetään samoja JumpStart-käyttöönottokokoonpanoja kuin asiakkailla. Tulostaulukossa ilmoitetaan aika ensimmäiseen tokeniin, pyyntökohtainen läpimeno tokenia sekunnissa ja arvioitu instanssikustannus tunnissa. Näihin lukuihin vaikuttaa kaksi asetusta: käyttötapausprofiili, jonka oletusarvo on Suurin konteksti, ja optimointitavoite, jonka oletusarvo on Tasapainoinen. Profiilin vaihtaminen muuttaa suorituskyky- ja kustannustuloksia, mutta ei laatupisteitä.
Tasapainoinen-asetus valitsee kokoonpanon, jonka arvioitu tokenikohtainen kustannus on pienin, ottaen huomioon sekä tuntihinnan että generointinopeuden. Muilla tavoitteilla valitaan pienimmän tuntihintaisen instanssin, lyhimmän ensimmäiseen tokeniin kuluvan ajan tai suurimman läpimenon tarjoava kokoonpano; joissakin suuren läpimenon kokoonpanoissa käytetään spekulatiivista dekoodausta. Näin sijoitus määräytyy käyttöönottokokoonpanon mukaan, eikä se ole mallien yleispätevä paremmuusjärjestys.
Valinta kulkee mukana käyttöönottoon
Tiimit voivat ensin sulkea pois mallit, jotka eivät täytä esimerkiksi lisenssiä, palveluntarjoajaa tai syöte- ja tulostemodaliteettia koskevia vaatimuksia, ja järjestää jäljelle jäävät mallit valitun vertailutestin mukaan. Siniset lämpökartat korostavat sarakkeiden parempia tuloksia, ja säädettävät sarakkeet sekä paikallaan pysyvät mallien nimet helpottavat laajempia vertailuja.
Mallin valitseminen avaa käyttöönottoasetukset ja, jos palvelimeton mukauttaminen on tuettua, myös mukauttamisen hallintatoiminnot. SageMaker JumpStart -dokumentaatiossa todetaan, etteivät mukauttaminen, hienosäätö ja arviointi ole käytettävissä kaikille malleille.
AWS suosittelee käyttöönottoa samalla käyttötapausprofiililla ja optimointitavoitteella, joita käytettiin vertailussa, sillä eri kokoonpano voi muuttaa laatua, viivettä, läpimenoa ja kustannuksia. Tuntihinta-arvio kattaa vain SageMaker-instanssin kokoonpanon oletusarvoisella instanssityypillä ja käytön mukaan määräytyvällä hinnalla. Tiedonsiirto, tallennus, päättelykomponenttien maksut, Reserved Instance -alennukset ja AWS Savings Plans eivät sisälly arvioon, joten tulostaulukon hintasarake ei kuvaa koko laskua.
Vertailutestien rajoitukset ja mahdollinen laajentaminen
AWS suosittelee käyttämään tulostaulukkoa ehdokasjoukon rajaamiseen ja testaamaan sitten kahta tai kolmea parasta mallia organisaation omilla tiedoilla ja kehotteilla ennen tuotantokäyttöä. Tuloksia kannattaa verrata kunkin vertailutestin sisällä, ja lähellä toisiaan olevia tuloksia pitää käsitellä tasatuloksina, sillä pienet erot voivat johtua ajokertojen välisestä vaihtelusta. Päättelyä käyttävissä ja käyttämättömissä malleissa käytetään erilaisia generointiparametreja, ja päättelymalleille GPQA Diamond -tulokset lasketaan 10 testikierroksen keskiarvona. Siksi näiden mallityyppien väliset vertailut ovat suuntaa-antavia.
AWS kertoo selvittävänsä tulostaulukoiden lisäämistä kuratoituihin yksityisiin keskuksiin, uusien tehtäväkohtaisten tulostaulukoiden luomista kohteentunnistusta, tekstien upotuksia ja kuvien ymmärtämistä varten sekä mallien ja vertailutestien määrän kasvattamista. Puuttuva pistemäärä ei tarkoita heikkoa laatua: joitakin malleja ei yksinkertaisesti ole vielä vertailutestattu, ja julkaisun vertailutestit keskittyvät suuriin kielimalleihin.
JumpStartin käyttäjät voivat nyt aloittaa mallin valinnan käyttöönottokohtaisen näytön perusteella suoraan siitä palvelusta, jossa mallia käytetään. Jäljellä oleva päätös on rajatumpi mutta silti merkittävä: säilyykö mallin etu vertailutestissä organisaation omalla työkuormalla, ja ovatko mahdolliset hyödyt sen mitatun vastekäyttäytymisen ja instanssikustannusten arvoisia.












