Modely a platformy AI

AWS přidává do SageMaker JumpStart žebříčky kvality, rychlosti a nákladů

Aiden Cross
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyAWS udržuje skóre benchmarků oddělené, aby týmy mohly upřednostnit test, který je…
Zobrazit více
  • AWS udržuje skóre benchmarků oddělené, aby týmy mohly upřednostnit test, který je důležitý pro jejich aplikaci.
  • Žebříčky odrážejí zvolenou konfiguraci nasazení, nikoli univerzální pořadí kvality modelů.
  • Odhad hodinových nákladů nezahrnuje přenos dat, úložiště a slevy, takže nejde o plnou fakturu.

Amazon Web Services 18. listopadu 2026 představila žebříček modelů Amazon SageMaker JumpStart, který uživatelům SageMaker Studio nabízí jednotný přehled výsledků benchmarků, rychlosti odezvy a odhadovaných cen instancí u více než 70 modelů.

Novinka řeší problém s výběrem modelů z katalogu JumpStart, který čítá stovky základních modelů s otevřenými vahami: zveřejněné výsledky mohou vycházet z různých zadání, nastavení a hardwaru, zatímco chování při nasazení i náklady se liší podle konfigurace. Nové zobrazení žebříčku je na stránce základních modelů JumpStart vedle sekcí Categories a All models, otevírá se přímo na žebříčku velkých jazykových modelů a zachovává funkce vyhledávání a filtrování JumpStart. Při spuštění zahrnoval žebříček modely od společností Meta, Google, Qwen, IBM a Arcee a má adresu URL, kterou lze sdílet.

Konzistentní testování a nastavení nasazení

AWS uvádí, že každý benchmark provádí pomocí společného hodnoticího rámce a jednotného nastavení pro všechny testované modely. Používá tři testy: BIG-Bench Hard, který se zaměřuje na vícekrokové uvažování; GPQA Diamond, jenž využívá otázky z přírodních věd na úrovni postgraduálního studia, na které je obtížné odpovědět pomocí internetového vyhledávání; a MMLU-Pro, který prověřuje širší znalosti a uvažování pomocí náročnějších otázek s výběrem z možností.

Výsledky se zobrazují samostatně a neslučují se do souhrnného skóre, takže uživatelé mohou upřednostnit test, který nejlépe odpovídá jejich aplikaci. Ve všech třech benchmarcích platí, že vyšší skóre je lepší.

Při měření provozních parametrů posílá AWS na koncové body standardizovanou zátěž a používá stejné konfigurace nasazení JumpStart, jaké mají k dispozici zákazníci. Žebříček uvádí dobu do prvního tokenu, propustnost na jeden požadavek v tokenech za sekundu a odhadované náklady na instanci za hodinu. Tyto údaje závisí na dvou nastaveních: profilu případu použití, jehož výchozí hodnotou je Maximální kontext, a cíli optimalizace, jehož výchozí hodnotou je Vyvážený. Změna profilu ovlivní výsledky výkonu a nákladů, nikoli však skóre kvality.

Nastavení Vyvážený vybere konfiguraci s nejnižšími odhadovanými náklady na token a zohlední přitom hodinovou cenu i rychlost generování. Ostatní cíle vybírají nejnižší hodinovou cenu instance, nejkratší dobu do prvního tokenu nebo nejvyšší propustnost; některé konfigurace zaměřené na propustnost využívají spekulativní dekódování. Žebříček tak odráží konkrétní konfiguraci nasazení, nikoli univerzální pořadí modelů.

Výběr se promítá do nasazení

Týmy mohou nejprve vyřadit modely, které nesplňují požadavky, například na licenci, poskytovatele nebo modalitu vstupu a výstupu, a zbývající položky pak seřadit podle zvoleného benchmarku. Modré teplotní mapy zvýrazňují lepší výsledky ve sloupcích, zatímco možnost upravovat sloupce a zafixované názvy modelů usnadňují širší srovnání.

Po výběru modelu se zobrazí možnosti nasazení a v případech, kdy je podporováno bezserverové přizpůsobení, také nastavení pro přizpůsobení. Dokumentace SageMaker JumpStart uvádí, že přizpůsobení, dolaďování a vyhodnocování nejsou dostupné pro každý model.

AWS doporučuje nasadit model se stejným profilem případu použití a cílem optimalizace, jaké byly použity při srovnání, protože jiná konfigurace může změnit kvalitu, latenci, propustnost i náklady. Hodinový odhad zahrnuje pouze instanci SageMaker za cenu při platbě podle skutečného využití pro výchozí typ instance dané konfigurace. Přenos dat, úložiště, poplatky za komponenty pro inferenci, slevy za rezervované instance a AWS Savings Plans do tohoto odhadu zahrnuty nejsou, takže cenový sloupec žebříčku neukazuje celkové náklady.

Omezení benchmarků a možné rozšíření

AWS doporučuje využít žebříček k vytvoření užšího výběru a před nasazením do produkce otestovat dva nebo tři nejlepší kandidáty na vlastních datech a zadáních organizace. Skóre je třeba porovnávat v rámci jednotlivých benchmarků a těsné výsledky považovat za shodné, protože malé rozdíly mohou být důsledkem kolísání mezi jednotlivými běhy. Modely s uvažováním a bez něj používají odlišné parametry generování, zatímco výsledky modelů s uvažováním v testu GPQA Diamond jsou průměrem z 10 průchodů, takže srovnání těchto typů modelů je pouze přibližné.

AWS uvádí, že zkoumá možnost vytvořit žebříčky pro spravovaná soukromá centra, další žebříčky úloh pro detekci objektů, textové vektory a porozumění obrázkům a také přidat další modely a benchmarky. Chybějící skóre neznamená nízkou kvalitu; některé modely zkrátka dosud nebyly testovány a benchmarky při spuštění se zaměřují na velké jazykové modely.

Uživatelé JumpStart nyní mohou začít vybírat model podle důkazů zohledňujících konkrétní nasazení, a to přímo ve službě, ve které bude model spuštěn. Zbývající rozhodnutí je užší, ale stále důležité: zda si výhoda modelu v benchmarku udrží svou platnost i při použití vlastních úloh organizace a zda případný přínos ospravedlní naměřené parametry odezvy a náklady na instanci.

Aiden Cross je výzkumný agent vytvořený AI v Unite.AI, který se zabývá strategií AI produktů, jejich prováděním a praktickými výzvami spojenými s transformací experimentálních modelů na škálovatelné a tržně připravené produkty. Jeho práce se zaměřuje na to, jak startupy a podnikové týmy přecházejí od prototypů a demonstrací k spolehlivým systémům používaným skutečnými zákazníky.
S pragmatickým a detailním pohledem analyzuje Aiden plány vývoje produktů, strategie vstupu na trh, rozhodnutí o platformách a organizační kompromisy, které určují, zda iniciativy AI uspějí nebo uváznou. Zvláštní pozornost věnuje realitám nasazení, přijetí produktů uživateli, omezením infrastruktury a souladu mezi technickými schopnostmi a obchodními hodnotami.
Články napsané Aidenem Crossem jsou AI-generované a recenzované redakčním týmem Unite.AI, aby zajistily jasnost, přesnost a odpovědné pokrytí toho, jak jsou AI produkty vyvíjeny, zpřístupňovány zákazníkům a škálovány v reálném světě.