Modele i platformy AI
AWS dodaje rankingi jakości, szybkości i kosztów do SageMaker JumpStart

Kluczowe punktyAWS oddziela wyniki testów porównawczych, aby zespoły mogły priorytetowo traktować test…
Zobacz więcej
- AWS oddziela wyniki testów porównawczych, aby zespoły mogły priorytetowo traktować test istotny dla ich aplikacji.
- Rankingi odzwierciedlają wybraną konfigurację wdrożenia, a nie uniwersalne uporządkowanie jakości modeli.
- Szacunkowy koszt godzinowy nie obejmuje transferu danych, przechowywania i rabatów, więc nie jest pełnym rachunkiem.
18 listopada 2026 r. Amazon Web Services wprowadziło ranking modeli Amazon SageMaker JumpStart, zapewniając użytkownikom SageMaker Studio jeden widok wyników testów porównawczych, wydajności odpowiedzi i szacunkowych kosztów instancji dla ponad 70 modeli.
Nowa funkcja rozwiązuje problem wyboru wynikający z katalogu JumpStart obejmującego setki modeli bazowych o otwartych wagach: opublikowane wyniki mogą pochodzić z różnych promptów, ustawień i konfiguracji sprzętowych, a zachowanie modeli po wdrożeniu i ich koszt zależą od konfiguracji. Nowy widok rankingu znajduje się obok kart Categories i All models na stronie modeli bazowych JumpStart, otwiera się bezpośrednio w rankingu dużych modeli językowych i zachowuje funkcje wyszukiwania oraz filtrowania JumpStart. W rankingu uwzględniono modele firm Meta, Google, Qwen, IBM i Arcee, a sam ranking ma adres URL, który można udostępniać.
Spójne testy i ustawienia wdrożenia
AWS informuje, że każdy test porównawczy przeprowadza przy użyciu wspólnego zestawu narzędzi ewaluacyjnych i jednakowych ustawień dla wszystkich testowanych modeli. Wykorzystuje trzy testy: BIG-Bench Hard, obejmujący rozumowanie wieloetapowe; GPQA Diamond, oparty na pytaniach z nauk ścisłych na poziomie studiów magisterskich, na które trudno odpowiedzieć za pomocą wyszukiwarek internetowych; oraz MMLU-Pro, który sprawdza szerszą wiedzę i umiejętność rozumowania za pomocą trudniejszych pytań wielokrotnego wyboru.
Wyniki są podawane oddzielnie, a nie łączone w jeden zbiorczy wskaźnik, dzięki czemu użytkownicy mogą nadać priorytet testowi najbardziej istotnemu dla ich zastosowania. We wszystkich trzech testach wyższy wynik oznacza lepszy rezultat.
Aby zmierzyć parametry operacyjne, AWS przesyła standaryzowane obciążenie do punktów końcowych skonfigurowanych tak samo jak wdrożenia JumpStart dostępne dla klientów. Ranking podaje czas do wygenerowania pierwszego tokenu, przepustowość na żądanie w tokenach na sekundę oraz szacunkowy koszt instancji za godzinę. Wartości te zależą od dwóch ustawień: profilu zastosowania, który domyślnie jest ustawiony na „Maksymalny kontekst”, oraz celu optymalizacji, który domyślnie jest ustawiony na „Zrównoważony”. Zmiana profilu wpływa na wyniki wydajności i kosztów, ale nie zmienia wyników jakościowych.
Ustawienie „Zrównoważony” wybiera konfigurację o najniższym szacunkowym koszcie na token, uwzględniając zarówno cenę za godzinę, jak i szybkość generowania. Pozostałe cele wskazują konfigurację o najniższej stawce godzinowej za instancję, najkrótszym czasie do wygenerowania pierwszego tokenu lub najwyższej przepustowości; w niektórych konfiguracjach nastawionych na przepustowość stosuje się dekodowanie spekulatywne. Oznacza to, że ranking dotyczy konkretnej konfiguracji wdrożenia, a nie uniwersalnego uporządkowania modeli.
Wybór modelu można kontynuować podczas wdrożenia
Zespoły mogą najpierw wykluczyć modele niespełniające wymagań dotyczących na przykład licencji, dostawcy lub obsługiwanych typów danych wejściowych i wyjściowych, a następnie posortować pozostałe pozycje według wybranego testu porównawczego. Niebieskie mapy cieplne wyróżniają lepsze wyniki w poszczególnych kolumnach, a możliwość dostosowania kolumn i zamrożenia nazw modeli ułatwia porównywanie większej liczby pozycji.
Wybranie modelu otwiera opcje wdrożenia, a w przypadku modeli obsługujących dostosowywanie bezserwerowe — także odpowiednie ustawienia. Dokumentacja SageMaker JumpStart wskazuje, że dostosowywanie, dostrajanie i ewaluacja nie są dostępne dla każdego modelu.
AWS zaleca wdrażanie modelu z tym samym profilem zastosowania i celem optymalizacji, które wybrano podczas porównywania, ponieważ inna konfiguracja może zmienić jakość, opóźnienie, przepustowość i koszt. Szacunek godzinowy obejmuje wyłącznie instancję SageMaker, według stawki za użycie na żądanie dla domyślnego typu instancji w danej konfiguracji. Nie uwzględnia transferu danych, pamięci masowej, opłat za komponenty wnioskowania, zniżek na instancje zarezerwowane ani AWS Savings Plans, dlatego cena w rankingu nie odzwierciedla całkowitego rachunku.
Ograniczenia testów porównawczych i możliwe rozszerzenia
AWS zaleca wykorzystanie rankingu do utworzenia krótkiej listy modeli, a następnie przetestowanie dwóch lub trzech najlepszych kandydatów na własnych danych i promptach organizacji przed wdrożeniem produkcyjnym. Wyniki należy porównywać w obrębie każdego testu, a zbliżone rezultaty traktować jako remis, ponieważ niewielkie różnice mogą wynikać ze zmienności między kolejnymi uruchomieniami. Modele rozumujące i nierozumujące korzystają z różnych parametrów generowania, a wyniki modeli rozumujących w teście GPQA Diamond są uśredniane z 10 przebiegów. Dlatego porównania tych typów modeli mają charakter przybliżony.
AWS informuje, że rozważa utworzenie rankingów dla wyselekcjonowanych prywatnych centrów, dodatkowych rankingów zadań dotyczących wykrywania obiektów, osadzeń tekstowych i rozumienia obrazów, a także uwzględnienie większej liczby modeli i testów porównawczych. Brak wyniku nie oznacza niskiej jakości — niektóre modele po prostu nie zostały jeszcze przetestowane, a testy udostępnione wraz z premierą koncentrują się na dużych modelach językowych (LLM).
Użytkownicy JumpStart mogą teraz rozpocząć wybór modelu od sprawdzenia danych dotyczących konkretnego wdrożenia w ramach usługi, w której model będzie działać. Ostateczna decyzja jest węższa, ale nadal istotna: czy przewaga modelu w testach porównawczych utrzyma się w przypadku obciążeń organizacji oraz czy ewentualny wzrost wydajności uzasadnia zmierzone parametry odpowiedzi i koszt instancji.












