Моделі та платформи ШІ
AWS додає до SageMaker JumpStart рейтинги якості, швидкості та вартості

Ключові моментиAWS зберігає оцінки бенчмарків окремо, щоб команди могли надавати пріоритет тесту, який…
Показати більше
- AWS зберігає оцінки бенчмарків окремо, щоб команди могли надавати пріоритет тесту, який має значення для їхнього застосунку.
- Рейтинги відображають обрану конфігурацію розгортання, а не універсальне впорядкування якості моделей.
- Оцінка погодинної вартості не включає передавання даних, зберігання та знижки, тому це не повний рахунок.
18 листопада 2026 року Amazon Web Services представила таблицю лідерів моделей Amazon SageMaker JumpStart, яка дає користувачам SageMaker Studio змогу переглядати в одному місці результати тестування, швидкодію відповідей і розрахункову вартість екземплярів для понад 70 моделей.
Цей запуск допомагає розв’язати проблему вибору, спричинену каталогом JumpStart, що містить сотні фундаментальних моделей із відкритими вагами: опубліковані результати можуть бути отримані з використанням різних запитів, налаштувань і обладнання, а поведінка моделей під час розгортання та вартість залежать від конфігурації. Нове подання таблиці лідерів розміщене поруч із розділами «Категорії» та «Усі моделі» на сторінці базових моделей JumpStart, одразу відкриває рейтинг великих мовних моделей і зберігає пошук та фільтри JumpStart. Під час запуску до переліку ввійшли моделі Meta, Google, Qwen, IBM і Arcee; таблиця має URL-адресу, якою можна поділитися.
Стандартизоване тестування та налаштування розгортання
За словами AWS, для всіх моделей, які вона тестує, кожне оцінювання відбувається з використанням спільної системи тестування та однакових налаштувань. Проводяться три тести: BIG-Bench Hard, що перевіряє багатокрокове міркування; GPQA Diamond, який містить наукові запитання рівня аспірантури, на які складно відповісти за допомогою вебпошуку; і MMLU-Pro, що перевіряє ширші знання та вміння міркувати за допомогою складніших запитань із кількома варіантами відповіді.
Показники не об’єднуються в загальний бал, а залишаються окремими, щоб користувачі могли визначити пріоритетність тесту, найважливішого для їхнього застосунку. У всіх трьох тестах вищий бал означає кращий результат.
Для вимірювання робочих характеристик AWS надсилає стандартизоване навантаження на кінцеві точки, використовуючи ті самі конфігурації розгортання JumpStart, які доступні клієнтам. У таблиці наведено час до першого токена, пропускну здатність на запит у токенах за секунду та розрахункову вартість екземпляра за годину. Ці показники залежать від двох параметрів: профілю використання, для якого за замовчуванням вибрано «Максимальний контекст», і цілі оптимізації, для якої типовим значенням є «Збалансований». Зміна профілю впливає на показники продуктивності та вартості, але не змінює оцінок якості.
Режим «Збалансований» вибирає конфігурацію з найнижчою розрахунковою вартістю за токен, зважаючи як на погодинну ціну, так і на швидкість генерації. Інші цілі оптимізації передбачають вибір найнижчої погодинної вартості екземпляра, найменшого часу до першого токена або найвищої пропускної здатності; у деяких конфігураціях із високою пропускною здатністю використовується спекулятивне декодування. Отже, рейтинг стосується конкретної конфігурації розгортання, а не є універсальним упорядкуванням моделей.
Вибір моделі враховується під час розгортання
Команди можуть спершу відфільтрувати моделі, що не відповідають таким вимогам, як ліцензія, постачальник або модальність вхідних і вихідних даних, а потім упорядкувати решту за вибраним тестом. Сині теплові карти виділяють кращі результати в стовпцях, а можливість налаштовувати стовпці та закріплені назви моделей спрощує ширше порівняння.
Якщо вибрати модель, відкриються параметри розгортання, а за наявності підтримки безсерверного налаштування — і відповідні елементи керування. У документації SageMaker JumpStart зазначено, що налаштування, тонке донавчання та оцінювання доступні не для кожної моделі.
AWS радить розгортати модель із тим самим профілем використання та ціллю оптимізації, які застосовувалися під час порівняння, оскільки інша конфігурація може змінити якість, затримку, пропускну здатність і вартість. Погодинна оцінка охоплює лише екземпляр SageMaker за тарифом на вимогу для типу екземпляра, установленого за замовчуванням у відповідній конфігурації. Передавання даних, зберігання, плата за компоненти виведення, знижки на Reserved Instances і AWS Savings Plans до цієї суми не входять, тому стовпець вартості в таблиці лідерів не відображає повного рахунку.
Обмеження тестування та можливе розширення
AWS радить використовувати таблицю для попереднього відбору моделей, а потім протестувати двох або трьох найкращих кандидатів на власних даних і запитах організації перед запуском у виробництво. Результати слід порівнювати в межах кожного тесту, а близькі показники вважати однаковими, оскільки невеликі відмінності можуть бути наслідком мінливості між запусками. Для моделей, що здатні міркувати, і моделей без такої здатності використовуються різні параметри генерації, а результати GPQA Diamond для моделей, що здатні міркувати, усереднюються за 10 проходами, тому порівняння цих типів моделей є приблизним.
AWS повідомляє, що вивчає можливість створення таблиць лідерів для відібраних приватних хабів, додаткових таблиць для завдань виявлення об’єктів, створення текстових вбудовувань і розуміння зображень, а також розширення переліку моделей і тестів. Відсутність оцінки не свідчить про низьку якість: деякі моделі просто ще не пройшли тестування, а під час запуску оцінювалися лише великі мовні моделі.
Тепер користувачі JumpStart можуть починати вибір моделі з даних, що стосуються конкретного розгортання, безпосередньо в сервісі, де працюватиме модель. Подальше рішення стає вужчим, але залишається важливим: чи збережеться перевага моделі за результатами тестування на власному навантаженні організації та чи виправдовують будь-які здобутки виміряні характеристики відповіді й вартість екземпляра.












