Модели и платформы ИИ
AWS добавила в SageMaker JumpStart рейтинги качества, скорости и стоимости

Ключевые моментыAWS хранит оценки бенчмарков отдельно, чтобы команды могли уделять приоритетное…
Показать больше
- AWS хранит оценки бенчмарков отдельно, чтобы команды могли уделять приоритетное внимание тесту, важному для их приложения.
- Рейтинги отражают выбранную конфигурацию развертывания, а не универсальный порядок качества моделей.
- Оценка почасовой стоимости не включает передачу данных, хранение и скидки, поэтому она не является полным счетом.
18 ноября 2026 года Amazon Web Services представила таблицу лидеров моделей Amazon SageMaker JumpStart, которая позволяет пользователям SageMaker Studio в одном месте просматривать результаты тестирования, показатели скорости отклика и расчетную стоимость инстансов для более чем 70 моделей.
Запуск помогает решить проблему выбора, возникшую из-за обширного каталога JumpStart, включающего сотни базовых моделей с открытыми весами: опубликованные результаты могут быть получены с использованием разных запросов, настроек и оборудования, а поведение и стоимость моделей при развертывании зависят от конфигурации. Новое представление «Таблица лидеров» находится рядом с разделами «Категории» и «Все модели» на странице базовых моделей JumpStart, сразу открывает рейтинги больших языковых моделей и сохраняет возможности поиска и фильтрации JumpStart. На момент запуска в рейтинге представлены Meta, Google, Qwen, IBM и Arcee; у него есть URL-адрес, которым можно поделиться.
Единообразные тесты и настройки развертывания
По словам AWS, для каждой модели, проходящей тестирование, компания использует единый набор средств оценки и одинаковые настройки. Проводятся три теста: BIG-Bench Hard, оценивающий многоэтапные рассуждения; GPQA Diamond, в котором используются научные вопросы уровня аспирантуры, на которые сложно ответить с помощью веб-поиска; и MMLU-Pro, проверяющий более широкий круг знаний и навыки рассуждения с помощью более сложных вопросов с вариантами ответов.
Результаты тестов не объединяются в сводную оценку, поэтому пользователи могут отдавать приоритет тесту, наиболее актуальному для их приложения. Во всех трех тестах более высокий результат означает лучший показатель.
Для оценки рабочих характеристик AWS отправляет стандартизированную нагрузку на конечные точки, используя те же конфигурации развертывания JumpStart, которые доступны клиентам. В рейтинге указываются время до получения первого токена, пропускная способность на запрос в токенах в секунду и расчетная стоимость инстанса за час. Эти показатели зависят от двух настроек: профиля сценария использования, для которого по умолчанию выбрано значение «Максимальный контекст», и цели оптимизации, для которой по умолчанию выбрано значение «Сбалансированный». Изменение профиля влияет на результаты по производительности и стоимости, но не меняет оценки качества.
При выборе значения «Сбалансированный» используется конфигурация с минимальной расчетной стоимостью токена с учетом как почасовой цены, так и скорости генерации. Другие цели оптимизации позволяют выбрать минимальную почасовую стоимость инстанса, минимальное время до получения первого токена или максимальную пропускную способность; в некоторых конфигурациях с высокой пропускной способностью используется спекулятивное декодирование. Таким образом, рейтинг отражает конкретную конфигурацию развертывания, а не универсальный порядок моделей.
Выбор модели учитывается при развертывании
Сначала команды могут исключить модели, не соответствующие таким требованиям, как лицензия, поставщик или тип входных и выходных данных, а затем отсортировать оставшиеся модели по выбранному тесту. Синие тепловые карты выделяют лучшие результаты в столбцах, а настраиваемые столбцы и закрепленные названия моделей упрощают сравнение большого числа моделей.
При выборе модели открываются параметры развертывания и, если поддерживается настройка бессерверных моделей, соответствующие средства настройки. В документации SageMaker JumpStart отмечается, что настройка, дообучение и оценка доступны не для каждой модели.
AWS рекомендует развертывать модель с тем же профилем сценария использования и той же целью оптимизации, которые использовались при сравнении, поскольку другая конфигурация может изменить качество, задержку, пропускную способность и стоимость. Почасовая оценка учитывает только инстанс SageMaker по тарифу по запросу для типа инстанса, выбранного по умолчанию в этой конфигурации. Передача данных, хранение, плата за компоненты инференса, скидки на зарезервированные инстансы и AWS Savings Plans в расчет не входят, поэтому цена в таблице лидеров не отражает полную сумму счета.
Ограничения тестов и возможное расширение
AWS рекомендует использовать рейтинг для составления короткого списка моделей, а затем до начала эксплуатации проверить двух или трех лидеров на собственных данных и запросах организации. Сравнивать результаты следует в рамках каждого отдельного теста, а близкие показатели считать равными, поскольку небольшие различия могут быть обусловлены вариациями между запусками. Для моделей с рассуждениями и без них используются разные параметры генерации, а результаты GPQA Diamond для моделей с рассуждениями усредняются по 10 проходам, поэтому сравнение этих типов моделей носит приблизительный характер.
По словам AWS, компания изучает возможность создания рейтингов для тщательно подобранных частных хабов, дополнительных рейтингов для задач обнаружения объектов, построения текстовых эмбеддингов и понимания изображений, а также добавления новых моделей и тестов. Отсутствие результата не означает низкое качество: некоторые модели еще не прошли тестирование, а тесты, проводимые на момент запуска, охватывают только большие языковые модели.
Теперь пользователи JumpStart могут начинать выбор модели с данных, относящихся к конкретной конфигурации развертывания, прямо в сервисе, где эта модель будет работать. Круг вопросов при принятии решения становится уже, но оно по-прежнему имеет большое значение: сохраняет ли преимущество модели в тестах актуальность при использовании собственных рабочих нагрузок организации и оправдывает ли прирост ее измеренные показатели отклика и стоимость инстанса.












