Модели и платформы ИИ
AWS включает мониторинг по умолчанию для конечных точек инференса SageMaker AI

Ключевые моментыМониторинг по умолчанию выявляет дрейф задержки и простаивающие GPU, не требуя от…
Показать больше
- Мониторинг по умолчанию выявляет дрейф задержки и простаивающие GPU, не требуя от пользователей предварительной настройки пороговых значений.
- Результаты открывают агентный рабочий процесс SageMaker Studio, который оценивает альтернативы на отдельных вычислительных ресурсах до внесения изменений в производственную среду.
- Мониторинг не требует дополнительных затрат на GPU и может быть отключён с помощью переменной среды OPT_OUT_TRACKING.
Amazon Web Services (AWS) 19 ноября 2026 года включила мониторинг по умолчанию для соответствующих конечных точек инференса генеративного ИИ Amazon SageMaker AI. Он добавляет сведения AWS Health об отклонении задержки, неиспользуемых мощностях GPU и упущенных возможностях оптимизации обслуживания моделей.
Для конечных точек, использующих контейнеры обслуживания vLLM и экземпляры с GPU, настройка мониторинга не требуется. Он отслеживает задержку на уровне конечной точки, загрузку GPU и конфигурацию обслуживания, но не содержимое запросов или ответов. Мониторинг предназначен для выявления постепенных отклонений после развертывания, когда меняются трафик, длина промптов, программное обеспечение для обслуживания моделей и требования моделей к ресурсам.
Это объявление дополняет рекомендации по оптимизации инференса генеративного ИИ, которые AWS представила 22 апреля 2026 года. Этот процесс позволяет пользователям выбрать в качестве цели стоимость, задержку или пропускную способность, сравнить до трех типов экземпляров и протестировать конфигурации на реальных GPU с помощью NVIDIA AIPerf. Он также поддерживает тестирование уже работающих в производственной среде конечных точек; новый уровень добавляет к этому процессу принятия решений по инициативе пользователя постоянное наблюдение и уведомления.
Что выявляет мониторинг
При выявлении отклонений задержки сравниваются медианная сквозная задержка (p50) и медианное время до получения первого токена с показателями самой конечной точки за предыдущую неделю. Поскольку в качестве базового уровня используются исторические данные, пользователям не нужно заранее задавать пороговое значение. В рамках последующего тестирования проверяются настройки тензорного параллелизма, а также альтернативные типы и размеры экземпляров.
Другие сведения касаются GPU, которые используются значительно ниже своей мощности, поддерживаемого, но отключенного спекулятивного декодирования, неоптимизированных ядер GPU, а также контейнеров обслуживания, в которых отсутствуют более новые улучшения производительности или исправления критических уязвимостей и уязвимостей высокой степени серьезности. Если мощности используются не полностью, тестирование проверяет более дешевые типы экземпляров и меньшие размеры при наблюдаемом пиковом трафике. При проверке конфигурации текущая настройка сравнивается с вариантами, в которых включено спекулятивное декодирование, оптимизированы ядра или обновлен контейнер, если это применимо.
Примеры AWS — это иллюстрации пошаговых сценариев, а не измерения по всему парку систем: в одном случае медианное время до получения первого токена увеличивается примерно на 200 миллисекунд по сравнению с предыдущей неделей, а в другом даже самый загруженный GPU использует не более 12% своей мощности на протяжении большей части недели.
От уведомления о проблеме к тестированию
Сведения о проблемах поступают через AWS Health и по электронной почте. Для каждой конечной точки одновременно отправляется не более одного уведомления, охватывающего все применимые сведения. AWS ограничивает количество уведомлений, которые аккаунт может получить одновременно; уведомления привязаны к региону AWS, в котором находится конечная точка.
В уведомлении указано, что было обнаружено, почему это важно для задержки, мощностей или затрат, а также какие действия рекомендуются; оценочные значения обозначены как оценки. Это сообщение о наблюдении, а не результат завершенного тестирования. Нажатие на рекомендуемое действие открывает агентный сценарий в SageMaker Studio, где уже указаны конечная точка и наблюдавшийся для нее трафик.
После подтверждения пользователем агент создает редактируемый блокнот SageMaker Python SDK, используя модель конечной точки и профиль трафика, составленный на основе ее метрик. Заданию, выполняющему рекомендацию, в блокноте присваивается метка с событием AWS Health, чтобы результаты можно было связать с обнаруженной проблемой. Задание сравнивает текущую конфигурацию с альтернативами по времени отклика, пропускной способности и стоимости на миллион токенов, используя отдельные вычислительные ресурсы; производственная конфигурация не меняется, пока пользователь не применит результат.
AWS рекомендует сначала применить выбранную конфигурацию к одному производственному варианту, сохранив текущую конфигурацию для отката. Оставить сведения о проблеме без изменений или отклонить их — тоже нормальный исход; уведомление при этом остается в истории событий AWS Health.
Затраты и возможность отключения
Мониторинг не влечет дополнительных затрат на GPU. За тестирование взимается стандартная плата SageMaker AI либо используется уже имеющаяся резервация ресурсов машинного обучения. Чтобы действовать на основании обнаруженной проблемы, необходимы домен SageMaker Studio, разрешения AWS Identity and Access Management на запуск заданий с рекомендациями и обновление конечных точек, а также достаточная квота на экземпляры для тестирования.
Клиенты могут управлять доставкой уведомлений через AWS User Notifications и при желании планировать регулярные рекомендации, например ежемесячные запуски. Установка OPT_OUT_TRACKING переменной среды в контейнере модели прекращает сбор метрик движка, метрик GPU и сведений о конфигурации запуска для соответствующей конечной точки, а также отключает уведомления о ней.
Поддержка оптимизации не гарантирует улучшения. По словам AWS, результаты спекулятивного декодирования зависят от уровня параллелизма, а также длины промптов и ответов и могут различаться при пиковом и непиковом трафике. Это определяет практическую роль функции: телеметрия, включенная по умолчанию, предупреждает о проблеме, а тестирование позволяет проверить, действительно ли возможная экономия или ускорение достигаются при значимом уровне трафика.












