Модели и платформы ИИ
В Amazon SageMaker AI появился общедоступный маршрутизатор регионального переключения при сбое

Ключевые моментыМаршрутизатор переносит проектирование отказоустойчивости в SageMaker AI, но клиентам…
Показать больше
- Маршрутизатор переносит проектирование отказоустойчивости в SageMaker AI, но клиентам по-прежнему приходится платить за резервные мощности в другом месте.
- Оценки работоспособности игнорируют задержку модели, поэтому конечные точки, возвращающие успешные ответы, сохраняют свой трафик, несмотря на медлительность.
- Клиенты не могут задавать пороги весов или время переключения при отказе, поскольку маршрутизатор автоматически управляет всеми решениями о маршрутизации.
19 ноября 2026 года Amazon Web Services сделала общедоступной маршрутизацию запросов на инференс между регионами в Amazon SageMaker AI, благодаря чему приложения могут обращаться к одному маршрутизатору, чтобы использовать уже имеющиеся ресурсы для обслуживания моделей в разных регионах и аккаунтах AWS, когда в локальном регионе не хватает ресурсов.
Конечная точка SageMaker AI работает в одном регионе и одном аккаунте. Если автомасштабирование не может добавить экземпляр нужного типа, запросы могут задерживаться и завершаться по тайм-ауту, даже если в другом месте есть свободные ресурсы для той же модели. Раньше клиентам, использующим управляемые конечные точки, приходилось самостоятельно настраивать маршрутизацию между регионами, включая обнаружение сбоев, безопасные повторные попытки, обработку восстановления и доступ между аккаунтами.
Новый региональный маршрутизатор запросов на инференс использует именованную цель маршрутизации для каждой логической модели. Цель может объединять конечные точки для инференса в реальном времени и компоненты инференса в разных регионах и аккаунтах либо включать только асинхронные конечные точки. Приложение обращается к цели через маршрутизатор. Модели, конфигурации конечных точек, пулы экземпляров, контейнеры и автомасштабирование остаются без изменений, а прямые InvokeEndpoint вызовы продолжают работать. Маршрутизатор не создает ресурсы, не развертывает модели и не масштабирует конечные точки, поэтому каждая целевая конечная точка уже должна быть запущена в своем регионе.
Сигналы состояния определяют переключение при сбое
Маршрутизатор отдает предпочтение работоспособным целевым конечным точкам в своем регионе и равномерно распределяет запросы между несколькими работоспособными локальными конечными точками. Оценка состояния рассчитывается на основе недавних запросов в регионе каждой целевой конечной точки: ошибки сервера, ограничения частоты запросов и тайм-ауты снижают оценку, ошибки платформы снижают ее сильнее всего, а сбои, вызванные запросом, например неверными входными данными, на нее не влияют. Задержка модели не учитывается, поэтому конечная точка, которая продолжает успешно обрабатывать запросы, сохраняет свой трафик. SageMaker AI публикует healthy, overloaded и degraded состояния в CloudWatch; перегруженные целевые конечные точки теряют часть трафика, а конечные точки с ухудшившимися показателями сохраняют лишь небольшую долю трафика, чтобы маршрутизатор мог обнаружить восстановление.
По данным AWS, трафик начинает перенаправляться примерно через минуту после продолжительных сбоев, а для целевых конечных точек с небольшим трафиком это может занять больше времени. После восстановления трафик возвращается в течение нескольких минут. Клиенты не могут задавать веса, порядок переключения на резервные варианты, пороговые значения или сроки переключения при сбое. Если сведения о состоянии удаленных целевых конечных точек устаревают, маршрутизатор оставляет трафик в своем регионе.
При инференсе в реальном времени повторные попытки выполняются в более ограниченных случаях. Маршрутизатор делает еще одну попытку на другой целевой конечной точке только тогда, когда модель не запускалась, в том числе после ограничения частоты запросов, ошибки 503, если модель не готова, отклонения запроса из-за ограничения трафика или отказа в доступе к целевой конечной точке. Повторных попыток после тайм-аутов, ошибок 500 и ошибок модели не бывает. Асинхронные запросы по одному разу отправляются на каждую подходящую целевую конечную точку, начиная с локальных, пока одна из них не примет запрос.
В каждом ответе для инференса в реальном времени указывается обслуживающая конечная точка в InvokedRoutedResourceArn и предоставляется RoutingReason из local-preferred, capacity-available, failover или only-healthy. Метрики OpenTelemetry в CloudWatch включают данные о запросах и ошибках для каждой целевой конечной точки, длительности обработки на ней, сетевых накладных расходах маршрутизатора и межрегионального обмена, а также о состоянии. В асинхронных ответах целевая конечная точка не указывается, однако метрики CloudWatch показывают, куда были направлены запросы.
Ограничения ресурсов и контроля доступа остаются ответственностью владельцев конечных точек
Перенаправление избыточного трафика может привести к тому, что принимающая конечная точка начнет ограничивать частоту запросов. По умолчанию конечная точка для инференса в реальном времени принимает любой объем межрегионального трафика. Владелец может задать необязательное ограничение: проверенную нагрузочным тестированием частоту вызовов на экземпляр и максимальную долю ресурсов, доступную другим регионам. Допустимый объем зависит от числа работающих экземпляров, в том числе при изменениях, вызванных автомасштабированием. В примере AWS при 50 вызовах в секунду на экземпляр, ограничении в 20% и четырех экземплярах допускается 40 межрегиональных запросов в секунду; после добавления двух экземпляров их число увеличивается до 60.
В счет ограничения входят только запросы из других регионов; вызовы из региона самой конечной точки этот механизм никогда не ограничивает. Избыточные запросы отклоняются до запуска модели, после чего для них выполняется одна повторная попытка в другом месте; если ни одна целевая конечная точка не может их принять, приложение получает ошибку ограничения частоты запросов. Ограничение распространяется на все компоненты инференса конечной точки.
Для целевых конечных точек в других аккаунтах оба аккаунта должны разрешить запросы. Политика конечной точки может ограничить доступ одним указанным маршрутизатором, а сам маршрутизатор не предоставляет вызывающей стороне доступ к конечной точке, к которой она не могла бы обратиться напрямую.
Ограничения развертывания и стоимость
Сервис общедоступен в большинстве коммерческих регионов AWS, за исключением me-south-1 и me-central-1, для инференса в реальном времени и асинхронного инференса. Потоковую передачу ответов он не поддерживает. На получение ответа от целевой конечной точки для запросов в реальном времени отводится около минуты; размер таких запросов может достигать 6 МБ, а каждый маршрутизатор поддерживает до 20 целей маршрутизации и до 10 целевых конечных точек для каждой цели.
Сам маршрутизатор работает в одном регионе, поэтому AWS рекомендует создавать маршрутизаторы в двух регионах и переключаться между ними на стороне клиента, чтобы обеспечить отказоустойчивость точки входа. Границы размещения данных также нужно настраивать явно, поскольку запрос может обрабатываться в регионе маршрутизатора или в любом регионе зарегистрированной целевой конечной точки.
Дополнительная плата за маршрутизацию не взимается. Клиенты платят по стандартным тарифам за конечные точки SageMaker AI и компоненты инференса независимо от того, поступают ли запросы напрямую или через маршрутизатор, а также по стандартным тарифам CloudWatch за метрики маршрутизатора и запросы к ним.
Запуск переносит разработку механизмов переключения при сбое в SageMaker AI, оставляя клиентам решение главного компромисса в экономике вычислений: поддержание работы сервиса во время нехватки ресурсов в одном регионе по-прежнему зависит от оплаты и размещения доступных мощностей для инференса в другом регионе.












