Modele i platformy AI
AWS włącza domyślne monitorowanie punktów końcowych wnioskowania SageMaker AI

Kluczowe punktyDomyślne monitorowanie flaguje dryf opóźnień i bezczynne GPU bez wymagania od…
Zobacz więcej
- Domyślne monitorowanie flaguje dryf opóźnień i bezczynne GPU bez wymagania od użytkowników wcześniejszego ustawiania progów.
- Wyniki otwierają agentowy przepływ pracy SageMaker Studio, który testuje alternatywy na oddzielnych zasobach obliczeniowych przed zmianami produkcyjnymi.
- Monitorowanie jest wolne od dodatkowych kosztów GPU i można je wyłączyć za pomocą zmiennej środowiskowej OPT_OUT_TRACKING.
Amazon Web Services (AWS) włączyła 19 listopada 2026 r. domyślne monitorowanie kwalifikujących się punktów końcowych wnioskowania generatywnej AI w Amazon SageMaker AI, dodając alerty AWS Health dotyczące zmian opóźnień, niewykorzystanej przepustowości GPU i pominiętych optymalizacji obsługi.
Monitorowanie nie wymaga konfiguracji w przypadku punktów końcowych korzystających z kontenerów obsługujących vLLM i instancji GPU. Odczytuje dane o opóźnieniach na poziomie punktu końcowego, wykorzystaniu GPU i konfiguracji obsługi, ale nie treść żądań ani odpowiedzi. Ma wykrywać stopniowe zmiany po wdrożeniu, gdy zmieniają się natężenie ruchu, długość promptów, oprogramowanie obsługujące i wymagania modelu dotyczące zasobów.
Ogłoszenie rozszerza zalecenia dotyczące optymalizacji wnioskowania generatywnej AI, które AWS wprowadziła 22 kwietnia 2026 r. Ten proces pozwala użytkownikom wybrać koszt, opóźnienie lub przepustowość jako cel, porównać maksymalnie trzy typy instancji i przetestować konfiguracje na rzeczywistych procesorach GPU za pomocą NVIDIA AIPerf. Umożliwia również testowanie istniejących punktów końcowych działających w środowisku produkcyjnym; nowa warstwa dodaje ciągłe monitorowanie i powiadomienia do procesu decyzyjnego inicjowanego przez użytkownika.
Co wykrywa monitorowanie
Alerty o zmianach opóźnień porównują medianę (p50) opóźnienia od początku do końca oraz medianę czasu do pierwszego tokenu z wynikami tego samego punktu końcowego z poprzedniego tygodnia. Ponieważ punktem odniesienia są dane historyczne, użytkownicy nie muszą wcześniej ustalać progu. W ramach testu porównawczego sprawdzane są ustawienia równoległości tensorowej oraz alternatywne typy i rozmiary instancji.
Pozostałe alerty dotyczą procesorów GPU, które pozostają znacznie poniżej pełnego wykorzystania, obsługiwanego, lecz wyłączonego dekodowania spekulatywnego, niedostrojonych jąder GPU oraz kontenerów obsługujących, w których brakuje nowszych usprawnień wydajności lub poprawek krytycznych i poważnych luk w zabezpieczeniach. W przypadku niewykorzystanej przepustowości test porównawczy sprawdza tańsze typy instancji i mniejsze rozmiary przy zaobserwowanym szczytowym natężeniu ruchu. Testy konfiguracji porównują bieżące ustawienia z konfiguracją obejmującą — zależnie od sytuacji — włączone dekodowanie spekulatywne, dostrojone jądra lub zaktualizowany kontener.
Przykłady AWS to ilustracje pokazujące przebieg działania, a nie pomiary obejmujące całą flotę: w jednym z nich mediana czasu do pierwszego tokenu wzrosła w ciągu tygodnia o około 200 milisekund, a w innym nawet najbardziej obciążony procesor GPU wykorzystywał przez większą część tygodnia nie więcej niż 12% swojej przepustowości.
Od alertu Health do testu porównawczego
Alerty są przekazywane przez AWS Health i pocztą elektroniczną. Każdy punkt końcowy otrzymuje w danej chwili najwyżej jedno powiadomienie obejmujące wszystkie dotyczące go alerty, AWS ogranicza liczbę powiadomień otrzymywanych jednocześnie przez konto, a powiadomienia dotyczą konkretnego regionu AWS, w którym znajduje się punkt końcowy.
Powiadomienie informuje, co zaobserwowano, jakie ma to znaczenie dla opóźnień, przepustowości lub kosztów, oraz zaleca działanie; szacunki są wyraźnie oznaczane jako szacunki. Powiadomienie przedstawia obserwację, a nie wynik ukończonego testu porównawczego. Wybranie zalecanego działania otwiera w SageMaker Studio środowisko z agentem, w którym wstępnie uzupełniono informacje o punkcie końcowym i zaobserwowanym ruchu.
Po potwierdzeniu przez użytkownika agent generuje edytowalny notes SageMaker Python SDK, korzystając z modelu danego punktu końcowego i profilu ruchu opracowanego na podstawie jego metryk. W notesie zadanie rekomendacyjne jest oznaczane identyfikatorem zdarzenia AWS Health, co pozwala powiązać wyniki z alertem. Zadanie porównuje bieżącą konfigurację z alternatywami pod względem czasu odpowiedzi, przepustowości i kosztu miliona tokenów, wykorzystując oddzielne zasoby obliczeniowe; środowisko produkcyjne pozostaje bez zmian, dopóki użytkownik nie zastosuje wybranego wyniku.
AWS zaleca najpierw zastosować wybraną konfigurację w jednym wariancie środowiska produkcyjnego, zachowując dotychczasową konfigurację na wypadek konieczności przywrócenia poprzednich ustawień. Wstrzymanie działania lub odrzucenie alertu również jest normalnym rozwiązaniem, a powiadomienie pozostaje w historii zdarzeń AWS Health.
Koszty i opcje rezygnacji
Monitorowanie nie wiąże się z dodatkowymi kosztami GPU. Testy porównawcze są rozliczane według standardowych stawek SageMaker AI albo w ramach istniejącej rezerwacji na potrzeby uczenia maszynowego. Podjęcie działania w reakcji na alert wymaga domeny SageMaker Studio, uprawnień AWS Identity and Access Management do uruchamiania zadań rekomendacyjnych i aktualizowania punktów końcowych oraz odpowiedniego limitu przydziału instancji testowych.
Klienci mogą zarządzać dostarczaniem powiadomień za pomocą AWS User Notifications i opcjonalnie planować cykliczne rekomendacje, na przykład co miesiąc. Ustawienie OPT_OUT_TRACKING zmiennej środowiskowej w kontenerze modelu zatrzymuje gromadzenie metryk silnika, metryk GPU i szczegółów konfiguracji uruchamiania danego punktu końcowego, a także zapobiega wysyłaniu dotyczących go powiadomień.
Obsługa danej optymalizacji nie gwarantuje korzyści. AWS informuje, że wyniki dekodowania spekulatywnego zależą od współbieżności oraz długości promptów i odpowiedzi, a także mogą się różnić przy szczytowym i pozaszczytowym natężeniu ruchu. To rozróżnienie określa praktyczną rolę tej funkcji: domyślna telemetria sygnalizuje problem, a test porównawczy pozwala ustalić, czy potencjalne oszczędności lub przyspieszenie rzeczywiście wystąpią przy istotnym natężeniu ruchu.












