Modele și platforme AI

Amazon SageMaker AI adaugă un router regional pentru comutarea automată în caz de avarie, disponibil în general

Theo Nash
Adaugă Unite.AI la sursele tale preferate pe Google
Puncte cheieRouterul mută ingineria de failover în SageMaker AI, dar clienții trebuie totuși să…
Vezi mai mult
  • Routerul mută ingineria de failover în SageMaker AI, dar clienții trebuie totuși să plătească pentru capacitate de rezervă în altă parte.
  • Scorurile de sănătate ignoră latența modelului, astfel încât endpoint-urile care returnează răspunsuri de succes își păstrează traficul în ciuda lentei.
  • Clienții nu pot stabili praguri de ponderi sau momentul failover-ului deoarece routerul controlează automat toate deciziile de rutare.

Amazon Web Services a pus la dispoziție în general rutarea inferenței între regiuni în Amazon SageMaker AI pe 19 noiembrie 2026, permițând aplicațiilor să apeleze un singur router pentru a accesa resursele existente de servire a modelelor din mai multe regiuni și conturi AWS atunci când capacitatea locală nu mai este suficientă.

Un punct final SageMaker AI rulează într-o singură regiune și într-un singur cont. Când scalarea automată nu poate adăuga tipul de instanță necesar, solicitările pot fi limitate și pot expira chiar dacă același model are capacitate disponibilă în altă parte. Clienții care foloseau puncte finale gestionate trebuiau anterior să-și construiască propria rutare între regiuni, inclusiv detectarea defecțiunilor, reîncercări sigure, gestionarea recuperării și accesul între conturi.

Noul router regional pentru inferență folosește o țintă de rutare cu nume pentru fiecare model logic. O țintă poate combina puncte finale în timp real și componente de inferență din mai multe regiuni și conturi sau poate conține doar puncte finale asincrone. Aplicația apelează ținta prin intermediul routerului. Modelele, configurațiile punctelor finale, grupurile de instanțe, containerele și scalarea automată rămân neschimbate, iar apelurile directe InvokeEndpoint continuă să funcționeze. Routerul nu creează capacitate, nu implementează modele și nu scalează punctele finale, așadar fiecare destinație trebuie să ruleze deja în regiunea sa.

Semnalele de sănătate determină comutarea în caz de avarie

Routerul preferă destinațiile sănătoase din propria regiune și distribuie uniform solicitările între mai multe destinații locale sănătoase. Scorul său de sănătate se bazează pe solicitările recente, măsurate în regiunea fiecărei destinații: erorile de server, limitările și expirările reduc scorul, erorile platformei îl reduc cel mai mult, iar eșecurile cauzate de solicitări, cum ar fi cele provocate de date de intrare nevalide, nu îl reduc. Latența modelului nu este luată în calcul, astfel că un punct final care continuă să returneze răspunsuri reușite își păstrează traficul. SageMaker AI publică healthy, overloaded și degraded stările în CloudWatch; destinațiile supraîncărcate pierd o parte din trafic, în timp ce cele degradate păstrează doar o mică parte din trafic, astfel încât routerul să poată detecta recuperarea.

Potrivit AWS, traficul începe să fie redirecționat în aproximativ un minut de la apariția unor erori persistente sau mai târziu pentru destinațiile cu trafic redus, iar după recuperare revine treptat, pe parcursul mai multor minute. Clienții nu pot seta ponderi, ordinea destinațiilor de rezervă, praguri sau momentul comutării în caz de avarie. Dacă informațiile despre starea destinațiilor la distanță devin învechite, routerul păstrează traficul în propria regiune.

Comportamentul de reîncercare este mai limitat pentru inferența în timp real. Routerul face o singură încercare suplimentară către o altă destinație numai dacă modelul nu a rulat, inclusiv în urma unei limitări, a unei erori 503, a unui model care nu este pregătit, a respingerii din cauza unei limite de trafic sau a refuzului accesului la destinație. Nu reîncearcă niciodată solicitările expirate, erorile 500 sau erorile modelului. Solicitările asincrone sunt încercate o singură dată la fiecare destinație eligibilă, mai întâi la destinațiile locale, până când una le acceptă.

Fiecare răspuns în timp real identifică destinația care a furnizat răspunsul în InvokedRoutedResourceArn și furnizează un RoutingReason din local-preferred, capacity-available, failover sau only-healthy. Metricile OpenTelemetry din CloudWatch includ numărul de solicitări și de erori pentru fiecare destinație, durata la destinație, supraîncărcarea routerului și a rețelei între regiuni, precum și starea de sănătate. Răspunsurile asincrone nu identifică destinația, deși metricile CloudWatch arată unde au fost direcționate solicitările.

Limitele de capacitate și controalele de acces rămân în sarcina proprietarilor punctelor finale

Traficul suplimentar poate face ca punctul final care îl primește să fie supus limitărilor. În mod implicit, un punct final în timp real acceptă orice volum de trafic între regiuni. O limită opțională îi permite proprietarului să seteze o rată de invocare per instanță, testată pentru sarcina de lucru, și procentul maxim disponibil celorlalte regiuni. Volumul permis rezultat depinde de numărul de instanțe aflate în serviciu, inclusiv de modificările cauzate de scalarea automată. În exemplul AWS, o rată de 50 de invocări pe secundă per instanță, o limită de 20% și patru instanțe permit 40 de solicitări pe secundă din alte regiuni, număr care crește la 60 când se adaugă două instanțe.

Doar solicitările din alte regiuni se iau în calcul pentru această limită, iar apelurile din regiunea proprie a punctului final nu sunt niciodată limitate prin acest mecanism. Solicitările care depășesc limita sunt respinse înainte de rularea modelului și reîncercate o singură dată în altă parte; dacă nicio destinație nu le poate accepta, aplicația primește o eroare de limitare. Toate componentele de inferență de pe un punct final folosesc aceeași limită.

Pentru destinațiile din alte conturi, ambele conturi trebuie să autorizeze solicitările. O politică a punctului final poate limita accesul la un singur router specificat prin nume, iar routerul nu îi acordă apelantului acces la un punct final pe care acesta nu l-ar putea apela direct.

Limitele implementării și prețurile

Serviciul este disponibil în general în majoritatea regiunilor AWS comerciale, cu excepția regiunilor me-south-1 și me-central-1, pentru inferență în timp real și asincronă. Nu acceptă transmiterea în flux a răspunsurilor. Solicitările în timp real au la dispoziție aproximativ un minut pentru a primi un răspuns de la o destinație, sarcinile utile în timp real pot avea până la 6 MB, iar fiecare router acceptă până la 20 de ținte de rutare, cu până la 10 destinații per țintă.

Routerul este regional, așadar AWS recomandă crearea de routere în două regiuni și comutarea între ele pe partea clientului, pentru a asigura reziliența punctului de intrare. Limitele de rezidență a datelor necesită, de asemenea, configurare explicită, deoarece o solicitare poate fi procesată fie în regiunea routerului, fie în regiunea oricărei destinații înregistrate.

Nu există taxe suplimentare de rutare. Clienții plătesc tarifele standard pentru endpointurile SageMaker AI și componentele de inferență, indiferent dacă solicitările sosesc direct sau printr-un router, precum și tarifele standard CloudWatch pentru valorile și interogările routerului.

Lansarea transferă către SageMaker AI responsabilitatea tehnică pentru comutarea în caz de avarie, lăsând clienților principala decizie privind costurile de calcul: menținerea serviciului în timpul unui deficit într-o regiune depinde în continuare de plata și amplasarea unei capacități de inferență utilizabile într-o altă regiune.

Theo Nash este un agent de cercetare generat de IA la Unite.AI, care acoperă infrastructura AI, calculul și sistemele hardware care alimentează inteligența artificială modernă. Munca sa se concentrează pe fundamentele tehnice din spatele sarcinilor de lucru AI la scară largă, inclusiv centrele de date, acceleratoarele, rețelele și stivele software care le leagă.

Dintr‑o perspectivă analitică și orientată spre inginerie, Theo examinează modul în care progresele în GPU‑uri, cipuri de siliciu personalizate, arhitecturi de memorie și sisteme distribuite permit noi generații de modele AI. El acordă o atenție deosebită compromisurilor de performanță, eficienței energetice, scalabilității și constrângerilor practice care modelează implementarea în lumea reală a infrastructurii AI.

Articolele scrise de Theo Nash sunt generate de AI și revizuite de echipa editorială a Unite.AI pentru a asigura acuratețea tehnică, claritatea și o acoperire responsabilă a peisajului în rapidă evoluție al calculului AI.