Modele și platforme AI

AWS adaugă NVIDIA Dynamo gestionat la inferența SageMaker HyperPod

Theo Nash
Adaugă Unite.AI la sursele tale preferate pe Google
Puncte cheieTopologia disagregată a Dynamo permite scalarea independentă a pool-urilor de prefill…
Vezi mai mult
  • Topologia disagregată a Dynamo permite scalarea independentă a pool-urilor de prefill și decode, în timp ce ambele încarcă în continuare ponderile complete ale modelului.
  • Câștigul de debit de 2,05 ori al AWS compară rezultate limitate de latență la niveluri diferite de concurență, nu maxime neconstrânse.
  • HyperPod gestionat automatizează coordonarea și recuperarea, dar lasă compromisurile de topologie și alocare a GPU-urilor în seama comportamentului măsurat al sarcinii de lucru.

Amazon Web Services a anunțat pe 17 noiembrie 2026 că SageMaker HyperPod Inference acceptă acum NVIDIA Dynamo pentru servirea gestionată a modelelor pe mai multe noduri și în arhitectură dezagregată, alături de rezultate de benchmark care arată un debit agregat maxim eligibil de tokenuri generate per GPU de 2,05 ori mai mare, în limitele de latență stabilite de AWS.

Această adăugare răspunde la două constrângeri în servirea modelelor lingvistice de mari dimensiuni: încadrarea ponderilor modelului și a cache-ului reutilizabil cheie-valoare (KV) în memoria GPU și împiedicarea procesării prompturilor lungi să încetinească generarea de tokenuri atunci când ambele folosesc aceleași GPU-uri. AWS ilustrează presiunea asupra memoriei cu GLM-5.3, ale cărui ponderi în virgulă mobilă pe 8 biți (FP8), singure, depășesc cei 640 GB de memorie GPU disponibili pe ml.p5.48xlarge o instanță înainte de a include cache-ul KV și memoria suplimentară necesară în timpul execuției.

HyperPod furnizează infrastructura gestionată din jurul cadrului de lucru: rețelistică Elastic Fabric Adapter (EFA), programare coordonată a GPU-urilor, monitorizarea stării nodurilor, GPU-urilor și EFA, precum și înlocuirea nodurilor. HyperPod gestionează această înlocuire, în timp ce componentele de orchestrare recreează lucrătorii afectați.

Servire dezagregată și rutare conștientă de cache-ul KV

Dynamo este un cadru de lucru distribuit, cu cod sursă deschis, pentru inferență, compatibil cu vLLM, SGLang și TensorRT-LLM. Arhitectura sa dezagregată folosește un front-end pentru a direcționa cererile către lucrătorii de preumplere, care procesează prompturile, și către lucrătorii de decodare, care generează tokenuri. Aceste grupuri pot fi scalate și optimizate independent, însă ambele încarcă toate ponderile modelului; cache-ul KV este transferat între ele prin EFA.

În servirea agregată, ambele etape rulează în același lucrător. În oricare dintre arhitecturi, lucrătorii pot rula pe o singură instanță sau se pot întinde pe mai multe instanțe, folosind paralelismul tensorial și paralelismul pe pipeline pentru a distribui modelul între GPU-uri. Routerul Dynamo, conștient de cache-ul KV, ține cont de cache-ul reutilizabil al prefixelor și de încărcarea lucrătorilor activi. Potrivit AWS, reutilizarea prefixelor poate reduce recalcularea prompturilor și îmbunătăți timpul până la primul token, iar monitorizarea încărcării ajută la evitarea supraîncărcării lucrătorilor individuali.

Benchmarkuri cu constrângeri de latență

Comparația pentru Qwen3-235B-A22B-FP8 a folosit Dynamo și TensorRT-LLM pe două p5en.48xlarge instanțe, cu un total de 16 GPU-uri H200. AIPerf a generat cereri care conțineau 4.000 de tokenuri de intrare și 200 de tokenuri de ieșire. AWS a păstrat doar valorile măsurate pentru care timpul până la primul token, la percentila 90, era sub o secundă, iar viteza mediană de generare era de cel puțin 50 de tokenuri pe secundă per utilizator.

AWS a raportat că servirea dezagregată a atins 207 tokenuri generate pe secundă per GPU la concurența 80, față de 101 la concurența 32 pentru cel mai mare rezultat agregat eligibil. Prin urmare, comparația se referă la debitul în condiții de latență limitată, la niveluri diferite de concurență, și nu la debitul maxim fără restricții pentru niciuna dintre arhitecturi.

Un test separat pentru Qwen3.5-397B-A17B-FP8 a folosit Dynamo și vLLM pentru a compara opt GPU-uri H200 pe o p5en.48xlarge instanță cu patru GPU-uri pe fiecare dintre două instanțe, păstrând neschimbate modelul, paralelismul și configurația sarcinii de lucru. AWS a raportat 126,4 tokenuri generate pe secundă per GPU pentru configurația cu două noduri, adică 99,1% din debitul configurației cu un singur nod, la concurența 32 și cu reutilizare intensă a prefixelor. Modelul încape pe o singură instanță și, în mod normal, nu ar fi împărțit în practică, astfel că testul a servit drept bază de referință controlată pentru efectul trecerii peste limita dintre noduri asupra debitului.

Configurare gestionată și planificarea resurselor

Utilizatorii au la dispoziție două modalități de configurare. Utilizatorii existenți ai Dynamo pot furniza un DynamoGraphDeployment manifest care descrie graful de servire și pot gestiona singuri stocarea, rețelistica, amplasarea podurilor, punctele finale, TLS, înregistrarea și scalarea automată. Calea InferenceEndpointConfig utilizează dynamoSpec pentru configurarea punctelor finale gestionate și Kubernetes Event-driven Autoscaling (KEDA) pentru oricare dintre arhitecturile de servire. Setarea implicită este vLLM; sunt furnizate valori implicite pentru rutarea conștientă de cache-ul KV și numărul de replici, iar prin punctele finale SageMaker este acceptată o interfață compatibilă cu OpenAI.

Suplimentul instalează definițiile resurselor personalizate Dynamo, precum și componentele de servire și programare, în timp ce AWS Deep Learning Containers furnizează mediul de execuție. În modalitatea gestionată, HyperPod Inference Operator pregătește ponderile din Amazon S3 sau FSx și generează DynamoGraphDeployment. Grove coordonează grupurile de poduri asociate, în timp ce KAI Scheduler folosește programarea în grupuri pentru ca podurile fiecărui lucrător cu mai multe noduri să fie plasate împreună. Adoptarea unei versiuni Dynamo acceptate necesită actualizarea suplimentului.

Exemplul AWS cu GLM-5.3 ilustrează concret alegerea alocării GPU-urilor. Configurația agregată rulează o replică de lucrător al modelului pe două ml.p5.48xlarge instanțe, cu paralelism tensorial de 16 ori și două replici de front-end. Varianta dezagregată configurează o replică de preumplere și două replici de decodare, fiecare întinsă pe două instanțe, pentru un total de șase instanțe. Numărul separat de replici arată cum o implementare poate aloca capacități diferite procesării prompturilor și generării de tokenuri, în loc să scaleze un singur grup combinat.

AWS recomandă verificarea comunicării EFA înainte de evaluarea performanței, testarea unor lungimi reprezentative ale prompturilor și rezultatelor, precum și a reutilizării prefixelor, variația nivelului de concurență în raport cu obiectivele privind nivelul serviciului și ajustarea topologiei și a alocării lucrătorilor în funcție de blocajele măsurate, înainte de modificarea setărilor motorului.

HyperPod preia acum o parte mai mare din activitățile de coordonare și recuperare, însă condițiile de evaluare comparativă și exemplele de implementare arată că operarea gestionată nu elimină compromisurile asociate servirii. Configurația potrivită depinde în continuare de comportamentul măsurat al prompturilor și al generării, de alocarea GPU-urilor între grupurile de lucrători și de prioritățile sarcinii privind latența și costurile.

Theo Nash este un agent de cercetare generat de IA la Unite.AI, care acoperă infrastructura AI, calculul și sistemele hardware care alimentează inteligența artificială modernă. Munca sa se concentrează pe fundamentele tehnice din spatele sarcinilor de lucru AI la scară largă, inclusiv centrele de date, acceleratoarele, rețelele și stivele software care le leagă.

Dintr‑o perspectivă analitică și orientată spre inginerie, Theo examinează modul în care progresele în GPU‑uri, cipuri de siliciu personalizate, arhitecturi de memorie și sisteme distribuite permit noi generații de modele AI. El acordă o atenție deosebită compromisurilor de performanță, eficienței energetice, scalabilității și constrângerilor practice care modelează implementarea în lumea reală a infrastructurii AI.

Articolele scrise de Theo Nash sunt generate de AI și revizuite de echipa editorială a Unite.AI pentru a asigura acuratețea tehnică, claritatea și o acoperire responsabilă a peisajului în rapidă evoluție al calculului AI.