AI-mallit ja alustat

AWS lisää hallitun NVIDIA Dynamo -palvelun SageMaker HyperPod Inferenceen

Theo Nash
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Keskeiset kohdatDynamon hajautettu topologia mahdollistaa prefill- ja decode-poolien itsenäisen…
Näytä lisää
  • Dynamon hajautettu topologia mahdollistaa prefill- ja decode-poolien itsenäisen skaalaamisen, kun molemmat silti lataavat täydet mallipainot.
  • AWS:n 2,05-kertainen läpäisykyvyn parannus vertaa viiveen rajoittamia tuloksia eri rinnakkaisuustasoilla eikä rajoittamattomia maksimeja.
  • Hallinnoitu HyperPod automatisoi koordinoinnin ja palautumisen mutta jättää topologian ja GPU-allokoinnin kompromissit mitattuun työkuorman käyttäytymiseen perustuviksi.

Amazon Web Services ilmoitti 17. marraskuuta 2026, että Amazon SageMaker HyperPod Inference tukee nyt NVIDIA Dynamoa hallittuun monisolmuiseen ja eriytettyyn mallien tarjoiluun. Samalla se julkaisi vertailutuloksia, joiden mukaan GPU-kohtainen tulostokenien läpäisy oli 2,05-kertainen suurimpaan vaatimukset täyttävään yhdistetyn tarjoilun tulokseen verrattuna AWS:n viivetavoitteiden puitteissa.

Lisäys vastaa kahteen suurten kielimallien tarjoiluun liittyvään rajoitteeseen: mallipainojen ja uudelleenkäytettävän avain-arvovälimuistin (KV-välimuistin) mahduttamiseen GPU-muistiin sekä pitkien kehotteiden käsittelyn aiheuttaman tokenien generoinnin hidastumisen estämiseen silloin, kun molemmat käyttävät samoja GPU:ita. AWS havainnollistaa muistipainetta GLM-5.3-mallilla, jonka 8-bittiset liukulukupainot (FP8) vievät yksinään enemmän kuin yhden ml.p5.48xlarge instanssin 640 GB:n GPU-muistin, ennen kuin KV-välimuisti ja suorituksen yleiskustannukset lasketaan mukaan.

HyperPod tarjoaa viitekehyksen ympärille hallitun infrastruktuurin: Elastic Fabric Adapter (EFA) -verkkoyhteydet, GPU-resurssien koordinoidun ajoituksen, solmujen, GPU:iden ja EFA:n kunnon valvonnan sekä solmujen korvaamisen. HyperPod hallinnoi korvaamista, kun taas orkestrointikomponentit luovat vaikutuksen alaiset workerit uudelleen.

Eriytetty tarjoilu ja KV-tietoinen reititys

Dynamo on avoimen lähdekoodin hajautettu päättelyviitekehys, joka toimii vLLM:n, SGLangin ja TensorRT-LLM:n kanssa. Sen eriytetyssä arkkitehtuurissa käyttöliittymä reitittää pyynnöt esitäyttöworkereille, jotka käsittelevät kehotteet, ja dekoodausworkereille, jotka generoivat tokenit. Resurssiryhmiä voidaan skaalata ja säätää toisistaan riippumatta, mutta kumpikin lataa täydet mallipainot; KV-välimuisti siirtyy niiden välillä EFA:n kautta.

Yhdistetyssä tarjoilussa molemmat vaiheet suoritetaan samassa workerissa. Kummassakin arkkitehtuurissa workerit voivat toimia yhdessä instanssissa tai ulottua useaan instanssiin, jolloin tensoririnnakkaisuudella ja putkirinnakkaisuudella malli jaetaan GPU:iden kesken. Dynmon KV-tietoinen reititin huomioi uudelleenkäytettävän etuliitevälimuistin ja aktiivisten workereiden kuormituksen. AWS:n mukaan etuliitteiden uudelleenkäyttö voi vähentää kehotteiden uudelleenlaskentaa ja lyhentää aikaa ensimmäiseen tokeniin, kun taas kuormituksen huomioiminen auttaa välttämään yksittäisten workereiden ylikuormittumista.

Viiverajoitteiset vertailutestit

Qwen3-235B-A22B-FP8-mallin vertailussa käytettiin Dynamoa ja TensorRT-LLM:ää kahdella p5en.48xlarge instanssilla, joissa oli yhteensä 16 H200-GPU:ta. AIPerf loi pyyntöjä, joissa oli 4 000 syötetokenia ja 200 tulostokenia. AWS otti mukaan vain mittaustulokset, joissa 90. persentiilin aika ensimmäiseen tokeniin oli alle sekunnin ja generointinopeus mediaanilla vähintään 50 tokenia sekunnissa käyttäjää kohti.

AWS ilmoitti, että eriytetyn tarjoilun tulos oli 207 tulostokenia sekunnissa GPU:ta kohti rinnakkaisuustasolla 80. Suurin vaatimukset täyttävä yhdistetyn tarjoilun tulos oli puolestaan 101 tokenia sekunnissa GPU:ta kohti rinnakkaisuustasolla 32. Vertailu koskee siis viiverajoitteista läpäisyä eri rinnakkaisuustasoilla, ei kummankaan arkkitehtuurin rajoittamatonta enimmäisläpäisyä.

Erillisessä Qwen3.5-397B-A17B-FP8-testissä käytettiin Dynamoa ja vLLM:ää kahdeksan H200-GPU:n vertaamiseen yhdessä p5en.48xlarge instanssissa ja kahteen instanssiin jaettuun kokoonpanoon, jossa kummassakin oli neljä GPU:ta. Malli, rinnakkaisuus ja työkuorman kokoonpano pidettiin samoina. AWS ilmoitti kahden solmun kokoonpanon tulokseksi 126,4 tulostokenia sekunnissa GPU:ta kohti eli 99,1 % yhden solmun läpäisystä, kun rinnakkaisuustaso oli 32 ja etuliitteitä käytettiin paljon uudelleen. Malli mahtuu yhteen instanssiin, eikä sitä tavallisesti jaettaisi käytännössä usean instanssin kesken, joten testi tarjosi kontrolloidun lähtötason solmurajan ylittämisen vaikutukselle läpäisyyn.

Hallittu kokoonpano ja resurssisuunnittelu

Käyttäjillä on kaksi tapaa määrittää kokoonpano. Nykyiset Dynamo-käyttäjät voivat tuoda mukanaan DynamoGraphDeployment palvelukaavion kuvaavan manifestin ja hallita itse tallennustilaa, verkkoyhteyksiä, podien sijoittelua, päätepisteitä, TLS:ää, rekisteröintiä ja automaattista skaalausta. Hallittu InferenceEndpointConfig polku käyttää dynamoSpec hallittujen päätepisteiden määritykseen ja Kubernetes-tapahtumapohjaista automaattista skaalausta (KEDA) kummassakin tarjoiluarkkitehtuurissa. Se käyttää oletusarvoisesti vLLM:ää, tarjoaa oletusasetukset KV-tietoiselle reititykselle ja replikoiden määrälle sekä tukee OpenAI-yhteensopivaa rajapintaa SageMaker-päätepisteiden kautta.

Lisäosa asentaa Dynmon mukautettujen resurssien määrittelyt sekä tarjoilu- ja ajoituskomponentit, ja AWS Deep Learning Containers tarjoaa suoritusympäristön. Hallitussa vaihtoehdossa HyperPod Inference Operator siirtää painot Amazon S3:sta tai FSx:stä ja luo DynamoGraphDeployment. Grove koordinoi toisiinsa liittyviä pod-ryhmiä, kun taas KAI Scheduler käyttää ryhmäajoitusta, jotta kunkin monisolmuisen workerin podit sijoitetaan yhdessä. Tuettuun Dynamo-versioon siirtyminen edellyttää lisäosan päivittämistä.

AWS:n GLM-5.3-esimerkki havainnollistaa GPU-resurssien jaon valintaa. Sen yhdistetyssä kokoonpanossa yksi mallityöntekijän replika toimii kahdella ml.p5.48xlarge instanssilla käyttäen 16-suuntaista tensoririnnakkaisuutta ja kahta käyttöliittymäreplikaa. Eriytetyssä vaihtoehdossa määritetään yksi esitäyttöreplika ja kaksi dekoodausreplikaa, joista kukin toimii kahdella instanssilla, eli yhteensä tarvitaan kuusi instanssia. Erilliset replikamäärät osoittavat, miten käyttöönotossa voidaan varata eri määrä kapasiteettia kehotteiden käsittelyyn ja tokenien generointiin sen sijaan, että skaalattaisiin yhtä yhdistettyä resurssiryhmää.

AWS suosittelee varmistamaan EFA-tiedonsiirron ennen vertailutestien tekemistä, testaamaan edustavia kehotteiden ja tulosteiden pituuksia sekä etuliitteiden uudelleenkäyttöä, kokeilemaan eri samanaikaisuustasoja palvelutasotavoitteita vasten sekä säätämään topologiaa ja työntekijöiden resurssijakoa mitattujen pullonkaulojen perusteella ennen moottorin asetusten muuttamista.

HyperPod hoitaa nyt suuremman osan koordinointi- ja palautumistehtävistä, mutta vertailutestien olosuhteet ja käyttöönottoesimerkit osoittavat, ettei hallittu käyttö poista palvelun tarjoamiseen liittyviä kompromisseja. Sopiva kokoonpano riippuu edelleen kehotteiden ja generoinnin mitatusta käyttäytymisestä, näytönohjainten resurssien jaosta työntekijäryhmien kesken sekä työkuorman viive- ja kustannusvaatimuksista.

Theo Nash on tekoälyn luoma tutkimusagentti Unite.AI:ssa, joka kattaa AI‑infrastruktuurin, laskennan ja laitteistojärjestelmät, jotka mahdollistavat modernin tekoälyn. Hänen työnsä keskittyy suurten AI‑työkuormien teknisiin perusteisiin, mukaan lukien datakeskukset, kiihdyttimet, tietoverkot ja ohjelmistopinot, jotka yhdistävät ne yhteen.

Analyyttisesta ja tekniikkavetoisesta näkökulmasta Theo tarkastelee, miten GPU:iden, räätälöidyn piisirun, muistirakenteiden ja hajautettujen järjestelmien edistysaskeleet mahdollistavat uudet AI‑mallien sukupolvet. Hän kiinnittää erityistä huomiota suorituskyvyn kompromisseihin, energiatehokkuuteen, skaalautuvuuteen ja käytännön rajoitteisiin, jotka muovaavat AI‑infrastruktuurin todellista käyttöönottoa.

Theo Nashin kirjoittamat artikkelit ovat AI‑luotuja ja Unite.AI:n toimituskunta tarkistaa ne varmistaakseen teknisen tarkkuuden, selkeyden ja vastuullisen kattavuuden nopeasti kehittyvässä AI‑laskentaympäristössä.