AWS tuo NVIDIA-grafiikkasuorittimien osioinnin SageMaker Inference -päätepisteisiin

Amazon Web Services (AWS) ilmoitti 6. marraskuuta 2026 NVIDIA Multi-Instance GPU -tuesta Amazon SageMaker Inferencessä, jolloin useat laitteistotasolla eristetyt mallit voivat jakaa yhden kiihdyttimen reaaliaikaisissa päätepisteissä sen sijaan, että jokaiselle käyttöönotolle varattaisiin kokonainen GPU.

Ominaisuus ratkaisee kaksi kokonaisen GPU:n varaamiseen liittyvää rajoitetta. Kiihdyttimien määrä asettaa ylärajan sille, kuinka monta mallia instanssissa voidaan isännöidä, vaikka kukin malli käyttäisi vain vähän muistia tai laskentatehoa. Lisäksi uudempaa GPU:ta harkitsevien asiakkaiden on varattava käyttöön koko laite. Multi-Instance GPU (MIG) jakaa sen sijaan kullekin osiolle kiinteän osuuden laskentayksiköistä ja oman muistilohkon, ja eristys toteutetaan laitteistossa. Koska kukin malli pysyy valmiina muistissa, ratkaisu välttää myös viiveen, joka syntyy, kun usean mallin päätepiste lataa mallin jaetulle laitteelleen ensimmäistä käyttökertaa varten.

Osiointi on käytettävissä vain reaaliaikaisissa päätepisteissä, joissa käytetään päättelykomponentteja. SageMakerin päättelykomponenttien avulla samaan päätepisteeseen voidaan ottaa käyttöön useita malleja ja määrittää kullekin niiden saama laskentateho. Yhden mallin päätepisteitä, palvelimettomia päätepisteitä ja heterogeenisiä instanssivarantoja ei voi osioida. Ominaisuus ei koske myöskään asynkronisia kuormia, koska asynkronisessa kutsussa ei voi kohdistaa pyyntöä päättelykomponenttiin.

Salesforce osallistui vaatimusten määrittelyyn ja alkuperäisen toteutuksen validointiin. Salesforcen ohjelmistokehitysarkkitehti Richard Chang kertoi, että yritys odotti MIG:n mahdollistavan työkuormien turvallisen yhdistämisen, parantavan GPU:n käyttöastetta ja vähentävän päättelykustannuksia suorituskyvyn ennustettavuudesta ja eristyksestä tinkimättä. Salesforce valmistelee ohjelmiston validointia edustavilla tuotantotyökuormilla, joten nämä hyödyt ovat odotuksia eivätkä raportoituja tuotantotuloksia.

Osiointia ohjataan kahdella API-kentällä

SageMaker AI:n kehittäjädokumentaatiossa määritellään kaksi valinnaista kenttää: AcceleratorPartitionLayouts määrittää osioinnin tuotantovariantille, ja AcceleratorPartitionType valitsee päättelykomponentin käyttämän profiilin. Uusia API-toimintoja, resurssityyppejä tai AWS Identity and Access Management -toimintoja ei lisätä. Jos molemmat kentät jätetään pois, päätepiste toimii kuten ennenkin.

Valittua asettelua käytetään yhdenmukaisesti variantin jokaisessa instanssissa oleviin kiihdyttimiin. AWS:n esimerkissä kukin variantin kahdeksasta A100:sta jaetaan yhdessä ml.p4d.24xlarge seuraaviin mig-4g.20gb, mig-2g.10gb ja mig-1g.5gb osioon, jolloin päätepisteessä on yhteensä 24 osiota. Kukin päättelykomponentin kopio käyttää yhtä pyytämistään osioista, kun taas InvokeEndpoint mallien osoittamiseen käytetään edelleen komponentin nimeä ilman osiotunnistetta. AWS:n mukaan kiihdyttimien osiointi pidensi sen testeissä käyttöönottoaikaa noin 17 sekunnilla.

Eristys kattaa GPU:n laskentatehon ja muistin, ei koko isäntäkonetta. Samassa instanssissa olevat mallit jakavat edelleen isäntäkoneen suorittimen, muistin, tallennustilan, verkkoyhteydet ja päätepisteen reitityksen. Jos komponentti pyytää profiilia, jota asettelussa ei ole, pyyntö hylätään sen sijaan, että komponentille annettaisiin käyttöön kokonainen GPU. Käynnissä olevan päätepisteen asettelun muuttaminen edellyttää uuden päätepisteen luomista ja liikenteen siirtämistä. Komponentin siirtäminen toiseen profiiliin edellyttää uuden komponentin luomista.

AWS testaa H100-osiota kokonaisella A100:lla

AWS vertasi yhtä mig-3g.40gb H100-osiointia verrattiin kokonaiseen A100-40GB-grafiikkasuorittimeen. Testeissä käytettiin Llama-3.1-8B-Instruct-mallia tuotannon SageMaker-reaaliaikaisissa päätepisteissä. Kummassakin kokoonpanossa käytettiin yhtä mallireplikaa, samoja säilöjä, tokenisoijia ja asiakasohjelman määrityksiä. genai-bench tuotti viisi erilaista liikennekuormaa samanaikaisten pyyntöjen määrillä 2:sta 512:een. NVIDIAn profiilioppaassa testatulle H100-profiilille varataan kolme seitsemästä suoratoistomoniprosessoriosuudesta ja neljä kahdeksasta muistiyksiköstä. Kokoonpanojen muistikapasiteetti on samankaltainen, mutta laskentaresurssit on jaettu eri tavoin.

AWS raportoi testeissä, että H100-osio tuotti 53–89 % enemmän tulostustokeneita sekunnissa sillä kuormitustasolla, jolla kunkin skenaarion kustannushyöty oli suurin. Tokenien välinen viive oli 8,9–42,1 % lyhyempi ja ensimmäisen tokenin saapumisaika 5,6–47,5 % lyhyempi. Suurimmalla rinnakkaisuusasteella 6 000 ja 8 000 tokenin kuormissa A100 ei pysynyt palvelun määräajassa kolmasosassa tai puolessa pyynnöistä, kun taas osio ei myöhästynyt yhdessäkään pyynnössä.

AWS:n kustannusanalyysissä, joka esitettiin tapauskohtaisena vertailuna yleispätevän johtopäätöksen sijaan, havaittiin, että miljoonaa tulostustokenia kohti laskettu kustannus oli 18–34 % pienempi, kun liikenne ylitti kuormakohtaisen kannattavuusrajan. Raja saavutettiin rinnakkaisuusasteella 64, kun kehotteissa oli 100 tokenia, ja rinnakkaisuusasteella 4, kun kehotteissa oli 8 000 tokenia. Raja-arvon alapuolella kokonainen A100 oli edelleen edullisempi, joten vanhempi kokonainen GPU voi sopia paremmin lyhyiden syötteiden tai vähäisen rinnakkaisuuden kuormiin. Yksikkökustannuksia verrattaessa kummankin instanssin tilauskäyttöön perustuva hinta jaettiin kyseisessä instanssissa testattujen yksiköiden määrällä.

Tuettu laitteisto ja käyttörajoitukset

Julkaisun yhteydessä tuki kattaa neljä instanssiperhettä. Osioiden määrä ja profiilit määräytyvät kiihdyttimen mukaan:

GPU:n osiointi on käytettävissä alueilla US East (Pohjois-Virginia), US East (Ohio), US West (Oregon), Asia Pacific (Singapore), Asia Pacific (Tokio), Europe (Frankfurt) ja Europe (Irlanti) alueellisen instanssien saatavuuden ja päätepistekiintiön mukaan. Osio ei voi kattaa useita kiihdyttimiä, joten täyttä GPU:ta tai useita GPU:ita vaativat mallit tarvitsevat edelleen kokonaiset laitteet.

Asiakkaat maksavat edelleen koko GPU-instanssin hinnan: osiointi voi kasvattaa käytettävissä olevaa kapasiteettia, mutta se ei alenna tuntihintaa. Osioitujen päätepisteiden ja niiden päättelykomponenttien GPU:n, suorittimen tai muistin käyttöastemittareita ei myöskään julkaista CloudWatchissa, mutta kutsu- ja viivemittarit ovat edelleen saatavilla. P4d-instanssissa mig-1g.10gb profiili edellyttää NVIDIA:n R525-ajuria tai uudempaa, ja AWS ohjaa asiakkaat käyttämään uudempaa päättely-AMIa, sillä oletuskuva ei sisällä sitä.

Kapasiteetin suunnittelun kannalta julkaisu jakaa kunkin tuetun kiihdyttimen useisiin kiinteisiin GPU-kokoluokkiin. Laitteistotasolla eristettyjen käyttöönottojen tiheämpi pakkaaminen edellyttää kuitenkin koko instanssin laskutusta, asetteluja, joita ei voi muuttaa käyttöönoton jälkeen, sekä vähäisempiä käyttöastetietoja. AWS:n vertailutesti osoittaa, miten tärkeää todellisen liikenteen mittaaminen on: H100-osio tarjosi testeissä suorituskyky- ja kustannusetuja raskaammissa, pitkän kontekstin olosuhteissa, kun taas kannattavuusrajan tulokset osoittivat, että kokonainen A100 oli edullisempi kevyemmissä kuormissa.