AWS legger til NVIDIA GPU-partisjonering i inferensendepunkter i SageMaker

Amazon Web Services (AWS) kunngjorde støtte for NVIDIA Multi-Instance GPU i inferens i Amazon SageMaker 6. november 2026. Det gjør det mulig for flere maskinvareisolerte modeller å dele én akselerator på sanntidsendepunkter, i stedet for at hver utrulling får tildelt en hel GPU.

Funksjonen løser to begrensninger ved tildeling av hele GPU-er. Antallet akseleratorer setter en øvre grense for hvor mange modeller en instans kan være vert for, uavhengig av hvor lite minne eller regnekraft hver modell bruker. Kunder som vurderer en nyere GPU, må dessuten tildele hele enheten. Multi-Instance GPU (MIG) gir i stedet hver partisjon en fast andel av regneenhetene og en egen minneblokk, med isolasjon håndhevet av maskinvaren. Siden hver modell forblir lastet inn, unngår løsningen også forsinkelsen som oppstår når et endepunkt med flere modeller laster inn en modell på den delte enheten første gang den skal brukes.

Partisjonering er begrenset til sanntidsendepunkter som bruker inferenskomponenter, SageMakers løsning for å distribuere flere modeller til ett endepunkt og angi hvor mye regnekraft hver av dem får. Endepunkter med én modell, serverløse endepunkter og instansgrupper med ulik maskinvare kan ikke partisjoneres. Asynkrone arbeidsbelastninger omfattes heller ikke av funksjonen, fordi asynkrone kall ikke kan adressere en inferenskomponent.

Salesforce bidro til å utforme kravene og validere den første implementeringen. Richard Chang, programvareingeniør og arkitekt hos Salesforce, sa at selskapet forventet at MIG skulle gjøre det mulig å samle arbeidsbelastninger på en trygg måte, øke GPU-utnyttelsen og redusere inferenskostnadene, samtidig som forutsigbar ytelse og isolasjon ble opprettholdt. Salesforce forbereder seg på å validere programvaren med representative arbeidsbelastninger fra produksjonsmiljøer, så disse fordelene er forventninger og ikke rapporterte produksjonsresultater.

To API-felt styrer partisjoneringen

Utviklerdokumentasjonen for SageMaker AI beskriver to valgfrie felt: AcceleratorPartitionLayouts angir partisjoneringen for en produksjonsvariant, og AcceleratorPartitionType velger profilen som brukes av en inferenskomponent. Det finnes ingen nye API-operasjoner, ressurstyper eller handlinger i AWS Identity and Access Management. Hvis begge feltene utelates, oppfører endepunktet seg som før.

Det valgte oppsettet gjelder likt for alle akseleratorene på hver instans i varianten. I AWS’ eksempel deles hver av de åtte A100-kortene på en ml.p4d.24xlarge i mig-4g.20gb, mig-2g.10gb og mig-1g.5gb partisjoner, noe som gir 24 partisjoner på tvers av endepunktet. Hver kopi av en inferenskomponent bruker én av de forespurte partisjonene, mens InvokeEndpoint fortsatt adresserer modeller med komponentnavn, uten en partisjonsidentifikator. AWS opplyste at oppdelingen av akseleratorene i deres tester økte klargjøringstiden med omtrent 17 sekunder.

Isolasjonen omfatter GPU-regnekraft og -minne, men ikke hele vertsmaskinen. Modeller på samme instans deler fortsatt vertsmaskinens CPU, minne, lagring og nettverk samt rutingen for endepunktet. En komponent som ber om en profil som ikke finnes i oppsettet, avvises i stedet for å få tildelt en hel GPU. Hvis oppsettet for et endepunkt som er i drift, skal endres, kreves et nytt endepunkt og overføring av trafikken. Hvis en komponent skal flyttes til en annen profil, kreves en ny komponent.

AWS tester en H100-partisjon mot en hel A100

AWS sammenlignet én mig-3g.40gb H100-partisjon med en hel A100-40GB ved hjelp av Llama-3.1-8B-Instruct på SageMakers sanntidsendepunkter for produksjonsbruk. Begge oppsettene brukte én modellreplika, identiske containere, tokenizere og klientkonfigurasjoner. Genai-bench genererte fem trafikkmønstre med samtidighetsnivåer fra 2 til 512. NVIDIAs profilveiledning tildeler den testede H100-profilen tre av sju andeler av strømmemultiprosessorene og fire av åtte minneenheter. De to konfigurasjonene har omtrent like stor minnekapasitet, men ulik tildeling av regnekraft.

På tvers av testene rapporterte AWS at H100-partisjonen leverte 53 % til 89 % flere utgangstokener per sekund enn A100 ved belastningen der kostnadsfordelen var størst i hvert scenario. Forsinkelsen mellom tokener var 8,9 % til 42,1 % lavere, og tiden til første token var 5,6 % til 47,5 % lavere. Ved høyeste samtidighetsnivå for arbeidsbelastninger på 6 000 og 8 000 tokener overskred A100 leveringsfristen for mellom en tredel og halvparten av forespørslene, mens partisjonen ikke overskred fristen for noen av dem.

AWS’ kostnadsanalyse, som ble presentert som en sammenligning fra tilfelle til tilfelle og ikke som en universell konklusjon, viste 18 % til 34 % lavere kostnad per million utgangstokener når trafikken passerte et nullpunkt som var spesifikt for hver arbeidsbelastning. Dette punktet ble nådd ved samtidighetsnivå 64 for forespørsler med ledetekster på 100 tokener og ved samtidighetsnivå 4 for ledetekster på 8 000 tokener. Under dette nivået var den hele A100-en fortsatt billigere, så arbeidsbelastninger med korte inndata eller lav samtidighet kan fortsatt egne seg bedre for den eldre, hele GPU-en. Sammenligningen av enhetskostnader ble beregnet ved å dele prisene på instanser med behovsbasert betaling på antallet testede enheter på hver instans.

Støttet maskinvare og driftsbegrensninger

Lanseringen omfatter fire instansfamilier. Antallet partisjoner og tilgjengelige profiler avhenger av akseleratoren:

GPU-partisjonering er tilgjengelig i US East (N. Virginia), US East (Ohio), US West (Oregon), Asia Pacific (Singapore), Asia Pacific (Tokyo), Europe (Frankfurt) og Europe (Ireland), avhengig av tilgjengeligheten av instanser i regionen og kvoten for endepunkter. Ingen partisjon strekker seg over flere akseleratorer, så modeller som krever en hel GPU eller flere GPU-er, trenger fortsatt hele enheter.

Kundene fortsetter å betale for hele GPU-instansen. Partisjonering kan øke den brukbare kapasiteten, men reduserer ikke timeprisen. Partisjonerte endepunkter og inferenskomponentene deres publiserer heller ikke målinger av GPU-, CPU- eller minneutnyttelse til CloudWatch, selv om målinger av kall og ventetid fortsatt er tilgjengelige. På P4d krever mig-1g.10gb profilen NVIDIA-driver R525 eller nyere, og AWS anbefaler kundene å bruke en nyere inferens-AMI fordi standardavbildningen ikke inneholder den.

For kapasitetsplanlegging betyr lanseringen at hver støttede akselerator blir tilgjengelig i flere GPU-størrelser med fast kapasitet. Tettere distribusjon med maskinvareisolasjon innebærer imidlertid fakturering for hele instansen, oppsett som ikke kan endres mens de er i bruk, og færre telemetridata om ressursutnyttelse. AWS’ referansetest viser verdien av å måle den faktiske trafikken: I testene ga H100-partisjonen bedre ytelse og lavere kostnader ved tyngre arbeidsbelastninger med lange kontekster, mens resultatene for når kostnadene gikk i balanse, viste at en hel A100 var rimeligere for lettere arbeidsbelastninger.