AWS lägger till NVIDIA GPU-partitionering i SageMaker Inference Endpoints

Amazon Web Services (AWS) annonserade stöd för NVIDIA Multi-Instance GPU i Amazon SageMaker Inference den 6 november 2026. Det gör det möjligt för flera hårdvaruisolerade modeller att dela på en accelerator i realtidsslutpunkter, i stället för att tilldela varje driftsättning en hel GPU.

Funktionen hanterar två begränsningar med att tilldela hela GPU:er. Antalet acceleratorer begränsar hur många modeller en instans kan vara värd för, oavsett hur lite minne eller beräkningskapacitet varje modell använder. Kunder som överväger en nyare GPU måste dessutom tilldela hela enheten. Multi-Instance GPU (MIG) ger i stället varje partition en fast andel av beräkningsenheterna och ett eget minnesblock, med isolering som upprätthålls i hårdvaran. Eftersom varje modell förblir inläst undviker lösningen också fördröjningen som uppstår när en slutpunkt med flera modeller läser in en modell på sin delade enhet första gången den används.

Partitionering är begränsad till realtidsslutpunkter som använder inferenskomponenter, SageMakers konstruktion för att driftsätta flera modeller på en slutpunkt och ange vilken beräkningskapacitet var och en får. Slutpunkter med en enda modell, serverlösa slutpunkter och heterogena instanspooler kan inte partitioneras. Asynkrona arbetsbelastningar omfattas inte heller av funktionen, eftersom asynkrona anrop inte kan adressera en inferenskomponent.

Salesforce hjälpte till att ta fram kraven och validera den första implementeringen. Richard Chang, programvaruteknikarkitekt på Salesforce, sade att företaget förväntade sig att MIG skulle göra det möjligt att samla arbetsbelastningar på ett säkert sätt, förbättra GPU-utnyttjandet och sänka inferenskostnaderna, samtidigt som förutsägbar prestanda och isolering bibehölls. Salesforce förbereder sig för att validera programvaran med representativa produktionsarbetsbelastningar, så dessa fördelar är förväntningar och inte rapporterade produktionsresultat.

Två API-fält styr partitioneringen

utvecklardokumentationen för SageMaker AI definierar två valfria fält: AcceleratorPartitionLayouts anger partitioneringen för en produktionsvariant, och AcceleratorPartitionType väljer den profil som används av en inferenskomponent. Inga nya API-åtgärder, resurstyp­er eller AWS Identity and Access Management-åtgärder tillkommer, och om båda fälten utelämnas fungerar slutpunkten som tidigare.

Den valda layouten tillämpas enhetligt på varje accelerator på varje instans i varianten. I AWS exempel delas var och en av åtta A100-GPU:er på en ml.p4d.24xlarge i mig-4g.20gb, mig-2g.10gb och mig-1g.5gb partitioner, vilket ger 24 partitioner på slutpunkten. Varje kopia av en inferenskomponent använder en begärd partition, medan InvokeEndpoint fortsätter att adressera modeller med komponentnamn, utan någon partitionsidentifierare. AWS uppgav att uppdelningen av acceleratorerna i deras tester förlängde etableringen med ungefär 17 sekunder.

Isoleringen omfattar GPU-beräkning och GPU-minne, men inte hela värdsystemet. Modeller på samma instans delar fortfarande värddatorns CPU, minne, lagring, nätverk och dirigering av slutpunktstrafik. En komponent som begär en profil som saknas i layouten avvisas i stället för att tilldelas en hel GPU. Om layouten för en slutpunkt som körs ska ändras krävs en ny slutpunkt och en migrering av trafiken; om en komponent ska flyttas till en annan profil krävs en ny komponent.

AWS testar en H100-partition mot en hel A100

AWS jämförde en mig-3g.40gb H100-partition med en hel A100-40GB med Llama-3.1-8B-Instruct på SageMaker-slutpunkter för realtidsinferens i produktion. Båda alternativen använde en modellkopia, identiska containrar, tokeniserare och klientkonfigurationer. genai-bench genererade fem trafikmönster med samtidighetsnivåer från 2 till 512. NVIDIAs profilguide tilldelar den testade H100-profilen tre av sju andelar av streamingmultiprocessorerna och fyra av åtta minnesenheter. De två konfigurationerna har jämförbar minneskapacitet men olika beräkningsresurser.

I testerna rapporterade AWS 53–89 % fler genererade token per sekund från H100-partitionen vid den belastning där kostnadsfördelen var störst i respektive scenario. Tiden mellan token var 8,9–42,1 % kortare och tiden till första token 5,6–47,5 % kortare. Vid den högsta samtidighetsnivån i arbetsbelastningar med 6 000 respektive 8 000 token överskred A100 tidsgränsen för inferens för mellan en tredjedel och hälften av förfrågningarna, medan partitionen inte missade tidsgränsen för någon förfrågan.

I sin kostnadsanalys, som presenterades som en jämförelse från fall till fall snarare än som en generell slutsats, fann AWS att kostnaden per miljon genererade token var 18–34 % lägre när trafiken överskred en brytpunkt som var specifik för arbetsbelastningen. Brytpunkten inträffade vid en samtidighetsnivå på 64 för promptar med 100 token och vid en samtidighetsnivå på 4 för promptar med 8 000 token. Under den nivån var den hela A100 fortfarande billigare, vilket innebär att arbetsbelastningar med korta indata eller låg samtidighet kan lämpa sig bättre för den äldre, hela GPU:n. Jämförelsen av styckkostnaden beräknades genom att dividera priserna för instanser på begäran med antalet testade enheter på respektive instans.

Maskinvara som stöds och driftsbegränsningar

Lanseringen omfattar fyra instansfamiljer, och antalet partitioner samt profilerna avgörs av acceleratorn:

GPU-partitionering är tillgänglig i USA östra (norra Virginia), USA östra (Ohio), USA västra (Oregon), Asien och Stillahavsområdet (Singapore), Asien och Stillahavsområdet (Tokyo), Europa (Frankfurt) och Europa (Irland), förutsatt att instanser finns tillgängliga i regionen och att det finns tillräcklig endpoint-kvot. Ingen partition sträcker sig över flera acceleratorer, så modeller som kräver en hel GPU eller flera GPU:er behöver fortfarande hela enheter.

Kunderna fortsätter att betala för hela GPU-instansen. Partitionering kan öka den användbara kapaciteten, men sänker inte timpriset. Partitionerade endpoints och deras inferenskomponenter publicerar inte heller mått på GPU-, CPU- eller minnesutnyttjande till CloudWatch, även om mått för anrop och latens fortfarande finns tillgängliga. På P4d kräver profilen mig-1g.10gb NVIDIA:s R525-drivrutin eller senare, och AWS hänvisar kunderna till en nyare inferens-AMI eftersom standardavbildningen inte innehåller den.

För kapacitetsplaneringen innebär lanseringen att varje accelerator som stöds delas upp i flera fasta GPU-storlekar, men tätare driftsättning med hårdvaruisolering medför fakturering för hela instansen, konfigurationer som inte kan ändras på plats och färre mätvärden för resursutnyttjande. AWS:s jämförelse visar värdet av att mäta den faktiska trafiken: i testerna gav H100-partitionen bättre prestanda och lägre kostnader vid högre belastning med långa kontextssekvenser, medan brytpunktsresultaten visade att en hel A100 var billigare för lättare arbetsbelastningar.