AWS tilføjer NVIDIA GPU-partitionering til SageMaker-inferensendpoints

Amazon Web Services (AWS) annoncerede understøttelse af NVIDIA Multi-Instance GPU i Amazon SageMaker Inference den 6. november 2026. Det gør det muligt for flere hardwareisolerede modeller at dele én accelerator på realtidsendpoints i stedet for at tildele hver udrulning en hel GPU.

Funktionen afhjælper to begrænsninger ved tildeling af hele GPU’er. Antallet af acceleratorer sætter en øvre grænse for, hvor mange modeller en instans kan køre, uanset hvor lidt hukommelse eller computerkraft hver model bruger, og kunder, der overvejer en nyere GPU, skal tildele hele enheden. Multi-Instance GPU (MIG) giver i stedet hver partition en fast andel af computerenhederne og en dedikeret hukommelsesblok, mens isoleringen håndhæves i hardwaren. Da hver model forbliver indlæst, undgår løsningen også den forsinkelse, der opstår, når et endpoint med flere modeller indlæser en model på den delte enhed, første gang den skal bruges.

Partitionering er begrænset til realtidsendpoints, der bruger inferenskomponenter – SageMakers løsning til at udrulle flere modeller til ét endpoint og angive, hvor meget computerkraft hver model får. Endpoints med én model, serverløse endpoints og heterogene instanspuljer kan ikke partitioneres. Asynkrone arbejdsbelastninger er også uden for funktionens anvendelsesområde, fordi asynkrone kald ikke kan rettes mod en inferenskomponent.

Salesforce bidrog til at fastlægge kravene og validere den første implementering. Richard Chang, softwarearkitekt hos Salesforce, sagde, at virksomheden forventede, at MIG ville gøre det muligt at samle arbejdsbelastninger sikkert, forbedre GPU-udnyttelsen og reducere inferensomkostningerne, samtidig med at ydeevnen forblev forudsigelig og isoleringen blev bevaret. Salesforce forbereder sig på at validere softwaren med repræsentative produktionsarbejdsbelastninger, så fordelene er forventninger og ikke rapporterede produktionsresultater.

To API-felter styrer partitioneringen

SageMakers AI-udviklerdokumentation beskriver to valgfrie felter: AcceleratorPartitionLayouts angiver opdelingen for en produktionsvariant, og AcceleratorPartitionType vælger den profil, der bruges af en inferenskomponent. Der er ingen nye API-operationer, ressourcetyper eller AWS Identity and Access Management-handlinger, og hvis begge felter udelades, fungerer endpointet som hidtil.

Det valgte layout anvendes ensartet på alle acceleratorer på alle instanser i varianten. I AWS’ eksempel opdeles hver af de otte A100-GPU’er på en ml.p4d.24xlarge i mig-4g.20gb, mig-2g.10gb og mig-1g.5gb partitioner, hvilket giver 24 partitioner på tværs af endpointet. Hver kopi af en inferenskomponent optager én ønsket partition, mens InvokeEndpoint fortsat adresserer modeller via komponentnavnet uden en partitionsidentifikator. AWS oplyste, at opdelingen af acceleratorerne i deres test forlængede klargøringen med cirka 17 sekunder.

Isoleringen omfatter GPU’ens computerkraft og hukommelse, men ikke hele værten. Modeller på samme instans deler stadig værtens CPU, hukommelse, lagerplads, netværk og endpoint-routing. En komponent, der anmoder om en profil, som ikke findes i layoutet, afvises i stedet for at få tildelt en hel GPU. Hvis layoutet for et kørende endpoint skal ændres, kræver det et nyt endpoint og flytning af trafikken; hvis en komponent skal flyttes til en anden profil, kræver det en ny komponent.

AWS tester en H100-partition sammenlignet med en hel A100

AWS sammenlignede én mig-3g.40gb H100-partition med en hel A100-40GB ved hjælp af Llama-3.1-8B-Instruct på SageMaker-realtidsendpoints i produktion. Begge konfigurationer brugte én modelreplika, identiske containere, tokenizere og klientkonfigurationer, mens genai-bench afviklede fem trafikmønstre ved samtidighedsniveauer fra 2 til 512. NVIDIAs profilvejledning tildeler den testede H100-profil tre af syv andele af streaming-multiprocessorerne og fire af otte hukommelsesenheder. De to konfigurationer har sammenlignelig hukommelseskapacitet, men forskellig tildeling af computerkraft.

På tværs af testene rapporterede AWS 53 % til 89 % flere outputtokens pr. sekund fra H100-partitionen ved den belastning, hvor hvert scenaries omkostningsfordel var størst. Tiden mellem tokens var 8,9 % til 42,1 % lavere, og tiden til første token var 5,6 % til 47,5 % lavere. Ved den højeste samtidighed i arbejdsbelastninger med 6.000 og 8.000 tokens overskred A100’en svartidsfristen for en tredjedel til halvdelen af anmodningerne, mens partitionen ikke overskred den for nogen.

AWS’ omkostningsanalyse, der blev fremlagt som en sammenligning fra tilfælde til tilfælde snarere end en generel konklusion, viste en 18 % til 34 % lavere omkostning pr. million outputtokens, når trafikken kom over et arbejdsspecifikt break-even-punkt. Dette punkt blev nået ved en samtidighed på 64 for prompts på 100 tokens og en samtidighed på 4 for prompts på 8.000 tokens. Under dette punkt var den hele A100 stadig billigere, så arbejdsbelastninger med korte input eller lav samtidighed kan være bedre egnede til den ældre, hele GPU. Sammenligningen af enhedsomkostninger dividerede priserne på instanser efter behov med antallet af testede enheder på hver instans.

Understøttet hardware og driftsbegrænsninger

Lanceringen omfatter fire instansfamilier, hvor antallet af partitioner og profiler bestemmes af acceleratoren:

GPU-partitionering er tilgængelig i US East (N. Virginia), US East (Ohio), US West (Oregon), Asia Pacific (Singapore), Asia Pacific (Tokyo), Europe (Frankfurt) og Europe (Ireland), afhængigt af tilgængeligheden af instanser i den pågældende region og endpoint-kvoten. Ingen partition strækker sig over flere acceleratorer, så modeller, der kræver en hel GPU eller flere GPU’er, har stadig brug for hele enheder.

Kunderne betaler fortsat for hele GPU-instansen; partitionering kan øge den brugbare kapacitet, men sænker ikke timeprisen. Partitionerede endpoints og deres inferenskomponenter offentliggør heller ikke målinger af GPU-, CPU- eller hukommelsesudnyttelse til CloudWatch, selvom målinger af kald og latenstid fortsat er tilgængelige. På P4d kræver profilen mig-1g.10gb NVIDIAs R525-driver eller nyere, og AWS anbefaler kunderne at bruge et nyere inferens-AMI, da standardaftrykket ikke indeholder den.

Når kapaciteten skal planlægges, gør lanceringen hver understøttet accelerator til flere GPU-størrelser med faste specifikationer, men tættere, hardwareisoleret implementering medfører fakturering for hele instansen, konfigurationer, der ikke kan ændres på stedet, og færre telemetridata om udnyttelsen. AWS’ benchmark viser værdien af at måle den faktiske trafik: I disse tests gav H100-partitionen bedre ydeevne og lavere omkostninger under forhold med større belastning og længere kontekster, mens break-even-resultaterne viste, at en hel A100 var billigere ved lettere arbejdsbelastninger.