AWS voegt NVIDIA GPU-partitionering toe aan SageMaker-inferentie-eindpunten

Amazon Web Services (AWS) kondigde ondersteuning aan voor NVIDIA Multi-Instance GPU in Amazon SageMaker Inference op 6 november 2026. Hierdoor kunnen meerdere hardwarematig geïsoleerde modellen één accelerator delen op realtime-eindpunten, in plaats van voor elke implementatie een volledige GPU toe te wijzen.

Deze functie pakt twee beperkingen van de toewijzing van volledige GPU’s aan. Het aantal accelerators begrenst hoeveel modellen een instantie kan hosten, ongeacht hoeveel geheugen of rekenkracht elk model gebruikt, en klanten die een nieuwere GPU overwegen, moeten het volledige apparaat toewijzen. Multi-Instance GPU (MIG) geeft elke partitie daarentegen een vast aandeel van de rekeneenheden en een eigen geheugenblok, waarbij de isolatie hardwarematig wordt afgedwongen. Omdat elk model geladen blijft, voorkomt deze opzet ook de vertraging die ontstaat wanneer een endpoint voor meerdere modellen een model voor het eerst op het gedeelde apparaat laadt.

Partitionering is beperkt tot realtime-eindpunten die inferencecomponenten gebruiken. Dit is de constructie van SageMaker waarmee meerdere modellen op één endpoint kunnen worden geïmplementeerd en de rekenkracht die elk model krijgt, kan worden ingesteld. Eindpunten met één model, serverloze eindpunten en pools met heterogene instanties kunnen niet worden gepartitioneerd. Asynchrone workloads vallen eveneens buiten het bereik van deze functie, omdat een asynchrone aanroep geen inferencecomponent kan adresseren.

Salesforce hielp de vereisten vast te stellen en de eerste implementatie te valideren. Richard Chang, softwarearchitect bij Salesforce, zei dat het bedrijf verwachtte dat MIG workloads veilig zou consolideren, de GPU-benutting zou verbeteren en de inferentiekosten zou verlagen, met behoud van voorspelbare prestaties en isolatie. Salesforce bereidt zich voor om de software te valideren met representatieve productie-workloads. Deze voordelen zijn dus verwachtingen en geen gerapporteerde productieresultaten.

Twee API-velden bepalen de partitionering

De ontwikkelaarsdocumentatie van SageMaker AI beschrijft twee optionele velden: AcceleratorPartitionLayouts geeft de partitionering op voor een productievariant, en AcceleratorPartitionType selecteert het profiel dat door een inferencecomponent wordt gebruikt. Er zijn geen nieuwe API-bewerkingen, resourcetypen of AWS Identity and Access Management-acties. Als beide velden ontbreken, blijft het bestaande gedrag van het endpoint behouden.

De geselecteerde indeling geldt op dezelfde manier voor elke accelerator op elke instantie in de variant. In het voorbeeld van AWS wordt elk van de acht A100’s op een ml.p4d.24xlarge verdeeld in mig-4g.20gb, mig-2g.10gb en mig-1g.5gb partities, wat in totaal 24 partities op het endpoint oplevert. Elke kopie van een inferencecomponent neemt één aangevraagde partitie in beslag, terwijl InvokeEndpoint modellen blijft adresseren op basis van de componentnaam, zonder partitieaanduiding. AWS meldde dat het partitioneren van de accelerators tijdens tests ongeveer 17 seconden extra aan de inrichting toevoegde.

De isolatie omvat de GPU-rekenkracht en het GPU-geheugen, maar niet de volledige host. Modellen op één instantie delen nog steeds de CPU, het geheugen, de opslag en het netwerk van de host, evenals de routering van het endpoint. Een component die een profiel aanvraagt dat niet in de indeling voorkomt, wordt afgewezen en krijgt dus niet de volledige GPU toegewezen. Om de indeling van een actief endpoint te wijzigen, is een nieuw endpoint nodig en moet het verkeer worden overgezet. Om een component naar een ander profiel te verplaatsen, is een nieuwe component nodig.

AWS test een H100-partitie tegenover een volledige A100

AWS vergeleek één mig-3g.40gb H100-partitie met een volledige A100-40GB, met Llama-3.1-8B-Instruct op realtime-productie-eindpunten van SageMaker. Aan beide kanten werd één modelreplica gebruikt, met identieke containers, tokenizers en clientconfiguraties. genai-bench genereerde vijf verkeerspatronen bij gelijktijdigheidsniveaus van 2 tot 512. Volgens de profielgids van NVIDIA krijgt het geteste H100-profiel drie van de zeven aandelen van de streaming multiprocessors en vier van de acht geheugeneenheden toegewezen. De twee configuraties hebben een vergelijkbare geheugencapaciteit, maar verschillen in de toegewezen rekenkracht.

Over alle tests rapporteerde AWS voor de H100-partitie 53% tot 89% meer outputtokens per seconde bij de belasting waarbij het kostenvoordeel in elk scenario het grootst was. De vertraging tussen tokens was 8,9% tot 42,1% lager en de tijd tot het eerste token 5,6% tot 47,5% lager. Bij de hoogste gelijktijdigheid voor workloads van 6.000 en 8.000 tokens haalde de A100 de servedeadline niet voor een derde tot de helft van de verzoeken, terwijl de partitie geen enkel verzoek miste.

Uit de kostenanalyse van AWS, die per geval werd gepresenteerd en niet als een algemeen oordeel, bleek dat de kosten per miljoen outputtokens 18% tot 34% lager waren zodra het verkeer een workloadspecifiek break-evenpunt overschreed. Dat punt werd bereikt bij een gelijktijdigheid van 64 voor prompts van 100 tokens en bij een gelijktijdigheid van 4 voor prompts van 8.000 tokens. Onder dat punt bleef de volledige A100 goedkoper, waardoor de oudere, volledige GPU mogelijk geschikter is voor workloads met korte invoer of een lage gelijktijdigheid. Voor de vergelijking van de kosten per eenheid werden de on-demandprijzen van de instanties gedeeld door het aantal geteste eenheden op elke instantie.

Ondersteunde hardware en gebruiksbeperkingen

Bij de introductie worden vier instantiefamilies ondersteund. Het aantal partities en de beschikbare profielen zijn afhankelijk van de accelerator:

GPU-partitionering is beschikbaar in US East (N. Virginia), US East (Ohio), US West (Oregon), Asia Pacific (Singapore), Asia Pacific (Tokyo), Europe (Frankfurt) en Europe (Ireland), afhankelijk van de beschikbaarheid van instanties in de regio en het endpointquotum. Geen enkele partitie beslaat meerdere accelerators, dus modellen waarvoor een volledige GPU of meerdere GPU’s nodig zijn, vereisen nog steeds volledige apparaten.

Klanten blijven betalen voor de volledige GPU-instantie; partitionering kan de bruikbare capaciteit vergroten, maar verlaagt de prijs per uur niet. Gepartitioneerde endpoints en de bijbehorende inferentiecomponenten publiceren ook geen gebruiksgegevens voor GPU, CPU of geheugen naar CloudWatch, hoewel statistieken over aanroepen en latentie beschikbaar blijven. Op P4d vereist het mig-1g.10gb profiel NVIDIA’s R525-driver of nieuwer, en AWS verwijst klanten naar een nieuwere inferentie-AMI, omdat de standaardimage deze niet bevat.

Voor capaciteitsplanning betekent de introductie dat elke ondersteunde accelerator wordt opgesplitst in verschillende vaste GPU-formaten. Een hogere dichtheid dankzij hardware-isolatie brengt echter facturering voor de volledige instantie met zich mee, evenals indelingen die niet ter plekke kunnen worden aangepast en minder telemetrie over het gebruik. De benchmark van AWS laat zien hoe waardevol het is om het daadwerkelijke verkeer te meten: in die tests bood de H100-partitie voordelen op het gebied van prestaties en kosten bij zwaardere workloads met een lange context, terwijl uit de break-evenresultaten bleek dat een volledige A100 goedkoper bleef voor lichtere workloads.