AWS adaugă partiționarea GPU-urilor NVIDIA la punctele finale de inferență SageMaker

Amazon Web Services (AWS) a anunțat suportul pentru NVIDIA Multi-Instance GPU în Amazon SageMaker Inference pe 6 noiembrie 2026, permițând mai multor modele izolate la nivel hardware să partajeze un singur accelerator în punctele finale în timp real, în loc ca fiecărei implementări să i se aloce un GPU întreg.

Funcționalitatea răspunde la două limitări ale alocării unui GPU întreg. Numărul de acceleratoare limitează câte modele poate găzdui o instanță, indiferent cât de puțină memorie sau putere de calcul folosește fiecare model, iar clienții care iau în calcul un GPU mai nou trebuie să aloce întregul dispozitiv. În schimb, Multi-Instance GPU (MIG) îi oferă fiecărei partiții o cotă fixă de unități de calcul și un bloc de memorie dedicat, izolarea fiind asigurată la nivel hardware. Deoarece fiecare model rămâne încărcat, această configurație evită și întârzierea produsă atunci când un punct final cu mai multe modele încarcă un model pe dispozitivul partajat pentru prima utilizare.

Partiționarea este disponibilă numai pentru punctele finale în timp real care folosesc componente de inferență, mecanismul SageMaker pentru implementarea mai multor modele într-un singur punct final și stabilirea puterii de calcul alocate fiecăruia. Punctele finale cu un singur model, cele fără server și grupurile de instanțe eterogene nu pot fi partiționate. Sarcinile asincrone nu intră nici ele în sfera acestei funcționalități, deoarece invocarea asincronă nu poate viza o componentă de inferență.

Salesforce a contribuit la definirea cerințelor și la validarea implementării inițiale. Richard Chang, arhitect software în cadrul Salesforce, a declarat că firma se aștepta ca MIG să permită consolidarea în siguranță a sarcinilor de lucru, să îmbunătățească gradul de utilizare a GPU-urilor și să reducă costurile de inferență, menținând în același timp performanța previzibilă și izolarea. Salesforce se pregătește să valideze software-ul folosind sarcini de lucru reprezentative din producție, astfel că aceste beneficii sunt așteptări, nu rezultate raportate din mediul de producție.

Partiționarea este controlată de două câmpuri API

Documentația pentru dezvoltatori SageMaker AI definește două câmpuri opționale: AcceleratorPartitionLayouts declară partiționarea pentru o variantă de producție, iar AcceleratorPartitionType selectează profilul folosit de o componentă de inferență. Nu există operațiuni API, tipuri de resurse sau acțiuni AWS Identity and Access Management noi, iar dacă ambele câmpuri sunt omise, comportamentul existent al punctului final se păstrează.

Configurația selectată se aplică în mod uniform fiecărui accelerator de pe fiecare instanță din variantă. În exemplul AWS, fiecare dintre cele opt GPU-uri A100 de pe o ml.p4d.24xlarge în mig-4g.20gb, mig-2g.10gb și mig-1g.5gb partiții, rezultând 24 de partiții în întregul punct final. Fiecare copie a unei componente de inferență ocupă o partiție solicitată, în timp ce InvokeEndpoint continuă să vizeze modelele după numele componentei, fără un identificator de partiție. AWS a declarat că, în testele sale, partiționarea acceleratoarelor a adăugat aproximativ 17 secunde la procesul de asigurare a resurselor.

Izolarea se aplică puterii de calcul și memoriei GPU-ului, nu întregii gazde. Modelele de pe aceeași instanță partajează în continuare procesorul gazdei, memoria gazdei, spațiul de stocare, rețeaua și rutarea punctului final. O componentă care solicită un profil absent din configurație este respinsă, în loc să primească un GPU întreg. Schimbarea configurației unui punct final aflat în funcțiune necesită un punct final nou și migrarea traficului; mutarea unei componente la un alt profil necesită crearea unei componente noi.

AWS testează o partiție H100 în comparație cu un A100 întreg

AWS a comparat o mig-3g.40gb partiție H100 cu un A100-40GB întreg, folosind Llama-3.1-8B-Instruct pe puncte finale SageMaker în timp real, din mediul de producție. Ambele configurații au folosit o singură replică a modelului, containere, tokenizatoare și configurații ale clientului identice, iar genai-bench a generat cinci forme de trafic, la niveluri de concurență cuprinse între 2 și 512. Ghidul de profiluri NVIDIA alocă profilului H100 testat trei dintre cele șapte cote de procesoare multiparalele de streaming și patru dintre cele opt unități de memorie. Cele două configurații au capacități de memorie comparabile, dar alocări diferite de putere de calcul.

În cadrul testelor, AWS a raportat că partiția H100 a furnizat cu 53% până la 89% mai multe tokenuri de ieșire pe secundă la nivelul de încărcare la care beneficiul de cost al fiecărui scenariu a fost cel mai mare. Latența dintre tokenuri a fost cu 8,9% până la 42,1% mai mică, iar timpul până la primul token a fost cu 5,6% până la 47,5% mai mic. La cel mai ridicat nivel de concurență, în sarcinile de lucru cu 6.000 și 8.000 de tokenuri, A100 nu a respectat termenul de servire pentru între o treime și jumătate dintre solicitări, în timp ce partiția nu a ratat termenul pentru nicio solicitare.

Analiza costurilor realizată de AWS, prezentată ca o comparație de la caz la caz, nu ca o concluzie universală, a constatat un cost cu 18% până la 34% mai mic per milion de tokenuri de ieșire după ce traficul a depășit pragul de rentabilitate specific fiecărei sarcini de lucru. Acest prag a fost atins la un nivel de concurență de 64 pentru prompturi de 100 de tokenuri și la un nivel de concurență de 4 pentru prompturi de 8.000 de tokenuri. Sub acest prag, A100-ul întreg a rămas mai ieftin, astfel că GPU-ul mai vechi, nepartiționat, ar putea fi o alegere mai potrivită pentru sarcini de lucru cu intrări scurte sau cu un nivel redus de concurență. Pentru comparația costului unitar, prețurile instanțelor la cerere au fost împărțite la numărul de unități testate pe fiecare instanță.

Hardware compatibil și limite operaționale

La lansare sunt incluse patru familii de instanțe, iar numărul de partiții și profilurile disponibile depind de accelerator:

Partiționarea GPU este disponibilă în estul SUA (Virginia de Nord), estul SUA (Ohio), vestul SUA (Oregon), Asia-Pacific (Singapore), Asia-Pacific (Tokyo), Europa (Frankfurt) și Europa (Irlanda), în funcție de disponibilitatea instanțelor în fiecare regiune și de cota endpointului. Nicio partiție nu se extinde pe mai multe acceleratoare, așadar modelele care necesită un GPU întreg sau mai multe GPU-uri au în continuare nevoie de dispozitive întregi.

Clienții continuă să plătească pentru întreaga instanță GPU; partiționarea poate mări capacitatea utilizabilă, dar nu reduce tariful orar. Endpointurile partiționate și componentele lor de inferență nu publică nici valori privind utilizarea GPU-ului, a CPU-ului sau a memoriei în CloudWatch, deși valorile privind apelurile și latența rămân disponibile. Pe P4d, profilul mig-1g.10gb necesită driverul R525 de la NVIDIA sau o versiune mai nouă, iar AWS le recomandă clienților să folosească o AMI de inferență mai nouă, deoarece imaginea implicită nu include acest driver.

Pentru planificarea capacității, lansarea transformă fiecare accelerator acceptat în mai multe dimensiuni GPU fixe, însă implementarea mai densă, cu izolare hardware, vine la pachet cu facturarea întregii instanțe, configurații care nu pot fi modificate pe loc și date de telemetrie privind utilizarea mai limitate. Evaluarea comparativă realizată de AWS demonstrează importanța măsurării traficului real: în testele respective, partiția H100 a oferit avantaje de performanță și de cost în condiții mai solicitante, cu contexte lungi, în timp ce rezultatele privind pragul de rentabilitate au arătat că un A100 întreg era mai ieftin pentru sarcini mai ușoare.