AWS přidává dělení GPU NVIDIA do koncových bodů SageMaker pro inferenci

Společnost Amazon Web Services (AWS) 6. listopadu 2026 oznámila podporu NVIDIA Multi-Instance GPU pro inferenci Amazon SageMaker, která umožňuje sdílet jeden akcelerátor mezi několika hardwarově izolovanými modely na koncových bodech pro inferenci v reálném čase, místo aby každé nasazení dostalo celý GPU.

Tato funkce řeší dvě omezení přidělování celých GPU. Počet akcelerátorů omezuje počet modelů, které může instance hostovat, bez ohledu na to, jak málo paměti nebo výpočetního výkonu každý model využívá; zákazníci, kteří zvažují novější GPU, navíc musí přidělit celé zařízení. Multi-Instance GPU (MIG) namísto toho poskytuje každému oddílu pevně stanovený podíl výpočetních jednotek a vyhrazený blok paměti, přičemž izolaci zajišťuje hardware. Protože každý model zůstává načtený, toto uspořádání také eliminuje prodlevu, která vzniká, když koncový bod s více modely při prvním použití načítá model do sdíleného zařízení.

Dělení je dostupné pouze pro koncové body v reálném čase, které využívají inferenční komponenty – konstrukci SageMakeru pro nasazení několika modelů do jednoho koncového bodu a nastavení výpočetního výkonu, který každý z nich dostane. Koncové body s jedním modelem, bezserverové koncové body ani heterogenní skupiny instancí dělit nelze. Funkce se nevztahuje ani na asynchronní úlohy, protože asynchronní volání nedokáže cílit na inferenční komponentu.

Salesforce pomohla stanovit požadavky a ověřit počáteční implementaci. Richard Chang, softwarový architekt společnosti Salesforce, uvedl, že společnost očekává, že MIG umožní bezpečně konsolidovat úlohy, zvýšit využití GPU a snížit náklady na inferenci, a přitom zachovat předvídatelný výkon a izolaci. Salesforce připravuje ověření softwaru na reprezentativních produkčních úlohách, takže jde o očekávané přínosy, nikoli o výsledky již dosažené v produkčním prostředí.

Dvě pole API řídí dělení

Vývojářská dokumentace SageMaker AI popisuje dvě nepovinná pole: AcceleratorPartitionLayouts určuje rozdělení v produkční variantě a AcceleratorPartitionType vybírá profil používaný inferenční komponentou. Nepřibývají žádné nové operace API, typy prostředků ani akce AWS Identity and Access Management; pokud se nevyplní ani jedno z obou polí, stávající chování koncového bodu zůstane zachováno.

Zvolené rozložení se jednotně použije na každý akcelerátor v každé instanci dané varianty. Příklad AWS rozděluje každý z osmi akcelerátorů A100 v ml.p4d.24xlarge na mig-4g.20gb, mig-2g.10gb a mig-1g.5gb oddílů, čímž na celém koncovém bodě vzniká 24 oddílů. Každá kopie inferenční komponenty zabírá jeden požadovaný oddíl, zatímco InvokeEndpoint nadále cílí na modely podle názvu komponenty, bez identifikátoru oddílu. AWS uvedla, že při testování rozdělení akcelerátorů prodloužilo zřizování přibližně o 17 sekund.

Izolace se vztahuje na výpočetní výkon a paměť GPU, nikoli na celý hostitelský počítač. Modely na jedné instanci nadále sdílejí procesor hostitele, jeho paměť, úložiště, síťové prostředky i směrování koncového bodu. Komponenta, která požaduje profil chybějící v daném rozložení, je odmítnuta, místo aby dostala celý GPU. Změna rozložení spuštěného koncového bodu vyžaduje vytvoření nového koncového bodu a přesun provozu; přesun komponenty na jiný profil vyžaduje vytvoření nové komponenty.

AWS testuje oddíl H100 proti celému A100

AWS porovnala jeden mig-3g.40gb oddíl H100 s celým A100-40GB pomocí modelu Llama-3.1-8B-Instruct na produkčních koncových bodech SageMaker pro inferenci v reálném čase. Obě varianty používaly jednu repliku modelu, totožné kontejnery, tokenizéry a konfigurace klienta; nástroj genai-bench simuloval pět typů provozu při úrovních souběžnosti od 2 do 512. Průvodce profily NVIDIA přiděluje testovanému profilu H100 tři ze sedmi podílů streamovacích multiprocesorů a čtyři z osmi paměťových jednotek. Obě konfigurace mají srovnatelnou kapacitu paměti, ale liší se přiděleným výpočetním výkonem.

AWS uvedla, že ve všech testech dosahoval oddíl H100 při zátěži, při níž byla v daném scénáři největší úspora nákladů, o 53 až 89 % vyšší propustnosti výstupních tokenů za sekundu. Prodleva mezi tokeny byla nižší o 8,9 až 42,1 % a doba do prvního tokenu o 5,6 až 47,5 %. Při nejvyšší souběžnosti u úloh s 6 000 a 8 000 tokeny A100 nesplnil limit pro obsloužení u jedné třetiny až poloviny požadavků, zatímco oddíl žádný požadavek nezpracoval pozdě.

Analýza nákladů AWS, kterou společnost představila jako srovnání jednotlivých případů, nikoli jako obecný závěr, zjistila po překročení bodu zvratu specifického pro danou úlohu o 18 až 34 % nižší náklady na milion výstupních tokenů. Bod zvratu nastal při souběžnosti 64 u zadání se 100 tokeny a při souběžnosti 4 u zadání s 8 000 tokeny. Pod touto hranicí zůstával celý A100 levnější, takže starší GPU vcelku může být vhodnější pro úlohy s krátkým vstupem nebo nízkou souběžností. Srovnání jednotkových nákladů vycházelo z cen instancí při objednání na vyžádání vydělených počtem testovaných jednotek na každé instanci.

Podporovaný hardware a provozní omezení

Uvedení na trh zahrnuje čtyři řady instancí; počet oddílů a dostupné profily určuje použitý akcelerátor:

Dělení GPU na oddíly je dostupné v regionech Východ USA (Severní Virginie), Východ USA (Ohio), Západ USA (Oregon), Asie a Tichomoří (Singapur), Asie a Tichomoří (Tokio), Evropa (Frankfurt) a Evropa (Irsko), v závislosti na dostupnosti instancí a kvótě koncového bodu v daném regionu. Žádný oddíl nepokrývá více akcelerátorů, takže modely, které vyžadují celé GPU nebo více GPU, stále potřebují celé akcelerátory.

Zákazníci nadále platí za celou instanci GPU; dělení na oddíly může zvýšit využitelnou kapacitu, ale nesnižuje hodinovou cenu instance. Koncové body rozdělené na oddíly a jejich inferenční komponenty také nezveřejňují metriky využití GPU, CPU ani paměti ve službě CloudWatch, přestože metriky počtu volání a latence zůstávají dostupné. U P4d mig-1g.10gb profil vyžaduje ovladač NVIDIA R525 nebo novější a AWS zákazníkům doporučuje novější AMI pro inferenci, protože výchozí obraz jej neobsahuje.

Pro plánování kapacity znamená toto uvedení, že každý podporovaný akcelerátor lze rozdělit na několik pevných velikostí GPU. Nasazení s vyšší hustotou a hardwarovou izolací je však spojeno s účtováním za celou instanci, rozvržením, které nelze upravit přímo na místě, a omezenějšími údaji o využití. Srovnávací test AWS ukazuje, jak důležité je měřit skutečný provoz: oddíl H100 v těchto testech přinesl při vyšší zátěži a práci s dlouhým kontextem výhody z hlediska výkonu i nákladů, zatímco výsledky bodu zvratu ukázaly, že pro méně náročné úlohy byla výhodnější celá A100.