AWS додає партиціювання GPU NVIDIA до кінцевих точок інференсу SageMaker

6 листопада 2026 року Amazon Web Services (AWS) оголосила про підтримку NVIDIA Multi-Instance GPU в Amazon SageMaker Inference, що дає змогу кільком моделям із апаратною ізоляцією спільно використовувати один прискорювач на кінцевих точках реального часу замість того, щоб виділяти для кожного розгортання цілий GPU.

Ця функція усуває два обмеження, пов’язані з виділенням цілого GPU. Кількість прискорювачів обмежує число моделей, які може розмістити екземпляр, незалежно від того, наскільки мало пам’яті чи обчислювальних ресурсів використовує кожна модель; крім того, клієнтам, які розглядають можливість використання новішого GPU, потрібно виділяти весь пристрій. Натомість Multi-Instance GPU (MIG) надає кожній партиції фіксовану частку обчислювальних блоків і окремий блок пам’яті, а ізоляцію забезпечує апаратне забезпечення. Оскільки кожна модель постійно залишається в пам’яті, такий підхід також усуває затримку, що виникає, коли кінцева точка з кількома моделями завантажує модель на спільний пристрій під час першого використання.

Партиціювання доступне лише для кінцевих точок реального часу, які використовують компоненти інференсу — механізм SageMaker для розгортання кількох моделей на одній кінцевій точці та налаштування обсягу обчислювальних ресурсів для кожної з них. Партиціювати не можна кінцеві точки з однією моделлю, безсерверні кінцеві точки та пули різнорідних екземплярів. Асинхронні робочі навантаження також не підтримуються, оскільки асинхронний виклик не може звертатися до компонента інференсу.

Salesforce допомогла визначити вимоги та перевірити початкову реалізацію. Річард Чанг, архітектор програмного забезпечення в Salesforce, сказав, що компанія очікує, що MIG дасть змогу безпечно об’єднувати робочі навантаження, підвищити ефективність використання GPU та знизити витрати на інференс, зберігаючи передбачувану продуктивність і ізоляцію. Salesforce готується перевірити програмне забезпечення на репрезентативних робочих навантаженнях із виробничого середовища, тож ці переваги є очікуваннями, а не підтвердженими результатами у виробничих умовах.

Партиціювання контролюють два поля API

У документації для розробників SageMaker AI описано два необов’язкові поля: AcceleratorPartitionLayouts визначає поділ ресурсів у виробничому варіанті, а AcceleratorPartitionType вибирає профіль для компонента інференсу. Нових операцій API, типів ресурсів або дій AWS Identity and Access Management не додається; якщо не вказати жодного з цих полів, кінцева точка працюватиме як і раніше.

Вибрана конфігурація однаково застосовується до кожного прискорювача в кожному екземплярі варіанта. У прикладі AWS кожен із восьми прискорювачів A100 в ml.p4d.24xlarge на mig-4g.20gb, mig-2g.10gb і mig-1g.5gb партиції, утворюючи 24 партиції на кінцевій точці. Кожна копія компонента інференсу займає одну запитану партицію, тоді як InvokeEndpoint і далі звертається до моделей за назвою компонента, без ідентифікатора партиції. За даними AWS, під час тестування поділ прискорювачів збільшив час підготовки приблизно на 17 секунд.

Ізоляція охоплює обчислювальні ресурси й пам’ять GPU, але не весь хост. Моделі на одному екземплярі й далі спільно використовують CPU хоста, його пам’ять, сховище, мережу та маршрутизацію кінцевої точки. Якщо компонент запитує профіль, якого немає в конфігурації, запит відхиляється, а не задовольняється виділенням цілого GPU. Щоб змінити конфігурацію запущеної кінцевої точки, потрібно створити нову кінцеву точку й перенести трафік; щоб перемістити компонент до іншого профілю, потрібно створити новий компонент.

AWS тестує партицію H100 у порівнянні з цілим A100

AWS порівняла одну mig-3g.40gb партицію H100 із цілим A100-40GB, використовуючи Llama-3.1-8B-Instruct на кінцевих точках реального часу SageMaker у виробничому середовищі. В обох конфігураціях використовували одну репліку моделі, ідентичні контейнери, токенізатори й налаштування клієнта; genai-bench створював п’ять типів трафіку з рівнями паралельності від 2 до 512. У посібнику NVIDIA з профілів для тестованого профілю H100 виділено три із семи часток потокових мультипроцесорів і чотири з восьми одиниць пам’яті. Ємність пам’яті в обох конфігураціях порівнянна, але обсяг виділених обчислювальних ресурсів різний.

За результатами тестів AWS повідомила, що за навантаження, на якому перевага кожного сценарію щодо вартості була найбільшою, партиція H100 забезпечувала на 53–89% більше вихідних токенів за секунду. Затримка між токенами була меншою на 8,9–42,1%, а час до першого токена — на 5,6–47,5%. За найвищого рівня паралельності в робочих навантаженнях із 6 000 і 8 000 токенів A100 не встигав обробити запит до встановленого граничного часу в третині — половині випадків, тоді як партиція не пропустила жодного строку.

Аналіз витрат AWS, представлений як порівняння окремих випадків, а не універсальний висновок, показав зниження вартості мільйона вихідних токенів на 18–34% після перевищення порогового рівня трафіку, специфічного для кожного робочого навантаження. Цей поріг становив рівень паралельності 64 для запитів із 100 токенами та рівень паралельності 4 для запитів із 8 000 токенами. Нижче цього порога цілий A100 залишався дешевшим, тож для робочих навантажень із короткими запитами або низьким рівнем паралельності старий GPU без партиціювання потенційно може бути кращим вибором. Для порівняння вартості одиниці продукції ціни екземплярів за запитом ділили на кількість протестованих одиниць на кожному екземплярі.

Підтримуване обладнання та обмеження в роботі

Під час запуску підтримуються чотири сімейства екземплярів; кількість партицій і доступні профілі залежать від прискорювача:

Розділення GPU доступне у східному регіоні США (Північна Вірджинія), східному регіоні США (Огайо), західному регіоні США (Орегон), Азійсько-Тихоокеанському регіоні (Сінгапур), Азійсько-Тихоокеанському регіоні (Токіо), Європейському регіоні (Франкфурт) та Європейському регіоні (Ірландія) — за умови доступності екземплярів у відповідному регіоні та наявності квоти для кінцевої точки. Жоден розділ не охоплює кілька прискорювачів, тому моделям, яким потрібен повний GPU або кілька GPU, усе одно потрібні цілі пристрої.

Клієнти й надалі платять за весь екземпляр GPU: розділення може збільшити корисну місткість, але не знижує погодинну ціну. Кінцеві точки з розділеними GPU та їхні компоненти інференсу також не передають до CloudWatch метрики використання GPU, CPU чи пам’яті, хоча метрики викликів і затримки залишаються доступними. Для P4d цей mig-1g.10gb профіль потребує драйвера NVIDIA версії R525 або новішої, і AWS рекомендує клієнтам новіший AMI для інференсу, оскільки стандартний образ його не містить.

З погляду планування ресурсів, запуск цієї функції дає змогу розділити кожен підтримуваний прискорювач на кілька секцій фіксованого розміру GPU. Однак щільніше розгортання з апаратною ізоляцією передбачає оплату всього екземпляра, незмінні на місці конфігурації та обмежену телеметрію використання. Тестування AWS демонструє цінність вимірювання реального навантаження: у цих тестах секція H100 забезпечила переваги в продуктивності та вартості за інтенсивнішого навантаження з довгим контекстом, тоді як результати аналізу точки беззбитковості показали, що для легших робочих навантажень цілий A100 обходився дешевше.