تضيف AWS تقسيم وحدات معالجة الرسومات NVIDIA إلى نقاط نهاية الاستدلال في SageMaker

أعلنت Amazon Web Services (AWS) عن دعم NVIDIA Multi-Instance GPU في Amazon SageMaker Inference في 6 نوفمبر 2026، ما يتيح لعدة نماذج معزولة عتاديًا مشاركة مُسرِّع واحد على نقاط النهاية الآنية، بدلًا من تخصيص وحدة معالجة رسومية كاملة لكل عملية نشر.

تعالج هذه الميزة قيدين يفرضهما تخصيص وحدة معالجة رسومات كاملة. فعدد المسرّعات يحدّ من عدد النماذج التي يمكن للمثيل استضافتها، بصرف النظر عن قلة الذاكرة أو القدرة الحاسوبية التي يستخدمها كل نموذج، كما يتعين على العملاء الراغبين في استخدام وحدة معالجة رسومات أحدث تخصيص الجهاز بأكمله. أما تقنية وحدات معالجة الرسومات متعددة المثيلات (MIG)، فتمنح كل قسم حصة ثابتة من وحدات الحوسبة وكتلة ذاكرة مخصصة، مع فرض العزل على مستوى العتاد. وبما أن كل نموذج يظل محمّلًا وجاهزًا، فإن هذا الترتيب يتجنب أيضًا التأخير الذي يحدث عندما تحمّل نقطة نهاية متعددة النماذج نموذجًا إلى الجهاز المشترك عند استخدامه للمرة الأولى.

يقتصر التقسيم على نقاط النهاية الآنية التي تستخدم مكونات الاستدلال، وهي آلية SageMaker لنشر عدة نماذج على نقطة نهاية واحدة وتحديد القدرة الحاسوبية التي يتلقاها كل منها. ولا يمكن تقسيم نقاط النهاية ذات النموذج الواحد، أو نقاط النهاية عديمة الخوادم، أو مجموعات المثيلات غير المتجانسة. كما أن أعباء العمل غير المتزامنة خارج نطاق هذه الميزة، لأن الاستدعاء غير المتزامن لا يمكنه استهداف مكوّن استدلال.

ساعدت Salesforce في تحديد المتطلبات والتحقق من صحة التنفيذ الأولي. وقال Richard Chang، وهو مهندس معماري لهندسة البرمجيات في Salesforce، إن الشركة تتوقع أن يتيح MIG دمج أعباء العمل بأمان، وتحسين الاستفادة من وحدات معالجة الرسوميات، وخفض تكاليف الاستدلال، مع الحفاظ على أداء وعزل يمكن التنبؤ بهما. وتستعد Salesforce للتحقق من صحة البرنامج باستخدام أعباء عمل تمثيلية في بيئة الإنتاج، لذا تظل هذه الفوائد توقعات وليست نتائج إنتاج مُبلّغًا عنها.

يتحكم حقلا API في التقسيم

تحدد وثائق المطورين الخاصة بـ SageMaker AI حقلين اختياريين: AcceleratorPartitionLayouts يحدّد التقسيم على أحد متغيرات بيئة الإنتاج، و AcceleratorPartitionType يختار ملف التعريف الذي يستخدمه أحد مكونات الاستدلال. ولا توجد عمليات API جديدة أو أنواع موارد أو إجراءات جديدة في AWS Identity and Access Management، كما أن ترك الحقلين دون تحديد يُبقي سلوك نقاط النهاية الحالي كما هو.

يُطبّق التخطيط المحدد بصورة موحدة على كل مسرّع في كل مثيل ضمن المتغير. ويوضح مثال AWS تقسيم كل واحدة من وحدات A100 الثماني على ml.p4d.24xlarge إلى mig-4g.20gb, mig-2g.10gb و mig-1g.5gb أقسام، لينتج عن ذلك 24 قسمًا عبر نقطة النهاية. وتشغل كل نسخة من مكوّن الاستدلال قسمًا واحدًا من الأقسام المطلوبة، بينما InvokeEndpoint يواصل استهداف النماذج باستخدام اسم المكوّن من دون معرّف للقسم. وقالت AWS إن تقسيم المسرّعات أضاف نحو 17 ثانية إلى مدة التجهيز في اختباراتها.

يشمل العزل القدرة الحاسوبية لوحدة معالجة الرسومات وذاكرتها، لا المضيف بأكمله. وتظل النماذج الموجودة على مثيل واحد تتشارك وحدة المعالجة المركزية للمضيف وذاكرته وتخزينه وشبكته وتوجيه نقاط النهاية. ويُرفض المكوّن الذي يطلب ملف تعريف غير موجود في التخطيط، بدلًا من منحه وحدة معالجة رسومات كاملة. ويتطلب تغيير تخطيط نقطة نهاية قيد التشغيل إنشاء نقطة نهاية جديدة ونقل حركة المرور إليها؛ أما نقل مكوّن إلى ملف تعريف آخر فيتطلب إنشاء مكوّن جديد.

تختبر AWS قسمًا من H100 في مقابل وحدة A100 كاملة

قارنت AWS قسمًا واحدًا من mig-3g.40gb قورِن قسم من H100 بوحدة A100-40GB كاملة، باستخدام Llama-3.1-8B-Instruct على نقاط نهاية SageMaker الآنية في بيئة الإنتاج. واستخدم الجانبان نسخة متماثلة واحدة من النموذج، وحاويات ومحللات رموز وإعدادات عميل متطابقة، فيما تولّى genai-bench تشغيل خمسة أنماط لحركة المرور عند مستويات تزامن تتراوح بين 2 و512. ويخصص دليل ملفات تعريف NVIDIA لملف تعريف H100 الذي خضع للاختبار ثلاث حصص من أصل سبع لوحدات المعالجة المتدفقة، وأربع وحدات من أصل ثماني وحدات للذاكرة. وتتمتع التهيئتان بسعة ذاكرة متقاربة، لكنهما تختلفان في تخصيص موارد الحوسبة.

أفادت AWS بأن قسم H100 حقق، عبر الاختبارات، زيادة تراوحت بين 53% و89% في عدد رموز الإخراج في الثانية عند مستوى الحمل الذي حقق أكبر فائدة من حيث التكلفة في كل سيناريو. وانخفض زمن الانتقال بين الرموز بنسبة تراوحت بين 8.9% و42.1%، كما انخفض الزمن اللازم لإنتاج الرمز الأول بنسبة تراوحت بين 5.6% و47.5%. وعند أعلى مستوى من التزامن في أعباء العمل التي تضمنت 6,000 و8,000 رمز، لم تتمكن وحدة A100 من الوفاء بالمهلة المحددة للخدمة في ما بين ثلث الطلبات ونصفها، في حين لم يُخفق القسم في أي طلب.

خلص تحليل AWS للتكلفة، الذي عُرض بوصفه مقارنة لكل حالة على حدة لا حكمًا عامًا، إلى انخفاض التكلفة لكل مليون رمز إخراج بنسبة تراوحت بين 18% و34% بعد تجاوز نقطة التعادل الخاصة بكل عبء عمل. وبلغت نقطة التعادل مستوى تزامن قدره 64 عند استخدام مطالبات من 100 رمز، ومستوى تزامن قدره 4 عند استخدام مطالبات من 8,000 رمز. أما دون هذه النقطة، فظلت وحدة A100 الكاملة أقل تكلفة، ما يعني أن أعباء العمل ذات المدخلات القصيرة أو مستويات التزامن المنخفضة قد تكون أنسب لوحدة معالجة الرسومات الأقدم والكاملة. وحُسبت مقارنة تكلفة الوحدة بقسمة أسعار المثيلات عند الطلب على عدد الوحدات المختبرة في كل مثيل.

العتاد المدعوم وحدود التشغيل

يشمل الإطلاق أربع فئات من المثيلات، ويتحدد عدد الأقسام وملفات التعريف وفقًا للمسرّع:

يتوفر تقسيم وحدات GPU في شرق الولايات المتحدة (شمال فرجينيا)، وشرق الولايات المتحدة (أوهايو)، وغرب الولايات المتحدة (أوريغون)، وآسيا والمحيط الهادئ (سنغافورة)، وآسيا والمحيط الهادئ (طوكيو)، وأوروبا (فرانكفورت)، وأوروبا (أيرلندا)، وذلك رهناً بتوفر أنواع المثيلات في المنطقة وحصة نقاط النهاية. لا يمتد أي قسم عبر وحدات التسريع، لذا تظل النماذج التي تتطلب وحدة GPU كاملة أو عدة وحدات GPU بحاجة إلى وحدات كاملة.

يواصل العملاء دفع تكلفة مثيل GPU بالكامل؛ إذ يمكن للتقسيم زيادة السعة القابلة للاستخدام، لكنه لا يخفض سعره بالساعة. كذلك، لا تنشر نقاط النهاية المقسمة ومكونات الاستدلال الخاصة بها مقاييس استخدام GPU أو CPU أو الذاكرة إلى CloudWatch، مع بقاء مقاييس الاستدعاء وزمن الاستجابة متاحة. أما على P4d، فإن mig-1g.10gb يتطلب هذا الملف تعريف تشغيل NVIDIA بالإصدار R525 أو أحدث، وتوصي AWS العملاء باستخدام صورة AMI أحدث للاستدلال، لأن الصورة الافتراضية لا توفره.

فيما يتعلق بتخطيط السعة، يحوّل هذا الإطلاق كل وحدة تسريع مدعومة إلى عدة أحجام ثابتة لوحدات GPU، لكن النشر الأكثر كثافة والمعزول على مستوى الأجهزة يأتي مع احتساب تكلفة المثيل بالكامل، وتخطيطات لا يمكن تعديلها أثناء التشغيل، وانخفاض في بيانات القياس الخاصة بالاستخدام. وتُظهر معايير AWS قيمة قياس حركة الاستخدام الفعلية: فقد حقق قسم H100 مزايا في الأداء والتكلفة في ظل ظروف السياق الطويل الأكثر كثافة ضمن تلك الاختبارات، بينما أظهرت نتائج نقطة التعادل أن A100 كاملة كانت أقل تكلفة لأحمال العمل الأخف.