نماذج ومنصات الذكاء الاصطناعي
تضيف AWS خدمة NVIDIA Dynamo المُدارة إلى الاستدلال عبر SageMaker HyperPod

النقاط الرئيسيةتسمح البنية المفككة لـ Dynamo لمجمعات التعبئة المسبقة وفك الترميز بالتوسع بشكل مستقل…
عرض المزيد
- تسمح البنية المفككة لـ Dynamo لمجمعات التعبئة المسبقة وفك الترميز بالتوسع بشكل مستقل بينما لا يزال كلاهما يحمّل أوزان النموذج الكاملة.
- تُقارن زيادة الإنتاجية بمقدار 2.05 مرة لدى AWS نتائج مقيّدة بزمن الاستجابة عند مستويات تزامن مختلفة بدلاً من الحدود القصوى غير المقيّدة.
- يؤتمت HyperPod المُدار التنسيق والاستعادة لكنه يترك مقايضات البنية وتخصيص وحدات معالجة الرسومات لسلوك حمل العمل المقاس.
أعلنت Amazon Web Services في 17 نوفمبر 2026 أن Amazon SageMaker HyperPod Inference يدعم الآن NVIDIA Dynamo لتقديم النماذج المُدار عبر عُقد متعددة وببنية مفككة، إلى جانب نتائج اختبارات معيارية تُظهر معدل إنتاجية يبلغ 2.05 ضعف أعلى معدل مؤهل لإخراج الرموز المميزة المجمّع لكل وحدة GPU، ضمن حدود زمن الاستجابة التي تحددها AWS.
تعالج هذه الإضافة قيدين في تقديم نماذج اللغة الكبيرة: استيعاب أوزان النموذج وذاكرة التخزين المؤقت القابلة لإعادة الاستخدام للمفاتيح والقيم (KV) في ذاكرة GPU، والحيلولة دون أن تؤدي معالجة المطالبات الطويلة إلى إبطاء توليد الرموز المميزة عندما تتشارك المرحلتان وحدات GPU. وتوضح AWS ضغط الذاكرة باستخدام GLM-5.3، إذ تتجاوز أوزانه وحدها، بصيغة الفاصلة العائمة ذات 8 بتات (FP8)، سعة ذاكرة GPU البالغة 640 GB في مثيل ml.p5.48xlarge واحد، قبل احتساب ذاكرة التخزين المؤقت للمفاتيح والقيم والنفقات التشغيلية الإضافية.
توفر HyperPod البنية التحتية المُدارة المحيطة بالإطار: شبكات Elastic Fabric Adapter (EFA)، وجدولة منسقة لوحدات GPU، ومراقبة صحة العُقد ووحدات GPU وEFA، واستبدال العُقد. وتتولى HyperPod إدارة هذا الاستبدال، بينما تعيد مكونات التنسيق إنشاء العمال المتأثرين.
تقديم النماذج ببنية مفككة والتوجيه المراعي لذاكرة KV
Dynamo إطار عمل مفتوح المصدر وموزع للاستدلال، ويتوافق مع vLLM وSGLang وTensorRT-LLM. وتستخدم بنيته المفككة واجهة أمامية لتوجيه الطلبات إلى عمال التمهئة، الذين يعالجون المطالبات، وعمال فك الترميز، الذين يولّدون الرموز المميزة. ويمكن توسيع مجموعتي العمال وضبطهما بشكل مستقل، لكن كلتيهما تحمّلان أوزان النموذج كاملة؛ وتُنقل ذاكرة التخزين المؤقت للمفاتيح والقيم بينهما عبر EFA.
في تقديم النماذج المجمّع، تنفّذ المرحلةَين كلتيهما عقدةُ عمل واحدة. وفي كلتا البنيتين، يمكن تشغيل العمال على مثيل واحد أو توزيعهم على مثيلات متعددة، باستخدام التوازي الموترِي وتوازي خطوط المعالجة لتقسيم النموذج على وحدات GPU. ويراعي موجّه Dynamo المدرك لذاكرة KV ذاكرة التخزين المؤقت للبادئات القابلة لإعادة الاستخدام وحمل العمال النشطين. وتقول AWS إن إعادة استخدام البادئات يمكن أن تقلل إعادة احتساب المطالبات وتحسّن زمن الوصول إلى أول رمز مميز، فيما يساعد رصد الحمل على تجنب إرهاق العمال المنفردين.
اختبارات معيارية مع قيود على زمن الاستجابة
استخدمت مقارنة Qwen3-235B-A22B-FP8 كلاً من Dynamo وTensorRT-LLM على p5en.48xlarge مثيلين، بإجمالي 16 وحدة H200 GPU. وأنشأ AIPerf طلبات تتضمن 4,000 رمز مميز للإدخال و200 رمز مميز للإخراج. واحتفظت AWS فقط بالنقاط المقاسة التي يقل فيها زمن الوصول إلى أول رمز مميز عند الشريحة المئوية التسعين عن ثانية واحدة، وتبلغ فيها سرعة التوليد الوسيطة 50 رمزًا مميزًا على الأقل في الثانية لكل مستخدم.
أفادت AWS بأن تقديم النماذج بالبنية المفككة بلغ 207 رموز مميزة مُخرجة في الثانية لكل وحدة GPU عند مستوى تزامن 80، مقارنةً بـ101 عند مستوى تزامن 32 لأعلى نتيجة مؤهلة للتقديم المجمّع. لذا، تتعلق المقارنة بالإنتاجية ضمن قيود زمن الاستجابة ومستويات تزامن مختلفة، لا بأقصى إنتاجية غير مقيدة لأي من البنيتين.
واستخدم اختبار منفصل لـQwen3.5-397B-A17B-FP8 كلاً من Dynamo وvLLM لمقارنة ثماني وحدات H200 GPU على p5en.48xlarge مثيل واحد بأربع وحدات GPU على كل واحد من مثيلين، مع الإبقاء على النموذج والتوازي وإعداد عبء العمل كما هي. وأفادت AWS بأن إعداد العقدتين حقق 126.4 رمزًا مميزًا مُخرجًا في الثانية لكل وحدة GPU، أي ما يعادل 99.1% من إنتاجية العقدة الواحدة، عند مستوى تزامن 32 مع إعادة استخدام مرتفعة للبادئات. ويمكن تشغيل النموذج على مثيل واحد، ولا يُقسّم عادةً بهذه الطريقة في الممارسة؛ لذا شكّل الاختبار خط أساس مضبوطًا لقياس أثر تجاوز حدود العقدة في الإنتاجية.
الإعداد المُدار وتخطيط الموارد
لدى المستخدمين مساران للإعداد. ويمكن لمستخدمي Dynamo الحاليين تقديم DynamoGraphDeployment ملف بيان يصف رسم خدمة النماذج، وإدارة التخزين والشبكات وتوزيع الوحدات الطرفية والنقاط النهائية وTLS والتسجيل والتوسع التلقائي بأنفسهم. أما InferenceEndpointConfig فيستخدم المسار dynamoSpec لإعداد نقاط النهاية المُدارة، ويعتمد على Kubernetes Event-driven Autoscaling (KEDA) لأي من بنيتي تقديم النماذج. ويستخدم vLLM افتراضيًا، ويوفر إعدادات افتراضية للتوجيه المراعي لذاكرة KV وعدد النسخ المتماثلة، ويدعم واجهة متوافقة مع OpenAI عبر نقاط نهاية SageMaker.
تثبّت الإضافة تعريفات الموارد المخصصة لـDynamo ومكونات تقديم النماذج والجدولة، فيما توفر AWS Deep Learning Containers بيئة التشغيل. وفي المسار المُدار، ينقل HyperPod Inference Operator الأوزان من Amazon S3 أو FSx ويُنشئ DynamoGraphDeployment. وينسّق Grove مجموعات الوحدات الطرفية المرتبطة، بينما يستخدم KAI Scheduler جدولة المجموعات لضمان وضع وحدات كل عامل متعدد العُقد معًا. ويتطلب اعتماد إصدار مدعوم من Dynamo تحديث الإضافة.
يوضح مثال AWS الخاص بـGLM-5.3 خيار تخصيص وحدات GPU بصورة ملموسة. إذ يشغّل الإعداد المجمّع نسخة متماثلة واحدة من عامل النموذج عبر ml.p5.48xlarge مثيلين، مع توازٍ موترِي من 16 اتجاهًا ونسختين متماثلتين للواجهة الأمامية. أما الإعداد المفكك، فيهيّئ نسخة متماثلة واحدة للتمهئة ونسختين متماثلتين لفك الترميز، تمتد كل منها عبر مثيلين، ليبلغ الإجمالي ستة مثيلات. ويوضح اختلاف أعداد النسخ المتماثلة كيف يمكن للنشر تخصيص قدرات متفاوتة لمعالجة المطالبات وتوليد الرموز المميزة، بدلًا من توسيع مجموعة واحدة تجمع المرحلتين.
توصي AWS بالتحقق من اتصال EFA قبل إجراء الاختبارات المعيارية، واختبار أطوال تمثيلية للمطالبات والمخرجات وإعادة استخدام البادئة، واختبار مستويات التزامن المختلفة مقارنةً بأهداف مستوى الخدمة، وضبط البنية الطوبولوجية وتوزيع العمال استنادًا إلى الاختناقات المقاسة قبل تغيير إعدادات المحرك.
يتولى HyperPod الآن مزيدًا من أعمال التنسيق والتعافي، لكن ظروف الاختبارات المعيارية وأمثلة النشر توضح أن التشغيل المُدار لا يلغي المفاضلات المتعلقة بتقديم الاستدلال. ولا يزال التكوين المناسب يعتمد على السلوك المقاس للمطالبات والتوليد، وتوزيع وحدات معالجة الرسومات بين مجموعات العمال، وأولويات زمن الاستجابة والتكلفة الخاصة بعبء العمل.












