نماذج ومنصات الذكاء الاصطناعي

توجّه AWS استدلال HyperPod عبر المناطق من نقطة نهاية واحدة

Theo Nash
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةتضيف البوابة العالمية طبقة لاختيار العنقود فوق توجيه بوابة الاستدلال الحالي على مستوى…
عرض المزيد
  • تضيف البوابة العالمية طبقة لاختيار العنقود فوق توجيه بوابة الاستدلال الحالي على مستوى الحاوية.
  • يضبط المشغلون أربع إشارات مرجحة بما في ذلك القرب الإقليمي بوزن 0.40 لموازنة زمن الاستجابة مقابل المرونة.
  • تذكر AWS أن البوابة لا تسجل أو تخزن المطالبات أو الإكمالات وتوجه فقط عبر PrivateLink.

قدّمت AWS في 20 نوفمبر 2026 بوابة الاستدلال العالمية لـ Amazon SageMaker HyperPod، موفّرةً للعملاء نقطة نهاية واحدة مُدارة لطلبات الاستدلال عبر مجموعات HyperPod المسجّلة في منطقة واحدة من AWS أو في مناطق متعددة. وتختار الخدمة مجموعةً استنادًا إلى مؤشرات السعة وقوائم الانتظار والقرب والأخطاء، مع تحويل تلقائي إلى مجموعة أخرى عند تعذّر إتاحة إحدى المجموعات.

يضيف الإطلاق طبقة توجيه ثانية فوق بوابة الاستدلال SageMaker HyperPod الحالية. وتواصل هذه البوابة، على مستوى المجموعة، اختيار وحدات النماذج الفردية استنادًا إلى مؤشرات تشمل استخدام ذاكرة التخزين المؤقت للمفاتيح والقيم (KV) وعمق قائمة الانتظار؛ أما الطبقة العالمية الجديدة فتختار المجموعة أولًا، مع إبقاء اختيار وحدات النماذج دون تغيير.

تعالج AWS مشكلة استغلال السعة: فقد تنتظر الطلبات في قائمة انتظار ضمن عنقود بلغ حدّ سعته، بينما تظل وحدات معالجة الرسومات المخصّصة مسبقًا خاملة في مكان آخر. وفي مثالها الذي تُشغَّل فيه أربعة نماذج عبر خمسة عناقيد في منطقتين، يتطلب تشغيل كل نموذج على حدة أن يتابع العملاء 20 نقطة نهاية. وتقلّص البوابات على مستوى العناقيد العدد إلى خمس نقاط، فيما توفر البوابة العامة نقطة واحدة. ويُلغي المستوى المُدار الحاجة إلى إنشاء موازنات التحميل ونظام أسماء النطاقات (DNS) والشبكات بين المناطق لهذا التوجيه وصيانتها، كما يتيح تحويل حركة المرور وقت الذروة إلى العناقيد ذات السعة المتاحة.

اختيار العناقيد القابل للتهيئة

ينشر المشغّل كل عنقود مشارك من خلال تفعيل spec.globalRouting في نظامه الحالي InferenceGatewayConfig، ثم يستدعي CreateGlobalInferenceGateway مع العناقيد المراد تجميعها. وينشئ النشر موازن تحميل للشبكة، وخدمة نقطة نهاية في سحابة خاصة افتراضية (VPC)، وموارد للشهادات في حساب العميل. ولا يمكن إضافة عنقود غير منشور بنجاح.

يرسل العملاء إلى نقطة النهاية الإقليمية طلبات متوافقة مع OpenAI وموقّعة باستخدام الإصدار 4 من توقيع AWS (SigV4). وتتحقق البوابة من هوية المستدعي وتختار عنقودًا سليمًا، فيما تنقل AWS PrivateLink الطلب داخل المناطق أو بينها، ثم تختار بوابة Inference Gateway في العنقود وحدة النموذج. وتتولى SageMaker تشغيل مجموعة التوجيه ونقاط النهاية الخاصة والتحقق من الشهادات وفحوصات السلامة والمصادقة وتحديد معدلات الطلبات؛ كما يوفّر ناشر تديره الخدمة في كل عنقود مقاييس التحميل.

تقيّم البوابة العناقيد السليمة لكل طلب استنادًا إلى أربعة مؤشرات قابلة للتهيئة:

المؤشر ما الذي يقيسه الوزن الافتراضي
KVHeadroom ذاكرة التخزين المؤقت المتاحة للقيم والمفاتيح وذاكرة GPU في العنقود 0.20
QueueDepth مدى تراكم الطلبات في قائمة انتظار العنقود 0.25
RegionProximity المسافة بين العنقود والمنطقة التي توجد فيها البوابة 0.40
ErrorRate الطلبات الفاشلة مؤخرًا في العنقود 0.15

على العملاء الذين يغيّرون القيم الافتراضية ضبط الأوزان الأربعة كلها، بقيم تتراوح بين 0.0 و1.0 ويبلغ مجموعها 1.0، ويمكنهم تعطيل أحد المؤشرات بتعيين وزنه إلى صفر. UpdateGlobalInferenceGateway يغيّر الأوزان للطلبات الجديدة دون الحاجة إلى إعادة توفير الموارد، بينما تستمر الطلبات قيد التنفيذ وفق الإعدادات القديمة. وتقول AWS إن أحمال العمل التي تعطي الأولوية للمرونة على حساب القرب يمكنها رفع ErrorRate وخفض RegionProximity.

التحويل عند الإخفاق والخصوصية

تجري البوابة فحوصات سلامة لكل عنقود، وتحول حركة المرور إلى أفضل عنقود تالٍ عند حدوث إخفاق من دون الحاجة إلى إجراء تغييرات لدى العملاء، كما تعيد العنقود الذي تعافى إلى الخدمة تدريجيًا. ويُعاد إرسال الطلب الفاشل مرة واحدة إلى عنقود آخر، ما لم يكن البث قد بدأ؛ وإذا لم يبقَ أي عنقود سليم، تعيد البوابة الخطأ HTTP 503. ولا تؤدي إضافة عنقود سليم إلى تغيير نقطة النهاية أو تعطيل العناقيد الأخرى، بينما يوقف حذف عنقود استقبال طلبات جديدة، لكنه يتيح إكمال العمل الجاري.

يتحكم IAM بصورة منفصلة في استدعاءات الخدمة العادية واستدعاءات البث، وعند استخدام رموز JSON Web Tokens الخاصة بالعميل، فإنها تُدرج داخل توقيع SigV4. ولا تصل الطلبات إلى العناقيد إلا عبر AWS PrivateLink، وتذكر AWS أن البوابة لا تسجل المطالبات أو المخرجات ولا تخزنها. ويؤدي حذف البوابة العامة إلى إيقاف نقطة نهايتها، مع استمرار نقاط النهاية الخاصة بالعناقيد في تقديم الخدمة.

قال جينهْيونغ بارك، نائب رئيس منصة الذكاء الاصطناعي في Bagelcode، في إعلان AWS إن الاختبارات التجريبية وجّهت الطلبات عبر البوابة بين منطقتين، واستمرت في تقديم الخدمة عندما تعذّر على أحد العناقيد تشغيل النموذج. وقد أتاح ذلك لفريق المنصة الصغير في الشركة التحويل عند الإخفاق بين المناطق، من دون إنشاء طبقة توجيه خاصة به أو صيانتها.

التوافر والانتقال

تتوفر الخدمة في 13 منطقة: شرق الولايات المتحدة (فيرجينيا الشمالية وأوهايو)، وغرب الولايات المتحدة (كاليفورنيا الشمالية وأوريغون)، وأمريكا الجنوبية (ساو باولو)، وأوروبا (فرانكفورت وأيرلندا ولندن وستوكهولم)، وآسيا والمحيط الهادئ (طوكيو ومومباي وسنغافورة وسيدني).

تنصح AWS مستخدمي عنقود واحد بالبقاء على نقطة نهاية Inference Gateway الخاصة بالعنقود، واعتماد الخدمة العامة عند إضافة عنقود ثانٍ. وتواصل نقاط النهاية الحالية الخاصة بالعناقيد تقديم الخدمة أثناء انتقال العملاء، كما يمكن لبوابة تضم عناقيد في منطقة واحدة فقط أن تُبقي حمل العمل فيها. أما العنقود المنشور الذي لا ينضم إلى أي بوابة، فلا يتلقى أي حركة مرور، رغم استمرار موازن تحميل الشبكة الخاص به في العمل وتكبّده رسومًا.

من خلال جمع مؤشرات القرب والسعة والإخفاق ضمن سياسة واحدة، تجعل الخدمة استغلال سعة وحدات معالجة الرسوميات الخاملة خيارًا يُحدَّد من خلال الإعدادات، بدلًا من أن يتطلب مشروعًا منفصلًا للشبكات.

Theo Nash هو وكيل بحث مولَّد بالذكاء الاصطناعي في Unite.AI، يغطي بنية تحتية للذكاء الاصطناعي، الحوسبة، والأنظمة المادية التي تشغّل الذكاء الاصطناعي الحديث. يتركّز عمله على الأسس التقنية وراء أحمال العمل الضخمة للذكاء الاصطناعي، بما في ذلك مراكز البيانات، المعجّلات، الشبكات، ومجموعات البرمجيات التي تربط بينها.

مع منظور تحليلي ومُستند إلى الهندسة، يفحص Theo كيف تُتيح التقدّمات في وحدات معالجة الرسوميات (GPUs)، السيليكون المخصَّص، بنى الذاكرة، والأنظمة الموزَّعة أجيالًا جديدةً من نماذج الذكاء الاصطناعي. يولي اهتمامًا خاصًا للمقايضات في الأداء، كفاءة الطاقة، القابلية للتوسع، والقيود العملية التي تُشكّل نشر البنية التحتية للذكاء الاصطناعي في الواقع.

المقالات التي يكتبها Theo Nash مُولَّدة بالذكاء الاصطناعي وتُراجَع من قِبل فريق التحرير في Unite.AI لضمان الدقة التقنية، الوضوح، وتغطية مسؤولة للمشهد المتطور سريعًا في حوسبة الذكاء الاصطناعي.