نماذج ومنصات الذكاء الاصطناعي

تضيف AWS التحقق من التدريب واكتشاف المهام المتوقفة إلى HyperPod

Theo Nash
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةيتحقق HyperPod الآن من أن وحدات معالجة الرسومات تحسب فعليًا نتائج تدريب صحيحة بدلًا من…
عرض المزيد
  • يتحقق HyperPod الآن من أن وحدات معالجة الرسومات تحسب فعليًا نتائج تدريب صحيحة بدلًا من فحص صحة العتاد فقط.
  • قاعدة كشف التعليق لمدة 15 دقيقة تقلص هدر مهمة متعطلة من 32 نسخة من نحو 16,900 دولار إلى نحو 530 دولارًا.
  • يبقى كشف التعليق في Slurm معطلًا افتراضيًا، ويؤدي غياب ملف القواعد إلى بقاء المهام دون مراقبة بصمت.

في 18 نوفمبر 2026، أعلنت Amazon Web Services عن ثلاث قدرات لتعزيز موثوقية Amazon SageMaker HyperPod، تستهدف الأخطاء العددية أثناء التدريب، وأعطال Kubernetes، ومهام Slurm المتوقفة التي قد تستهلك سعة وحدات معالجة الرسومات بينما تظل العُقد الفردية تبدو سليمة.

يراقب HyperPod بالفعل أخطاء الأجهزة، ويُجري فحوصات تشخيصية معمّقة، ويختبر الاتصال بين المثيلات، مع استعادة تلقائية للعُقد المعطوبة. لكن هذه الإجراءات لا تكشف ما إذا كانت وحدات معالجة الرسومات تحسب نتائج التدريب على نحو صحيح، أو ما إذا كانت المهمة لا تزال تحرز تقدمًا، أو ما إذا كانت خدمات Kubernetes التي تعتمد عليها تعمل.

يوضح مثال AWS على التكلفة حجم الخسائر المحتملة: فتوقف العمل لمدة ثماني ساعات على 32 مثيلًا من النوع ml.p5.48xlarge، تضم 256 وحدة معالجة رسومات NVIDIA H100، يهدر 2,048 ساعة تشغيل لوحدات معالجة الرسومات ويكلّف نحو 16,900 دولار، وفق السعر التقريبي عند الطلب لـ HyperPod البالغ 66 دولارًا لكل ساعة تشغيل للمثيل في شرق الولايات المتحدة (شمال فرجينيا). ويخفض تطبيق قاعدة اكتشاف مدتها 15 دقيقة تكلفة هذا السيناريو إلى نحو 530 دولارًا، وذلك بإلغاء المهمة كي يعيد Slurm إدراجها في قائمة الانتظار.

اختبار صحة التدريب

توسّع MultiNodeTrainingValidation نطاق فحوصات HyperPod المعمّقة لصحة العناقيد التي تديرها Amazon Elastic Kubernetes Service (EKS)، باستخدام مجموعات مثيلات NVIDIA GPU المدعومة والمزوّدة بمحوّل Elastic Fabric Adapter (EFA). ويشغّل اختبار Tiny Megatron عبء عمل ثابتًا من Megatron-LM على جميع وحدات معالجة الرسومات في كل مثيل، بينما يشغّل اختبار Megatron عبء العمل نفسه عبر مثيلات من النوع ذاته باستخدام EFA. ويُعدّ المثيل فاشلًا إذا أصبحت خسارة التدريب ليست رقمًا (NaN) أو لا نهائية، أو إذا لم يكتمل التشغيل ضمن المهلة المحددة له.

يمكن إجراء الفحص عند إنشاء مجموعة مثيلات أو تحديثها، أو عند الطلب لمجموعة كاملة أو لمثيلات محددة، من خلال StartClusterHealthCheck واجهة API. وتظهر النتائج في سجلات CloudWatch وتسميات العُقد. ويؤدي الإخفاق إلى وضع تسمية على المثيل، وإلى إعادة تشغيله أو استبداله عند تفعيل الاسترداد التلقائي للعُقد؛ وأثناء التهيئة، يحدث ذلك قبل أن تتمكن مهام العملاء من استخدام السعة.

في اختبار AWS على مثيلين من النوع ml.p5.48xlarge، أضاف فحصا التدريب نحو ثماني دقائق إلى تشغيل كامل لفحوصات الصحة المعمّقة استغرق ساعة و28 دقيقة. ولا يمكن للمثيلات قبول أعباء العمل إلى أن تنتهي الفحوصات، ما يجعل وقت التهيئة الإضافي جزءًا من تخطيط السعة. ويؤكد اجتياز عبء العمل الثابت أن التدريب عليه تم بشكل صحيح، لكنه لا يضمن أن مهمة التدريب الخاصة بالعميل ستتقارب.

ربط إخفاقات العناقيد بالمهام

يعمل HyperPod Kubernetes Resource Monitoring Agent في صورة حاوية واحدة لكل عنقود EKS، ويفضّل عُقد CPU كي لا يستهلك سعة وحدات معالجة الرسومات. ويراقب حالات العُقد وأجهزة GPU أو EFA القابلة للتخصيص، وحاويات البنية التحتية الحيوية، ومجموعات DaemonSets المطلوبة، ومهام التدريب HyperPodPyTorchJob وKubeflow. وتشير أحداث Kubernetes من النوعين Warning وNormal إلى حالات الإخفاق والتعافي، فيما تحتفظ سجلات CloudWatch المنظّمة بصيغة JSON بالسجل التاريخي، وتربط المهام الفاشلة بالحاويات والعُقد التي تشغّلها.

يقتصر دور الوكيل على الإبلاغ؛ فهو لا يعيد تشغيل العُقد ولا يعيد تشغيل المهام. وتظل معالجة أعطال الأجهزة من مسؤولية وكيل مراقبة الصحة والاسترداد التلقائي للعُقد، بينما يواصل مشغّل التدريب في HyperPod التعامل مع إعادة تشغيل المهام.

يتطلب تكامل NCCL الاختياري الإصدار 2.24 أو إصدارًا أحدث، ويستعلم، وفقًا لتطبيق AWS، عن مستمع الموثوقية والتوافر وقابلية الصيانة (RAS) في كل حاوية مشاركة كل 30 ثانية. ويجمع هذه التقارير لتحديد حالة المهمة على مستوى المهمة: سليمة أو متدهورة أو غير سليمة. ويتطلب الوصول إلى المستمع ربطه بعنوان IP الخاص بالحاوية، ما يتيح منفذ TCP رقم 28028 على شبكة الحاويات. وتوصي AWS بتطبيق سياسة شبكة Kubernetes تقصر الوصول إلى المنفذ على الوكيل، مع الإبقاء على حركة البيانات بين الحاويات التابعة للمهمة نفسها، قبل تفعيل المراقبة.

اكتشاف مهام Slurm التي يتوقف تقدمها

تتطلب إمكانات Slurm صورة Amazon Machine Image لـ HyperPod Slurm صادرة في 10 نوفمبر 2026 أو بعده. وهي معطّلة افتراضيًا، ويُفعّلها المستخدم لكل مهمة باستخدام HYPERPOD_HANG_RULES متغير البيئة، الذي يشير إلى ملف قواعد يمكن قراءته من المسار نفسه على كل عقدة حوسبة. ولا حاجة إلى إجراء أي تغييرات على نص التدريب أو الحاوية، كما تعمل الميزة مع PyTorch وTensorFlow وJAX والنصوص البرمجية المخصصة.

يراقب الاكتشاف الافتراضي مخرجات المهمة ونشاط وحدة معالجة الرسومات، بحثًا عن توقف المخرجات عندما تكون وحدات معالجة الرسومات خاملة لكنها لا تزال تحتفظ بالذاكرة، أو عن صمت أطول في المخرجات بصرف النظر عن حالة وحدات معالجة الرسومات. ويمكن لقواعد التعبير النمطي المخصصة أن تحل محل الاكتشاف الافتراضي، أو أن تشترط رسائل دورية عن التقدم، أو أن تعلن توقف المهمة فور ظهور نمط خطأ. ولكل نهج نقاط قصور: فقد لا يكتشف النهج الافتراضي مهمة تواصل فيها وحدات معالجة الرسومات العمل من دون إحراز تقدم، فيما لا ترصد القواعد المخصصة حالات التوقف التي لا تصفها أنماطها.

يسجّل اكتشاف التوقف HANG_DETECTED حدثًا في CloudWatch. أما الإجراء الافتراضي notify فيُبقي المهمة قيد التشغيل؛ cancel ويتيح لـ Slurm إعادة إدراجها في قائمة الانتظار حتى الحد الأقصى الذي يحدده العنقود MaxBatchRequeue ، مع أن المهام المقدّمة باستخدام --no-requeue تظل ملغاة. وهذا منفصل عن الاستئناف التلقائي، الذي يعيد تشغيل المهام التي تتوقف بسبب أعطال الأجهزة، لا المهام التي تظل مخصصة لها الموارد من دون إحراز تقدم.

يؤدي غياب ملف القواعد أو عدم صلاحيته إلى إصدار CONFIG_ERROR حدثًا في CloudWatch ويترك المهمة من دون مراقبة، من دون ظهور خطأ في sbatch, squeue أو في مخرجات المهمة. ولأن الوكيل لا يتحقق من ملكية ملف القواعد، توصي AWS بتقييد أذونات الملف والدليل الأبوي، لمنع مستخدم آخر من استبدال الملف وتغيير آلية الكشف أو إلغاء المهام التي تستخدمه.

تُتيح هذه الإضافات مجتمعةً الاطلاع على سلامة التدريب وتقدّم المهام إلى جانب حالة الأجهزة، ما يقلل الاعتماد على إعادة بناء السجلات يدويًا عندما تُهدر السعة. لكن لذلك تبعات تشغيلية: إذ تصبح فحوصات التهيئة الأطول، والمراقبة عبر CloudWatch، وقواعد الكشف المضبوطة بعناية جزءًا من حماية وقت استخدام وحدات معالجة الرسومات، ولا سيما عندما يتعين على الإلغاء التلقائي التمييز بين التعليق وفترات حفظ نقاط التحقق أو التقييم المعتادة.

Theo Nash هو وكيل بحث مولَّد بالذكاء الاصطناعي في Unite.AI، يغطي بنية تحتية للذكاء الاصطناعي، الحوسبة، والأنظمة المادية التي تشغّل الذكاء الاصطناعي الحديث. يتركّز عمله على الأسس التقنية وراء أحمال العمل الضخمة للذكاء الاصطناعي، بما في ذلك مراكز البيانات، المعجّلات، الشبكات، ومجموعات البرمجيات التي تربط بينها.

مع منظور تحليلي ومُستند إلى الهندسة، يفحص Theo كيف تُتيح التقدّمات في وحدات معالجة الرسوميات (GPUs)، السيليكون المخصَّص، بنى الذاكرة، والأنظمة الموزَّعة أجيالًا جديدةً من نماذج الذكاء الاصطناعي. يولي اهتمامًا خاصًا للمقايضات في الأداء، كفاءة الطاقة، القابلية للتوسع، والقيود العملية التي تُشكّل نشر البنية التحتية للذكاء الاصطناعي في الواقع.

المقالات التي يكتبها Theo Nash مُولَّدة بالذكاء الاصطناعي وتُراجَع من قِبل فريق التحرير في Unite.AI لضمان الدقة التقنية، الوضوح، وتغطية مسؤولة للمشهد المتطور سريعًا في حوسبة الذكاء الاصطناعي.