تتيح Databricks استخدام AI Runtime بشكل عام لتدريب نماذج GPU

أعلنت Databricks في 21 أكتوبر 2026 الإتاحة العامة لـ AI Runtime (AIR)، وهي منصة GPU لاخادمية ومدارة بالكامل، مدمجة في Databricks Lakehouse لتدريب نماذج التعلم العميق وضبطها بدقة باستخدام بيانات المؤسسات.

قالت Databricks إن مئات الشركات، منها Robinhood وPicPay وMerck وFlo Health وTinyFish وFactSet، تستخدم AIR بالفعل لتدريب نماذج التعلم العميق وإطلاقها في بيئات الإنتاج، في تطبيقات تشمل الرعاية الصحية والتصنيع والوكلاء الموجّهين للمستهلكين. وأضافت الشركة أن فريق Databricks AI Research التابع لها يستخدم المنصة لتدريب النماذج التي تشغّل KARL وAI Parse، مشيرةً إلى أن AIR أثبتت كفاءتها في أكثر من 100,000 ساعة من تشغيل وحدات GPU ضمن عمليات التدريب.

قدّمت الشركة هذا الإطلاق بوصفه استجابةً لمشكلة تقضي فيها فرق الذكاء الاصطناعي وقتاً أطول في تأمين سعة GPU وإدارة الأعطال وانتظار بدء التجارب مقارنةً بالوقت الذي تخصصه لتحسين نماذجها. وأشار الإعلان إلى أن تشغيل البنية التحتية لوحدات GPU بمعزل عن Lakehouse يخلق ثغرات في الحوكمة ويعرّض بيانات التدريب الحساسة للخطر.

بنية تحتية مُدارة لوحدات GPU

تتولى Databricks مسؤولية توفير وحدات GPU وتهيئة العناقيد وإدارة الشبكات، ما يتيح للعملاء بدء التدريب من دون تشغيل منصة GPU متكاملة خاصة بهم. وقالت الشركة إنها تجري عشرات الفحوصات لصحة وحدات GPU والشبكة قبل التدريب وأثناءه، لتتمكن أعباء العمل من التوسع إلى مئات وحدات GPU بموثوقية؛ إذ تتحقق المنصة من سلامة وحدات GPU قبل جدولتها، وتراقب أعباء العمل النشطة باستمرار، وتختبر دورياً وحدات GPU الخاملة لاكتشاف العُقد المعطوبة وإزالتها.

تنقل AIR بيانات التدريب عبر أدوات تحميل مدمجة تبثّ البيانات وتخزّنها مؤقتاً، ما يقلل الوقت الذي تقضيه المهام في انتظار عمليات الإدخال والإخراج (I/O). وتهدف أداة مرافقة، هي UCVolumeDataset، إلى زيادة معدل نقل البيانات من دون الحاجة إلى إنشاء مسار مخصص لتحميلها. ويمكن للمستخدمين الوصول إلى وحدات GPU من واجهة سطر الأوامر أو العمل تفاعلياً داخل دفاتر الملاحظات وبيئات التطوير المتكاملة (IDE). وقالت Databricks إن تشغيل أول عبء عمل يتطلب أمراً واحداً في واجهة سطر الأوامر (CLI)، وإن ميزة AIR Skills تنقل أعباء العمل من عناقيد Kubernetes أو SLURM باستخدام توجيه واحد باللغة الطبيعية.

تتكامل AIR مباشرةً مع Lakeflow، منتج الشركة لتنسيق مسارات العمل، كي تظل أعباء عمل GPU متزامنة مع مسارات العمل السابقة واللاحقة. ووفقاً للإعلان، لا يتطلب نقل عبء عمل إلى بيئة الإنتاج سوى بضعة أسطر إضافية من YAML. كما أشار الإعلان إلى وجود أدوات مدمجة للتحكم في الأولويات والإيقاف الاستباقي، تقلل وقت خمول وحدات GPU، وإمكانات للمراقبة عبر أدوات مثل Genie ZeroOps. وتعرض صفحة منتج AI Runtime وحدات GPU من NVIDIA متاحة عند الطلب مع سعة في مناطق متعددة، والتدريب الموزع عبر وحدات GPU وعُقد متعددة باستخدام شبكات RDMA مُدارة، وتحسين حفظ نقاط التحقق للمهام طويلة الأمد، ودعم حاويات Docker المخصصة، بما فيها حاويات NVIDIA NGC.

قال كوستيا أوميليانتشوك، عالم أبحاث تطبيقية وقائد تقني للمجال في Superhuman، في الإعلان إن المنصة مكّنت فريقه من نقل التدريب واسع النطاق من عُقدة واحدة تضم ثماني وحدات GPU من طراز A100 إلى 16 وحدة GPU من طراز H100 موزعة على عدة عُقد. وانخفض وقت التدريب من نحو سبعة أيام إلى 48 ساعة، أي بتسريع قدره 3.5 أضعاف، بحسب وصفه.

بدء التشغيل وتصحيح الأخطاء في ثوانٍ

قالت Databricks إن AIR تتيح بدء التشغيل خلال ثوانٍ حتى على عناقيد كبيرة مزودة بتقنية RDMA وتضم عشرات وحدات GPU. وتستخدم الخدمة مجمّعات GPU لاخادمية مُهيأة مسبقاً وتحميل الصور عند الحاجة، فتبدأ أعباء العمل خلال ثوانٍ بينما تُحمّل بقية بيانات الصور في الخلفية. ويمكن للمستخدمين تشغيل بيئات مُعدّة مسبقاً أو استخدام حاوياتهم الخاصة، كما يضمن التخزين المؤقت للبيئات إنشاءها مرة واحدة فقط. ووصفت الشركة AIR بأنها متوافقة مع جميع أطر العمل الرئيسية، وتذكر صفحة المنتج PyTorch وRay ضمن الخيارات المدعومة.

قالت Databricks إن تجربة جديدة للرصد في أداة تتبّع التجارب MLflow تعرض السجلات بعد ثوانٍ من إرسال عملية التشغيل، عندما يضيف المستخدمون العلامة watch إلى أمر AIR، وإن عارضاً جديداً للسجلات صُمم خصيصاً للتدريب على عُقد متعددة. وتندمج Genie Code في مختلف جوانب التجربة، مع مهارات جاهزة للوكلاء تساعد على تصحيح المشكلات وتحسين أداء تدريب GPU. وأضافت الشركة أن هذه المهارات تستند إلى خبرات فريقي الأبحاث والأداء لديها، بما في ذلك كيفية تقليصها مدة تدريب Qwen على AIR ستة أضعاف.

قال جو تايلر، الباحث الرئيسي في الذكاء الاصطناعي لدى Sonar، إن مهندسي الأبحاث هناك استخدموا AIR لإنشاء مسارات تدريب نماذج اللغة الكبيرة (LLM) واختبار الفرضيات بسرعة، مع إمكانية الاطلاع على كل مرحلة من مراحل المسار. وقال نيكيل سوندراج، مهندس تعلم آلي رئيسي في FactSet، إن الوقت اللازم لإعداد نموذج Text To Formula مخصص وتدريبه ونشره انخفض من أيام إلى ساعات.

الأمان والحوكمة وبدء الاستخدام

قالت Databricks إن AIR تعمل ضمن نطاق الحوكمة الخاص بـ Databricks وUnity Catalog، الذي يفرض أذونات موحّدة للقراءة والكتابة على الوصول إلى البيانات ونقاط التحقق والسجلات الخاصة بأعباء عمل GPU. وأضافت الشركة أن AIR توفر عزلاً على مستوى الآلة الافتراضية (VM)، بدلاً من آليات عزل تكشف نواة النظام المضيف، وأنها تدعم PrivateLink وضوابط الخروج في البيئات اللاخادمية، مستفيدةً من استثماراتها في أمن الخدمات اللاخادمية. وأشار الإعلان إلى حادثة OpenAI وHugging Face بوصفها دليلاً على مخاطر إدارة البنية التحتية لوحدات GPU بمعزل عن بيانات المؤسسات الخاضعة للحوكمة.

تظهر استخدامات AIR وتكاليفه في جداول نظام الفوترة لدى Databricks، إلى جانب أعباء العمل الأخرى على Databricks، وتوضح سجلات الاستخدام على مستوى أعباء العمل عمليات التدريب التي تستهلك ميزانية وحدات معالجة الرسومات.

قال Robert Macy III، مهندس تعلم آلي في Robinhood، إن AIR يساعد فرقه على الانتقال من التجريب إلى التدريب بسرعة أكبر، مع تضمين الحوكمة وضوابط البيانات. وقال Eran Barash، نائب رئيس الذكاء الاصطناعي والتعلم الآلي في QuantHealth، إن فريقه يوسّع نطاق التدريب الموزع على وحدات معالجة الرسومات عديمة الخوادم عبر ملايين السجلات ضمن مسارات عمل البيانات القائمة. وقال Zach Richardson، رئيس قسم الذكاء الاصطناعي في TinyFish، إن فريقه يستطيع التدريب على وحدات معالجة الرسومات، وتقييم النتائج باستخدام MLflow، وتقديم نموذج الشركة المصمم للويب دون إنشاء بنية تحتية منفصلة لكل مرحلة.

أحالت Databricks المستخدمين الجدد إلى دليل البدء السريع، ودفاتر الملاحظات النموذجية، وأدلة البدء، إضافةً إلى مستودع ai-runtime-cookbook القابل للاستنساخ على GitHub، الذي قالت الشركة إنه يتيح إطلاق أول عبء عمل على وحدات معالجة الرسومات باستخدام أمر CLI واحد. ووجّهت الشركة العملاء إلى فرق حساباتهم للحصول على مزيد من المعلومات.