تعزيز الاستدلال الاصطناعي: تقنيات متقدمة وأفضل الممارسات

عندما يتعلق الأمر بتطبيقات زمنية حقيقية مدفوعة بالذكاء الاصطناعي مثل السيارات ذاتية القيادة أو مراقبة الرعاية الصحية، فإن ثانية إضافية لمعالجة الإدخال يمكن أن يكون لها عواقب خطيرة. تتطلب تطبيقات الذكاء الاصطناعي في الوقت الحقيقي معالجات موثوقة وقدرة معالجة، والتي كانت باهظة الثمن وممنوعة التكلفة ل许多 التطبيقات – حتى الآن.

من خلال اعتماد عملية استدلال محسنة، يمكن للشركات أن تزيد ليس فقط من كفاءة الذكاء الاصطناعي، ولكن أيضًا أن تقلل من استهلاك الطاقة والتكاليف التشغيلية (بحد أقصى 90٪)؛ وتعزز الخصوصية والأمان؛ وتحسن رضا العملاء.

مشاكل الاستدلال الشائعة

من بين أكثر المشاكل شيوعًا التي تواجهها الشركات عند التعامل مع كفاءة الذكاء الاصطناعي تتضمن مجموعات معالجات الرسومات غير المستغلة، والاعتماد على نماذج عامة الغرض وال缺乏 رؤية في التكاليف المرتبطة.

غالبًا ما تقوم الفرق بتقديم مجموعات معالجات الرسومات لتحمل الحمل الأقصى، ولكن بين 70 و80 في المائة من الوقت، تكون غير مستغلة بسبب تدفق العمل غير المتساوي.

بالإضافة إلى ذلك، تقوم الفرق بالاعتماد على نماذج كبيرة متعددة الأغراض (GPT-4، Claude) حتى لمهام يمكن تشغيلها على نماذج مفتوحة المصدر أصغر وأرخص. السبب؟ نقص المعرفة ومنحنى التعلم الحاد لبناء نماذج مخصصة.

أخيرًا، يفتقر المهندسون عادةً إلى رؤية التكلفة الفعلية لكل طلب، مما يؤدي إلى فواتير باهظة. يمكن لأدوات مثل PromptLayer وHelicone مساعدة في توفير هذه الرؤية.

مع عدم وجود ضوابط على اختيار النموذج وتراكم الاستخدام، يمكن أن تزيد تكاليف الاستدلال بشكل كبير (بحد أقصى 10 أضعاف)، وتضيع الموارد، وتحد من الدقة وتقلل من تجربة المستخدم.

استهلاك الطاقة والتكاليف التشغيلية

تشغيل نماذج أكبر مثل GPT-4، Llama 3 70B أو Mixtral-8x7B يتطلب طاقة أكبر بكثير لكل رمز. في المتوسط، 40 إلى 50 في المائة من الطاقة المستخدمة في مركز البيانات تذهب لتشغيل المعدات الحاسوبية، مع 30 إلى 40 في المائة إضافية مخصصة لتبريد المعدات.

لذلك،对于 شركة تعمل على مدار الساعة للاستدلال على نطاق واسع، فمن الأفضل النظر في مزود على الموقع بدلاً من مزود سحابي لتجنب دفع تكلفة متميزة و استهلاك المزيد من الطاقة.

الخصوصية والأمان

وفقًا لدراسة Cisco 2025 Data Privacy Benchmark، “64٪ من المستجيبين يقلقون من مشاركة معلومات حساسة بشكل غير مقصود علنًا أو مع المنافسين، ومع ذلك، يعترف نصفهم تقريبًا بإدخال بيانات موظفين شخصية أو غير عامة في أدوات الذكاء الاصطناعي العامة.” هذا يزيد من خطر عدم الامتثال إذا تم تسجيل البيانات أو تخزينها بشكل غير صحيح.

فرصة أخرى للمخاطر هي تشغيل النماذج عبر منظمات العملاء المختلفة على بنية تحتية مشتركة؛ يمكن أن يؤدي هذا إلى انتهاكات البيانات ومشاكل الأداء، وهناك خطر إضافي لتحديد إجراءات أحد المستخدمين على مستخدمين آخرين. لذلك، تفضل الشركات عمومًا الخدمات المployed في سحابها.

رضا العملاء

عندما تستغرق الاستجابات أكثر من بضع ثوان لظهورها، غالبًا ما يغادر المستخدمون، مما يدعم جهود المهندسين لتحسينها لاتخاذ زمن الصفر. بالإضافة إلى ذلك، تقدم التطبيقات “موانع مثل الهلوسة والدقة التي قد تحد من التأثير الواسع والاعتماد،” وفقًا لبيان إطلاق غارتنر.

فوائد أعمال إدارة هذه القضايا

تحسين التجميع، واختيار نماذج بحجم مناسب (مثل التبديل من Llama 70B أو نماذج مفتوحة المصدر مثل GPT إلى Gemma 2B حيثما أمكن) وتحسين استخدام معالجات الرسومات يمكن أن يقلل من فواتير الاستدلال بنسبة 60 إلى 80 في المائة. يمكن لأدوات مثل vLLM مساعدة في ذلك، وكذلك التبديل إلى نموذج خادم بدون خادم للدفع حسب الاستخدام لمسار عمل غير منتظم.

خذ Cleanlab على سبيل المثال. أطلق Cleanlab النموذج اللغوي الموثوق به (TLM) لضافة درجة موثوقية إلى كل استجابة للنموذج اللغوي. تم تصميمه لمخرجات عالية الجودة وزيادة الموثوقية، وهو أمر بالغ الأهمية للتطبيقات المؤسسية لمنع الهلوسة غير الخاضعة للرقابة. قبل Inferless، واجهت Cleanlabs زيادة في تكاليف معالجات الرسومات، حيث كانت معالجات الرسومات تعمل حتى عندما لم تكن قيد الاستخدام الفعلي. كانت مشاكلهم نموذجية لمزودي السحابة التقليدية: زمن تأخير كبير، وإدارة التكاليف غير فعالة، وبيئة معقدة لإدارة. مع الاستدلال بدون خادم، قامت بتخفيض التكاليف بنسبة 90 في المائة مع الحفاظ على مستويات الأداء. وأهم من ذلك، أنها أصبحت حية في غضون أسبوعين بدون أي تكاليف إضافية للهندسة.

تحسين هياكل النماذج

النماذج الأساسية مثل GPT وClaude يتم تدريبها على العمومية، وليس على الكفاءة أو المهام المحددة. من خلال عدم تخصيص نماذج مفتوحة المصدر لمهام محددة، تهدر الشركات الذاكرة وأوقات الحوسبة للمهام التي لا تحتاج إلى تلك الدرجة.

الشرائح الجديدة مثل H100 سريعة وفعالة. هذه هي أهم عندما تشغيل عمليات كبيرة مثل توليد الفيديو أو المهام المرتبطة بالذكاء الاصطناعي. زيادة عدد نواة CUDA يزيد من سرعة المعالجة، ويتفوق على معالجات الرسومات الأصغر؛ نواة التنسور من NVIDIA مصممة لتسريع هذه المهام على نطاق واسع.

ذاكرة معالج الرسومات مهمة أيضًا في تحسين هياكل النماذج، حيث تتطلب نماذج الذكاء الاصطناعي الكبيرة مساحة كبيرة. تمكن هذه الذاكرة الإضافية معالج الرسومات من تشغيل نماذج أكبر بدون المساس بالسرعة. وعلى العكس، تعاني أداء معالجات الرسومات الأصغر التي تقل عنها ذاكرة VRAM، حيث تنقل البيانات إلى ذاكرة RAM البطيئة.

تتضمن فوائد تحسين هيكل النموذج وفورات في الوقت والمال. أولاً، التبديل من تحويل كثيف إلى متغيرات LoRA-optimized أو FlashAttention يمكن أن يقلل من زمن الاستجابة لكل استعلام بنسبة 200 إلى 400 مللي ثانية، وهو أمر بالغ الأهمية في الدردشة وألعاب الفيديو، على سبيل المثال. بالإضافة إلى ذلك، النماذج المكممة (مثل 4 بت أو 8 بت) تحتاج إلى ذاكرة VRAM أقل وتعمل بشكل أسرع على معالجات الرسومات الأرخص.

على المدى الطويل، يحفظ تحسين هيكل النموذج المال على الاستدلال، حيث يمكن تشغيل النماذج المثلى على شرائح أصغر.

يتضمن تحسين هيكل النموذج الخطوات التالية:

• الكمية – تقليل الدقة (FP32 → INT4/INT8)، ووفر الذاكرة وزيادة سرعة الحوسبة
• التنقية – إزالة الأوزان أو الطبقات الأقل فائدة (ممنظمة أو غير منظمة)
• التنقية – تدريب نموذج صغير “طالب” لمحاكاة مخرجات نموذج أكبر

ضغط حجم النموذج

النماذج الأصغر تعني استدلال أسرع وبنية تحتية أقل تكلفة. النماذج الكبيرة (13B+، 70B+) تتطلب معالجات رسومات باهظة الثمن (A100s، H100s)، وذاكرة VRAM الكبيرة والمزيد من الطاقة. يمكن ضغطها لتشغيلها على أجهزة أقل تكلفة، مثل A10s أو T4s، مع زمن تأخير أقل بكثير.

النماذج المضغوطة هي أيضًا حاسمة لتشغيل الاستدلال على الجهاز (الهواتف، المتصفحات، أجهزة إنترنت الأشياء) لأن النماذج الأصغر تمكن من خدمة المزيد من الطلبات المتزامنة دون تصغير البنية التحتية. في دردشة مع أكثر من 1000 مستخدم متزامن، سمح التبديل من نموذج 13B إلى نموذج 7B مضغوط لخدمة أكثر من ضعف عدد المستخدمين لكل معالج رسومات بدون انخفاض في زمن التأخير.

استخدام الأجهزة المتخصصة

المعالجات المركزية العامة ليست مصممة للعمليات التنسورية. يمكن للأجهزة المتخصصة مثل NVIDIA A100s، H100s، Google TPUs أو AWS Inferentia تقديم استدلال أسرع (بحد أقصى 10 أضعاف) للنماذج اللغوية الكبيرة مع كفاءة طاقة أفضل. يمكن أن يؤدي تقليص زمن الاستجابة بمقدار 100 مللي ثانية لكل طلب إلى جعل الفرق عند معالجة ملايين الطلبات يوميًا.

نظرًا لهذا المثال المفترض:

فريق يعمل على تشغيل LLaMA-13B على معالجات رسومات قياسية A10 لمظامهم الداخلي RAG. زمن التأخير يبلغ حوالي 1.9 ثانية، ولا يمكنهم تجميع الكثير بسبب قيود ذاكرة VRAM. لذلك، ينتقلون إلى H100s مع TensorRT-LLM، وتمكين FP8 وkernel الانتباه المثالي، وزيادة حجم الدفعة من 8 إلى 64. النتيجة هي تقليص زمن التأخير إلى 400 مللي ثانية مع زيادة خمس مرات في الإنتاجية.
نتيجة لذلك، يمكنهم خدمة الطلبات خمس مرات على نفس الميزانية وتحرير المهندسين من التنقل في مشاكل البنية التحتية.

تقييم خيارات النشر

تتطلب العمليات المختلفة بنى تحتية مختلفة؛ دردشة مع 10 مستخدمين ومحرك بحث يخدم مليون استعلام في اليوم لهما احتياجات مختلفة. التزام جميع الخدمات السحابية (مثل AWS Sagemaker) أو خادم معالجات رسومات DIY بدون تقييم نسبة الأداء إلى التكلفة يؤدي إلى تبديد الإنفاق وسيء تجربة المستخدم. لاحظ أن الالتزام المبكر بمزود سحابي مغلق يجعل من الصعب نقل الحل لاحقًا. ومع ذلك، التقييم المبكر ببنية الدفع حسب الاستخدام يوفر خيارات في المستقبل.

يشمل التقييم الخطوات التالية:

• اختبار زمن تأخير التكلفة عبر المنصات: تشغيل اختبارات A/B على AWS، Azure، مجموعات معالجات رسومات محلية أو أدوات خادم بدون خادم لتكرار.
• قياس أداء البداية الباردة: هذا مهم بشكل خاص للعمليات الخادمة أو الحملات التي يتم تشغيلها بالحدث، لأن النماذج تحمل بشكل أسرع.
• تقييم قابلية المراقبة وحدود التمكين: تقييم المقاييس المتاحة وتحديد أقصى استعلامات في الثانية قبل التدهور.
• تحقق من دعم الامتثال: تحديد ما إذا كان يمكن فرض قواعد بيانات متعلقة بالجغرافيا أو سجلات التدقيق.
• تقدير إجمالي التكلفة المملوكة. يجب أن يشمل ذلك ساعات معالجات الرسومات، والتخزين، وال帯 العريضة، والهامش لفرق.

النتيجة النهائية

الاستدلال يسمح للشركات بتحسين أداء الذكاء الاصطناعي، وتقليل استهلاك الطاقة والتكاليف، والحفاظ على الخصوصية والأمان، وإبقاء العملاء سعداء.