نماذج ومنصات الذكاء الاصطناعي
يوجّه SageMaker AI الطلبات بالاستناد إلى حالة ذاكرة التخزين المؤقت لوحدة معالجة الرسومات التي تُبلغ عنها الحاوية

النقاط الرئيسيةيرفع التوجيه المدرك لـ KV معدلات إصابة الذاكرة المؤقتة من 3–48% إلى 80–93% عبر تتبع…
عرض المزيد
- يرفع التوجيه المدرك لـ KV معدلات إصابة الذاكرة المؤقتة من 3–48% إلى 80–93% عبر تتبع عمليات الإخلاء المبلّغ عنها من الحاويات.
- تضيف حمولة التوجيه من 14 إلى 19 مللي ثانية إلى CloudWatch OverheadLatency حتى مع تحسّن زمن استجابة النموذج.
- تتطلب هذه الميزة وجود نسختين على الأقل من المثيلات أو مكوّنات الاستدلال ليكون للتوجيه أي تأثير.
أعلنت Amazon Web Services في 17 نوفمبر 2026 عن توجيه يراعي ذاكرة التخزين المؤقت للمفاتيح والقيم KV إلى نقاط النهاية الفورية في Amazon SageMaker AI، مستخدمةً حالة ذاكرة التخزين المؤقت التي تُبلغ عنها الحاوية لتحديد وجهة الطلبات. وتفيد AWS بأن هذا التوجيه يخفض وسيط الوقت اللازم لإنتاج الرمز الأول بنسبة تصل إلى 97٪، ويرفع الإنتاجية بنسبة 234٪ مقارنةً بالتوجيه العشوائي، وذلك في اختبارات لأحمال العمل التي تتضمن مطالبات طويلة.
تحتفظ ذاكرة التخزين المؤقت للمفاتيح والقيم بحسابات المطالبات السابقة في ذاكرة وحدة معالجة الرسومات، ما يتيح للنموذج إعادة استخدامها بدلًا من تكرار المعالجة الأولية، أو التمهيد المسبق، لرموز الإدخال المطابقة. لذلك، يُعد تحديد موضع ذاكرة التخزين المؤقت مهمًا لمساعدات المحادثة، والتوليد المعزز بالاسترجاع، والوكلاء الذين يستخدمون مطالبات نظام طويلة؛ إذ إن توجيه الطلب إلى مكان آخر قد يجبر إحدى النُسخ على إعادة حساب السياق الذي تحتفظ به بالفعل وحدة معالجة رسومات أخرى.
التوجيه استنادًا إلى حالة ذاكرة التخزين المؤقت المُبلّغ عنها
تستدل استراتيجية SageMaker AI الحالية، التي تراعي بادئة الطلب، على موقع ذاكرة التخزين المؤقت انطلاقًا من بادئة ثابتة للطلب. لكنها لا تستطيع اكتشاف عمليات الإخلاء، وقد تُنتج الجولات الأولى من محادثة متنامية قيم تجزئة مختلفة، فتُوجَّه إلى نُسخ منفصلة. أما التوجيه المراعي لذاكرة التخزين المؤقت للمفاتيح والقيم، فيعتمد بدلًا من ذلك على الأحداث التي تصدرها حاوية النموذج كلما خُزّنت مدخلات ذاكرة التخزين المؤقت أو أُخليت.
تحتفظ الخدمة بفهرس مُدار يربط قيم تجزئة مبتورة أحادية الاتجاه بالنُسخ أو بنُسخ مكونات الاستدلال، بدلًا من تخزين المطالبات أو معرّفات الرموز أو حمولات الطلبات أو موترات ذاكرة التخزين المؤقت للمفاتيح والقيم. ويُحوَّل كل طلب وارد إلى رموز، ثم يُطابَق مع هذا الفهرس. وتوازن نقطة النهاية بين أطول تطابق مخزّن مؤقتًا وحِمل النُسخة، وتتجاوز الخيارات المرشحة المشغولة أكثر من اللازم.
إذا استغرق البحث وقتًا طويلًا، أو لم يُعثر على تطابق مفيد، أو كانت جميع النُسخ المطابقة مشغولة، يُحوَّل الطلب إلى التوجيه بحسب أقل عدد من الطلبات قيد التنفيذ، مع الاستمرار في خدمته. وعند تقليص النطاق، تُزال من الفهرس مدخلات النُسخ المستبعدة، بينما تبدأ النُسخ الجديدة أو البديلة بذاكرات تخزين مؤقت فارغة، ما يستدعي مراعاة إعادة بناء ذاكرة التخزين المؤقت وزمن الاستجابة المؤقت الناتج عن البدء البارد.
مكاسب الاختبارات المعيارية وأعباء التوجيه
تفيد AWS بأن اختباراتها التي استمرت 30 دقيقة شغّلت Llama 3.1 70B Instruct على سبع نُسخ من ml.p5.48xlarge، مع 20 أو 100 مستخدم مُحاكى، ومحادثات متعددة الجولات وجلسات للإجابة عن أسئلة حول المستندات، ومطالبات بلغ طولها نحو 64,000 رمز. وارتفع معدل إصابة ذاكرة التخزين المؤقت من 3–48٪ مع التوجيه العشوائي إلى 80–93٪ مع التوجيه المراعي لذاكرة التخزين المؤقت للمفاتيح والقيم. وتعتمد النتائج على عبء العمل، فيما كان نفع التوجيه أقل ما يكون للمطالبات القصيرة، لأنها تترك قدرًا أقل من حسابات التمهيد المسبق لإعادة استخدامها.
يضيف البحث في التوجيه عبئًا ناتجًا عن تحويل النص إلى رموز ومعالجة الفهرس: بضع ميلي ثوانٍ للمطالبات القصيرة، وأكثر للمطالبات الأطول. وتمرر الطلبات النصية العادية الرموز المحسوبة إلى النموذج، ما يجنّب تحويلها إلى رموز مرة ثانية. وفي مقارنة منفصلة أجرتها AWS على نُسختين، كان متوسط CloudWatch OverheadLatency، الذي يقيس الوقت الذي يقضيه SageMaker AI خارج حاوية النموذج، أعلى بمقدار 14 إلى 19 ميلي ثانية مع التوجيه المراعي لذاكرة التخزين المؤقت للمفاتيح والقيم، رغم تحسن زمن استجابة النموذج والوقت اللازم لإنتاج الرمز الأول.
متطلبات النشر وإمكانية الاطلاع
عند الإطلاق، تتطلب الميزة حاوية AWS vLLM للتعلّم العميق في SageMaker AI، مع vLLM 0.33.0 أو إصدار أحدث، أو إصدار Amazon Linux server-sagemaker-cuda-v2.8.0 أو أحدث. ويجب تفعيل التخزين المؤقت للبادئات وأحداث ذاكرة التخزين المؤقت للمفاتيح والقيم. ويضبط العملاء SM_VLLM_KV_EVENTS_CONFIG على النموذج و RoutingStrategy إلى KV_AWARE في متغير الإنتاج، من دون تغيير استدعاءات العميل.
تدعم الميزة نقاط النهاية الفورية المعتمدة على وحدات معالجة الرسومات، سواء لنموذج واحد أو لمكونات الاستدلال، بما في ذلك محولات التكييف الديناميكي منخفض الرتبة (Low-Rank Adaptation). ويتطلب التوجيه وجود نُسختين على الأقل لنقطة نهاية نموذج واحد، أو نسختين من مكون الاستدلال؛ أما عند وجود وجهة واحدة، فلا يكون للإعداد أي أثر في التوجيه. ويجب أن تستخدم الطلبات حمولات Completions أو Chat Completions المتوافقة مع OpenAI، عبر واجهات برمجة التطبيقات المدعومة للاستدعاء، كما أن InvokeEndpointWithBidirectionalStream غير مدعوم.
لا يضيف التوجيه المراعي لذاكرة التخزين المؤقت للمفاتيح والقيم مقاييس مخصصة أو سجلات لقرارات التوجيه على مستوى حساب العميل عند الإطلاق، كما لا تظهر حالات التحويل الاحتياطي في وحدة تحكم SageMaker AI أو في المقاييس. ويمكن للعملاء الاطلاع على usage.prompt_tokens_details.cached_tokens بعد تفعيل تفاصيل رموز المطالبة، ومراقبة مقاييس الحاوية، مثل معدل إصابة ذاكرة التخزين المؤقت والوقت اللازم لإنتاج الرمز الأول، عبر إمكانات المراقبة التفصيلية وCloudWatch.
تتوفر الميزة في جميع مناطق AWS التجارية التي تدعم الاستدلال الفوري في SageMaker AI باستخدام حاوية مدعومة، من دون رسوم إضافية تتجاوز تكلفة نُسخ نقطة النهاية. وتواصل AWS وصف التوجيه المراعي للبادئات بأنه الخيار الأبسط للمطالبات المشتركة المستقرة والسياقات القصيرة والأحمال المعتدلة. أما التوجيه المراعي لذاكرة التخزين المؤقت للمفاتيح والقيم، فيلبي احتياجات السياقات الأطول القابلة لإعادة الاستخدام، وضغط الذاكرة، وتكرار عمليات الإخلاء، تاركًا لكل عبء عمل موازنة واضحة على مستوى البنية التحتية: استعادة العمل الحسابي للتمهيد المسبق على وحدة معالجة الرسومات، مقابل عبء التوجيه الإضافي لكل طلب.












