تطلق Tensormesh منصة لخفض تكاليف استدلال نماذج اللغة الكبيرة عبر إعادة استخدام ذاكرة التخزين المؤقت للمفاتيح والقيم

في كل مرة يتلقى فيها مساعد ذكاء اصطناعي مستندًا طويلًا، يتعين عليه معالجة محتواه قبل أن يبدأ الإجابة. وعندما تتكرر المستندات أو التعليمات أو سجل المحادثة نفسها، فقد يُعاد جزء كبير من تلك المعالجة. وعلى نطاق المؤسسات، قد يستهلك هذا التكرار سعة مكلفة من وحدات معالجة الرسوميات من دون إنجاز عمل مفيد إضافي.

تستهدف Tensormesh هذه المشكلة من خلال Tensormesh Platform، التي أُعلن عنها في 14 أكتوبر 2026. وتقدم الشركة، التي أنشأ فريقها مشروع LMCache مفتوح المصدر، طبقة إدارة مؤسسية للتخزين المؤقت للمفاتيح والقيم، أو KV، للمؤسسات التي تشغّل نماذج لغوية كبيرة على بنيتها التحتية الخاصة.

تدير المنصة حالة الاستدلال القابلة لإعادة الاستخدام عبر ذاكرة وحدات معالجة الرسوميات، وذاكرة وحدة المعالجة المركزية، ووحدات التخزين. والهدف منها واضح: تقليل مقدار معالجة المطالبات التي يتعين على مجموعة وحدات معالجة الرسوميات تكرارها، مع منح المشغلين أدوات للتحكم في كيفية الاحتفاظ بالحالة المخزنة مؤقتًا ومشاركتها ومراقبتها.

أهمية ذاكرة التخزين المؤقت للمفاتيح والقيم

يتألف استدلال نماذج اللغة الكبيرة من مرحلتين أساسيتين. ففي مرحلة التهيئة المسبقة، يعالج النموذج مطالبة الإدخال. وفي مرحلة التوليد، ينشئ الاستجابة رمزًا تلو الآخر. وتحتفظ ذاكرة التخزين المؤقت للمفاتيح والقيم بحالة وسيطة مرتبطة بآلية الانتباه، تتيح للنموذج الرجوع إلى الرموز التي عالجها من دون إعادة حساب كل شيء من البداية.

يمكن لإعادة استخدام هذه الحالة عبر الطلبات أن تقلل العمل في مرحلة التهيئة المسبقة عندما يتكرر سياق الإدخال. فعلى سبيل المثال، قد يستعين مساعد دعم بدليل المنتج نفسه للإجابة عن مئات الأسئلة المختلفة. وقد يكرر وكيل استخدام التعليمات أو الأدوات نفسها إلى جانب مهمة متغيرة.

يختلف هذا عن التخزين المؤقت لإجابة مكتملة. إذ يمكن للنظام إعادة استخدام العمليات الحسابية المرتبطة بالسياق المشترك، مع الاستمرار في إنشاء استجابة جديدة لسؤال جديد.

تشرح وثائق التخزين المؤقت التلقائي للبادئات في vLLM هذه الفائدة في حالات تكرار الاستعلام عن المستندات والمحادثات متعددة الجولات. كما توضح قيدًا أساسيًا: إذ يسرّع التخزين المؤقت للبادئات معالجة المطالبة، لا توليد رموز إخراج جديدة. وقد تكون فائدته أقل في أحمال العمل التي تهيمن عليها الإجابات الطويلة أو المدخلات الفريدة إلى حد كبير.

بالنسبة إلى مشتري الحلول المؤسسية، يتمثل السؤال المفيد في مقدار سياق أحمال العمل الفعلية القابل لإعادة الاستخدام، وما إذا كان بالإمكان استعادته بسرعة أكبر وبتكلفة أقل من إعادة احتسابه.

تحويل ذاكرة التخزين المؤقت إلى بنية تحتية مُدارة

تحدد Tensormesh في إعلانها خمسة أولويات تشغيلية: الأمن، وقابلية المراقبة، والمرونة، وإدارة السياسات، ودعم تعدد المستأجرين. وتتناول هذه الأولويات المهام العملية المتمثلة في حماية البيانات المخزنة مؤقتًا، وتتبع الأداء، والتعافي من الأعطال، والتحكم في الاحتفاظ بالبيانات وإخلائها، وفصل الفرق أو العملاء ضمن بنية تحتية مشتركة.

وتوضح الشركة أيضًا أن واجهات برمجة التطبيقات الخاصة بوحدات التحكم تتيح تثبيت إدخالات ذاكرة التخزين المؤقت وتحديد مواقعها ونقلها وضغطها ومسحها. وبذلك تصبح إدارة دورة حياة ذاكرة التخزين المؤقت مسألة تشغيلية صريحة، بدلًا من تركها بالكامل لعمليات الاستدلال الفردية.

يفصل مشروع LMCache الأساسي إدارة ذاكرة التخزين المؤقت عن محرك تقديم الخدمة، ويدعم نقل البيانات إلى مستويات تخزين متعددة واسترجاعها منها. وتشرح وثائقه إمكانية إعادة الاستخدام عبر الطلبات والجلسات ومثيلات المحرك، مع دعم وحدات تخزين وواجهات نقل قابلة للتوصيل.

تستند المنصة المؤسسية إلى هذا الأساس. ووفقًا لـدليل التثبيت، يتولى مشغّل Kubernetes إدارة مكونات محرك التخزين المؤقت، مع تشغيل خوادم التخزين المؤقت على عُقد وحدات معالجة الرسوميات ومنسّق لتنسيق العمل على مستوى المجموعة. ويوفر Helm مسار النشر، فيما تدعم واجهة الويب وأدوات سطر الأوامر التشغيل.

تكتسب هذه البنية أهميتها لأن ذاكرة وحدات معالجة الرسوميات مورد محدود. والاحتفاظ بكل مطالبة يُحتمل أن تكون قابلة لإعادة الاستخدام فيها سيزاحم احتياجات الاستدلال الأخرى. ويمكن نقل الحالة الأقل فائدة على الفور إلى ذاكرة المضيف أو وحدات التخزين لزيادة حجم البيانات المحتفَظ بها، إلا أن استرجاعها يترتب عليه تكاليف خاصة بالنطاق الترددي وزمن الاستجابة.

ما يتجاوز بادئات المطالبات المتطابقة

يعمل التخزين المؤقت للبادئات جيدًا عندما تبدأ مطالبتان بالرموز نفسها. أما التوليد المعزز بالاسترجاع، أو RAG، فقد يكون أكثر تعقيدًا: إذ يسترجع التطبيق مستندات ذات صلة، لكن ترتيبها قد يختلف أو قد ترد بعد نص سابق مختلف.

لنتصور طلبين افتراضيين يستخدمان المستندات نفسها. يتضمن أحدهما المستند A متبوعًا بالمستند B، بينما يتضمن الآخر المستند B متبوعًا بالمستند A. ويحتوي كلاهما على مواد قابلة لإعادة الاستخدام، لكن الجزء المشترك في بدايتهما قد يكون قصيرًا.

تستخدم Tensormesh تقنية CacheBlend لتوسيع نطاق إعادة الاستخدام إلى ما يتجاوز بداية المطالبة. وتوضح وثائق LMCache أنها تعيد احتساب نسبة من الرموز على نحو انتقائي، مع إعادة استخدام أجزاء مخزنة مؤقتًا. وتكمن أهمية إعادة الاحتساب في أن السياق المحيط بأحد الأجزاء قد يؤثر في الحالة الداخلية للنموذج.

وتفيد ورقة بحثية عن CacheBlend، التي عُرضت في EuroSys 2025، بأن زمن الوصول إلى أول رمز كان أسرع بمقدار 2.2–3.3 مرات، وأن معدل الإنتاجية كان أعلى بمقدار 2.8–5 مرات، مقارنةً بإعادة احتساب ذاكرة المفاتيح والقيم بالكامل في أحمال العمل التي خضعت للتقييم. وقيّم المؤلفون ثلاثة نماذج مفتوحة المصدر وأربع مجموعات بيانات معيارية.

هذه نتائج بحثية تحققت في ظل ظروف محددة، وليست وفورات مضمونة لكل عملية نشر لـ Tensormesh. لكنها توضح سبب أهمية إعادة الاستخدام خارج نطاق البادئة المشتركة من الناحية التقنية؛ إذ يمكنها استعادة قدر مفيد من العمليات الحسابية التي لا تكشفها مطابقة البادئات التقليدية.

إعادة الاستخدام بين العقد وأهمية الدعم المحدد لكل إصدار

يصف إعلان الإطلاق عمليات نقل KV بين النظراء، ما يتيح لعقدة جلب الحالة المخزنة مؤقتًا من عقدة أخرى، كما تصف المواد الخاصة بمنتجات الشركة فصل مرحلتي التمهيد والتوليد. ويفصل هذا النهج معالجة الموجّه عن توليد المخرجات، بحيث يمكن تشغيل المرحلتين على عاملين مختلفين.

هذه أساليب متكاملة لتنظيم الاستدلال. فمشاركة الحالة المتوافقة قد تغني عن إعادة احتسابها على عقدة أخرى، بينما يتيح فصل المراحل لفرق البنية التحتية تخصيص الموارد بما يتناسب مع متطلبات المعالجة.

مع ذلك، لا تتطابق المواد المتاحة للجمهور تمامًا بشأن حالة الإطلاق. يصف التعريف بالإطلاق المشاركة بين العقد وفصل المراحل، في حين تُدرج مصفوفة التوافق الخاصة بالإصدارات، المؤرخة في 17 سبتمبر، النقل بين النظراء وفصل المراحل ضمن خارطة الطريق. كما تتضمن وثائق الميزات صفحات معاينة.

تميز المصفوفة نفسها بين الميزات التي جرى التحقق منها في اختبارات Tensormesh وتلك المدعومة في المشاريع الأصلية لكنها تتطلب اختبارات إضافية قبل استخدامها في بيئة الإنتاج. وتدرج vLLM وNVIDIA Dynamo ضمن محركات تقديم النماذج التي تم التحقق منها، بينما تضع SGLang وTensorRT-LLM ضمن خارطة الطريق.

لذا، فإن الصياغة الواسعة بشأن التوافق في الإعلان تعبر عن توجه تصميمي، لا عن دليل على التحقق من صلاحية كل تركيبة من النماذج والبنية التحتية. وينبغي للفرق التأكد من الإصدار الدقيق ومحرك تقديم النماذج والنموذج ووضع التخزين المؤقت الذي تنوي نشره.

يصف التعريف بالإطلاق تحديدًا استخدام vLLM على Kubernetes مع وحدات معالجة الرسوميات NVIDIA أو AMD Instinct المدعومة عبر ROCm، إلى جانب التخزين القائم على نظام الملفات. ويشير إلى أن التخزين المؤقت غير المعتمد على البادئات للنماذج الكثيفة، ودعم SGLang، سيأتيان لاحقًا. ويوضح أيضًا أن ذاكرة التخزين المؤقت تعمل جنبًا إلى جنب مع النماذج المستضافة ذاتيًا؛ فهي ليست إضافة يمكن إلحاقها بواجهة برمجة تطبيقات عشوائية لنموذج مستضاف.

متى يمكن أن تكون الجدوى الاقتصادية متحققة

تشمل أبرز الاستخدامات الواعدة التطبيقات التي تعالج مرارًا سياقًا مشتركًا كبيرًا: مثل المساعدات المعرفية الداخلية، وخدمات تحليل المستندات، والوكلاء الذين يعيدون الرجوع إلى مجموعة مستقرة من التعليمات أو المواد المرجعية.

يمكن إجراء تقييم مفيد بمقارنة الأداء عند برودة ذاكرة التخزين المؤقت وبعد تهيئتها، باستخدام حركة مرور ممثلة للاستخدام الفعلي. وينبغي للمشغّلين قياس الزمن حتى ظهور أول رمز، ومعدل المعالجة، وزمن استرجاع ذاكرة التخزين المؤقت، واستخدام وحدات معالجة الرسوميات، وتكاليف الذاكرة والتخزين والشبكة اللازمة للاحتفاظ بالحالة.

لا يكفي قياس معدل إصابة ذاكرة التخزين المؤقت وحده. فارتفاع هذا المعدل لا يكون مفيدًا إلا إذا حقق العمل المستعاد فائدة صافية بعد احتساب تكاليف النقل والإدارة الإضافية. وبالمثل، لا يعني ظهور الرمز الأول بسرعة أكبر بالضرورة أن الاستجابة بأكملها ستكتمل بسرعة أكبر بالمقدار نفسه.

وينبغي تقييم جودة الإجابات على نحو منفصل، ولا سيما عند دمج الأجزاء المخزنة مؤقتًا ضمن سياقات مختلفة. صُممت آلية إعادة الاحتساب الانتقائية في CacheBlend لمعالجة هذه المشكلة، لكن اختبارات الإنتاج ينبغي أن تشمل مستندات المؤسسة نفسها وصيغ المطالبات وإعدادات النماذج لديها.

ويزداد أيضًا أهمية الاحتفاظ بالبيانات وعزل المستأجرين كلما تجاوز استخدام ذاكرة التخزين المؤقت نطاق عملية واحدة. وتشمل الأسئلة التشغيلية ذات الصلة: من يمكنه إعادة استخدام مدخل، ومدة بقائه متاحًا، وكيف تؤثر تغييرات السياسات أو طلبات الحذف في الحالة المحفوظة. وتهدف ميزات الإدارة التي أعلنتها Tensormesh إلى تمكين التحكم في هذه القرارات.

رهان عملي على تقليل تكرار العمل

بحسب إعلان الشركة، يتوفر Tensormesh Platform مع الإطلاق. وتكمن أهميته في التعامل مع حالة الاستدلال بوصفها موردًا يمكن إدارته عبر مجموعة من الخوادم، مع الاحتفاظ بالحسابات القابلة لإعادة الاستخدام بعد انتهاء عمر الطلب المباشر.

يوفر ذلك للشركات التي تشغّل بنيتها التحتية الخاصة بنماذج اللغة الكبيرة أداة ملموسة لرفع الكفاءة: إعادة استخدام المزيد من أعمال معالجة المطالبات التي أُنجزت بالفعل. وستعتمد النتيجة على مدى تكرار أحمال العمل، وتوافق ذاكرة التخزين المؤقت، وتكلفة نقل البيانات؛ لكن هذه مسائل هندسية قابلة للقياس، ويمكن للفرق اختبارها باستخدام حركة المرور الخاصة بها.