تتيح Google مصدر TorchTPU، لتشغيل PyTorch الأصلي على وحدات TPU الخاصة بها

أعلنت Google في 20 أكتوبر 2026، خلال مؤتمر PyTorch لعام 2026، أن TorchTPU، وهي مجموعة أدوات PyTorch الأصلية لوحدات معالجة الموترات (TPU)، أصبحت متاحة الآن كمصدر مفتوح على GitHub، بحسب ما ذكرته الشركة في مدونة Google Cloud. وطُوّر البرنامج بالتعاون مع فريق PyTorch في Meta، وصُمم لتشغيل أعباء عمل PyTorch الحالية على وحدات TPU مع الحد الأدنى من تغييرات الشيفرة.

وقالت Google إن هذا الإصدار يتيح استخدام وحدات TPU خيارًا أصليًا في PyTorch إلى جانب وحدات GPU ووحدات CPU، ويشمل ذلك التدريب وتقديم الخدمات والنشر من خلال أدوات منها vLLM وSGLang وllm-d وTorchTitan وRay وTorchRec وHugging Face وLiteRT. ويمكن للمطورين تصحيح أخطاء النماذج في وضع التنفيذ الفوري، ثم الانتقال إلى أداء بمستوى الإنتاج باستخدام torch.compile لتحسين الاستفادة من وحدات TPU وتقليل استهلاك الذاكرة.

وقالت جانا فان غرونن، مديرة هندسة PyTorch في Meta، في الإعلان إن TorchTPU تتيح لـMeta تطوير الأجهزة بمرونة بالتعاون مع فريق أنظمة التعلم الآلي الأساسي لديها، مع دعم أعباء العمل في أنظمة النماذج اللغوية الكبيرة والإعلانات والتوصيات. وأضافت: «إنها تتيح لنا نشر أعباء عمل PyTorch على وحدات TPU من Google، وتقديم ملاحظات مباشرة إلى فرق الهندسة، وبناء المرونة في المنظومة التي يحتاج إليها الجميع».

تكاملات Hugging والخدمة

تعاونت Google مع Hugging Face لتمكين النماذج ذات الأوزان المفتوحة على منصة Hugging Face Hub من العمل مباشرةً على TorchTPU. وفي Transformers v5، يجري نشر نموذج على وحدات TPU بتمرير device_map="tpu"، وتعمل مكتبة Diffusers مباشرةً على وحدات TPU، مع دعم وضع التنفيذ الفوري وtorch.compile والتوازي الموترّي عبر عدة مسرّعات. وقالت Google إنها أنشأت أيضًا مسارات مخصصة للتكامل والتسليم المستمرين (CI/CD) لإجراء اختبارات ليلية متواصلة لحزمة Hugging Face Transformers على بنية وحدات TPU التحتية. وقال جيف بودييه، نائب رئيس المنتجات في Hugging Face، إن هذا التعاون يجسّد التزام المنصة بإتاحة حرية اختيار الأجهزة.

طُوّرت الواجهة الخلفية الأصلية لـPyTorch في vLLM على TorchTPU بالتعاون مع Inferact، لتقديم الخدمات. وقالت Google إنها تدعم التجميع المستمر للطلبات، والتكميم، والتوازي بين شرائح متعددة على أجهزة TPU باستخدام نوى Pallas مخصصة، مع الحفاظ على نماذج العاملين والمجدولات وخوادم واجهة برمجة التطبيقات في المشروع الأصلي، بحيث لا تحتاج مجموعات الاستدلال الحالية إلى أي تغييرات. وقال سايمون مو، الرئيس التنفيذي والشريك المؤسس لـInferact، إن هذا التكامل يوفر دعمًا من الدرجة الأولى لـvLLM على وحدات TPU.

تستهدف الواجهة الخلفية الأصلية لـPyTorch في SGLang، التي طُوّرت بالتعاون مع RadixArk، أعباء العمل المنظمة والقائمة على الوكلاء. ووفقًا للإعلان، يستخدم SGLang تقنية RadixAttention لإعادة استخدام ذاكرة التخزين المؤقت لمفاتيح وقيم (KV) بين الطلبات، بحيث تتجاوز بادئات المطالبات المتكررة إعادة الحساب، فيما يستخدم إصدار TorchTPU واجهة خلفية لنقل البيانات تفصل بين المهام، وتؤدي أيضًا دور الواجهة الخلفية للإدخال والإخراج في HiCache. وقال بانغوا تشو، كبير مسؤولي التكنولوجيا والشريك المؤسس لـRadixArk، إن TorchTPU سرّع عمل الشركة مع طرحها دعم SGLang على أنواع مختلفة من الشرائح.

وتصدر Google أيضًا llm-d 1.0 بالتعاون مع Red Hat وIBM ومجتمع يضم أكثر من 500 مساهم و25 منظمة، بوصفه مشروعًا ضمن فئة Sandbox في مؤسسة الحوسبة السحابية الأصلية (Cloud Native Computing Foundation). ويصف الإعلان llm-d بأنه يربط منظومة تقديم خدمات PyTorch بالنشر الإنتاجي القائم على Kubernetes: إذ يستخدم موجّهه توجيهًا يراعي بادئات الذاكرة المخبأة، لإرسال كل طلب إلى النسخة المتماثلة التي تحتفظ بسياقه بالفعل، كما يفصل بين مرحلة التهيئة كثيفة الحوسبة ومرحلة فك الترميز كثيفة الذاكرة. ويضيف الإصدار 1.0 التحكم في تدفق العمل متعدد المستأجرين، والتوافر العالي للموجّه، وواجهات برمجة تطبيقات مستقرة من الإصدار v1، والتوجيه المراعي للجلسات للوكلاء. وعلى Google Kubernetes Engine، يمكن لنقطة نهاية llm-d موحدة العمل على وحدات GPU أو TPU.

وقال البروفيسور ساشيكومار غانيسان، مؤسس Zenteiq، في الإعلان إن بوابة GKE للاستدلال المدعومة بـllm-d حققت زيادة تجاوزت 4 أضعاف في إجمالي إنتاجية الاستدلال لتوليد البيانات الاصطناعية لدى الشركة، فارتفعت القدرة اليومية على توليد الرموز من 1.47 مليار إلى 5.97 مليار رمز لكل 1,000 مسرّع TPU v6e.

التدريب والتنسيق

يتضمن TorchTitan، وهو التطبيق المرجعي الأصلي لـPyTorch للتدريب الموزع، الآن تكاملًا مع TorchTPU تصفه Google بأنه بمستوى الإنتاج، ومبنيًا على torch.compile وSimpleFSDP في TorchTitan ونوى Pallas متخصصة وتحسينات على مستوى الرسم البياني. ويوفر TorchTitan وصفات TorchTPU للتدريب المسبق لنماذج كثيفة مثل Llama 3 70B و405B، وQwen 3 8B و32B، وMuseGlimmer 30B، إضافة إلى نموذج مزيج الخبراء Qwen 3 235B ومحوّل الانتشار FLUX.1 12B. وقالت Google إن التكامل جرى التحقق منه على ما يصل إلى 8,000 وحدة Ironwood TPU (TPU v7x)، وإن التدريب باستخدام TorchTPU عبر TorchTitan حقق استخدامًا لعمليات الفاصلة العائمة للنموذج بنسبة تصل إلى 52% مع Qwen 3 8B، مع توسّع شبه خطي عبر ما يصل إلى 8,192 وحدة Ironwood TPU.

وأدمجت Google أيضًا في VeRL، وهو إطار للتعلم المعزز، واجهة خلفية لوحدات TPU ووصفة مرجعية شاملة من البداية إلى النهاية. وتهدف وصفة GRPO، المبنية على بنية تفصل بين المدرّب وأداة أخذ العينات، والمُجَرَّبة على مجموعات بيانات للاستدلال الرياضي، إلى تمكين المطورين من تشغيل أعباء عمل VeRL على وحدات TPU مع الإبقاء على شيفرات النماذج والخوارزميات الحالية لديهم، المستقلة عن الأجهزة.

تضيف Ray دعمًا أصليًا لـ TorchTPU لتنسيق معالجة بيانات PyTorch والتدريب والتعلّم المعزز وتقديم الخدمات عبر وحدات المعالجة المركزية ووحدات معالجة الرسومات ووحدات TPU ضمن سير عمل واحد. وقال إدوارد أوكس، كبير المهندسين المعماريين في Anyscale، إن الشركتين عملتا على جعل وحدات TPU مسرّعات من الدرجة الأولى في Ray، وأضاف: «تدمج TorchTPU وحدات TPU من Google مباشرةً في هذه المنظومة المعيارية المعتمدة في القطاع».

البنية السابقة ومدى التوفر

كُشف عن TorchTPU للعامة في 7 أبريل 2026، في منشور على مدونة مطوري Google يشرح تصميمًا يقوم على مبدأ «التنفيذ المتعجل أولًا» ويعتمد على واجهة PrivateUse1 في PyTorch، مع أوضاع التنفيذ المتعجل Debug وStrict وFused، المدعومة بذاكرة تخزين مؤقت مشتركة لعمليات التجميع. وقالت Google حينها إن وضع Fused Eager يحقق زيادة في الأداء تتراوح بين 50% و100% أو أكثر مقارنةً بوضع Strict Eager، وإن torch.compile على TorchTPU يلتقط رسوم FX البيانية باستخدام Torch Dynamo ويحوّلها عبر XLA وStableHLO، مع كتابة نوى مخصصة باستخدام Pallas وJAX. وأفاد المنشور بأن المنظومة تدعم Distributed Data Parallel وFSDPv2 وDTensor جاهزًا، وأن بنيتها مصممة للتعامل مع اختلاف التنفيذ بين الرتب. كما أدرج إطلاق مستودع عام على GitHub ضمن خارطة طريق TorchTPU لعام 2026.

أصبح مستودع torch_tpu متاحًا للعامة الآن ضمن مؤسسة google-pytorch على GitHub، وهو مرخّص بموجب Apache 2.0. يورد ملف README نوى ATen مخصصة، وذاكرة تخزين مؤقت لتجميع عمليات XLA الحسابية، ودعم التدريب الموزع للتوازي على مستوى البيانات والموترات، والتكامل مع torch.compile، وأدوات تصحيح الأخطاء وقياس الأداء، وأمثلة على Llama وQwen وResNet وDLRM وminGPT وUNet. يدعم المشروع Python 3.11 والإصدارات الأحدث، وقد نُشرت على PyPI حزمة torch-tpu 0.2.0 في 19 أكتوبر 2026، مع حزم تثبيت بصيغة wheel لنظام Linux بمعمارية x86-64، ومتوافقة مع إصدارات CPython من 3.11 إلى 3.14. ونُشر دليل المستخدم على torchtpu.readthedocs.io، ويشير ملف README إلى وجوب تشغيل دفاتر المشروع التفاعلية على جهاز افتراضي مزوّد بـ TPU، وأن مثيل GCE من النوع v6e هو الخيار الأسهل.

وفي الإعلان نفسه، قالت Google إن LiteRT، المعروف سابقًا باسم TensorFlow Lite، ينضم إلى منظومة PyTorch: إذ تحوّل مكتبة LiteRT-Torch نموذج PyTorch باستدعاء واحد litert-torch.convert() ، وتعمل النماذج المحوّلة على Android وiOS وmacOS وWindows وLinux والويب وأجهزة إنترنت الأشياء. وتتوفر حاليًا معاينة مبكرة على GitHub لحزمة من وكلاء TPU تهدف إلى أتمتة تهيئة نماذج PyTorch وتشخيصها وضبط أداء الاستدلال فيها.

ويوجه الإعلان المطورين إلى وثائق TPU على Google Cloud لبدء تشغيل PyTorch على وحدات TPU.