Η Google διαθέτει το TorchTPU ως λογισμικό ανοικτού κώδικα, φέρνοντας το εγγενές PyTorch στα TPU της

Η Google ανακοίνωσε στις 20 Οκτωβρίου 2026, στο PyTorch Conference 2026, ότι το TorchTPU, η εγγενής στοίβα PyTorch για μονάδες επεξεργασίας τανυστών (TPU), διατίθεται πλέον ως λογισμικό ανοικτού κώδικα στο GitHub, όπως ανέφερε η εταιρεία στο ιστολόγιο του Google Cloud. Το λογισμικό αναπτύχθηκε από κοινού με την ομάδα PyTorch της Meta και έχει σχεδιαστεί ώστε να εκτελεί υφιστάμενα φορτία εργασίας PyTorch σε TPU με ελάχιστες αλλαγές στον κώδικα.

Με αυτή την κυκλοφορία, τα TPU προστίθενται στα GPU και τα CPU ως εγγενής επιλογή για το PyTorch, καλύπτοντας την εκπαίδευση, την εξυπηρέτηση και την ανάπτυξη μέσω εργαλείων όπως τα vLLM, SGLang, llm-d, TorchTitan, Ray, TorchRec, Hugging Face και LiteRT, ανέφερε η Google. Οι προγραμματιστές μπορούν να αποσφαλματώνουν μοντέλα σε άμεση λειτουργία (eager mode) και, στη συνέχεια, να πετυχαίνουν επιδόσεις επιπέδου παραγωγής μέσω του torch.compile, βελτιστοποιώντας την αξιοποίηση των TPU και μειώνοντας την επιβάρυνση της μνήμης.

Η Jana van Greunen, διευθύντρια μηχανικής του PyTorch στη Meta, δήλωσε στην ανακοίνωση ότι το TorchTPU επιτρέπει στη Meta να συν-αναπτύσσει ευέλικτα το υλικό μαζί με την κεντρική ομάδα συστημάτων μηχανικής μάθησης, υποστηρίζοντας παράλληλα σημαντικά φορτία εργασίας για συστήματα LLM, διαφημίσεων και συστάσεων. «Μας επιτρέπει να αναπτύσσουμε τα φορτία εργασίας PyTorch μας στα TPU της Google, να παρέχουμε άμεση ανατροφοδότηση στις ομάδες μηχανικής και να δημιουργούμε την ευελιξία στο οικοσύστημα που χρειάζονται όλοι», δήλωσε.

Ενσωματώσεις Hugging και εξυπηρέτησης

Η Google συνεργάστηκε με το Hugging Face, ώστε τα μοντέλα ανοικτών βαρών στο Hugging Face Hub να εκτελούνται εγγενώς στο TorchTPU. Στο Transformers v5, η ανάπτυξη ενός μοντέλου σε TPU γίνεται με τη μεταβίβαση device_map="tpu", ενώ η βιβλιοθήκη Diffusers εκτελείται εγγενώς σε TPU, με υποστήριξη για άμεση λειτουργία (eager mode), torch.compile και παραλληλισμό τανυστών σε πολλαπλούς επιταχυντές. Η Google ανέφερε ότι δημιούργησε επίσης ειδικές διοχετεύσεις CI/CD για συνεχή νυχτερινή δοκιμή της σουίτας Hugging Face Transformers σε υποδομή TPU. Ο Jeff Boudier, αντιπρόεδρος προϊόντος στο Hugging Face, δήλωσε ότι η συνεργασία κάνει πράξη τη δέσμευση της πλατφόρμας να προσφέρει επιλογές υλικού.

Για την εξυπηρέτηση, το εγγενές backend vLLM του PyTorch στο TorchTPU αναπτύχθηκε σε συνεργασία με την Inferact. Η Google ανέφερε ότι υποστηρίζει συνεχή ομαδοποίηση (continuous batching), κβαντοποίηση και παραλληλισμό πολλαπλών τσιπ σε υλικό TPU, χρησιμοποιώντας προσαρμοσμένους πυρήνες Pallas, ενώ διατηρεί τα μοντέλα worker, τους χρονοπρογραμματιστές και τους διακομιστές API του upstream, ώστε οι υφιστάμενες στοίβες συμπερασμού να μη χρειάζονται αλλαγές. Ο Simon Mo, διευθύνων σύμβουλος και συνιδρυτής της Inferact, δήλωσε ότι η ενσωμάτωση προσφέρει στα TPU πλήρη υποστήριξη vLLM ως πλατφόρμας πρώτης κατηγορίας.

Ένα εγγενές backend PyTorch για το SGLang, που αναπτύχθηκε με τη RadixArk, απευθύνεται σε δομημένα και αυτόνομα φορτία εργασίας. Σύμφωνα με την ανακοίνωση, το SGLang χρησιμοποιεί το RadixAttention για να επαναχρησιμοποιεί την κρυφή μνήμη KV μεταξύ αιτημάτων, ώστε τα επαναλαμβανόμενα προθέματα των προτροπών να παρακάμπτουν τον εκ νέου υπολογισμό, ενώ η έκδοση TorchTPU χρησιμοποιεί ένα backend μεταφοράς με αποσύνδεση, το οποίο λειτουργεί επίσης ως backend εισόδου/εξόδου για το HiCache. Ο Banghua Zhu, τεχνικός διευθυντής και συνιδρυτής της RadixArk, δήλωσε ότι το TorchTPU έχει επιταχύνει το έργο της εταιρείας καθώς διαθέτει υποστήριξη SGLang σε διαφορετικά είδη πυριτίου.

Η Google διαθέτει επίσης το llm-d 1.0 μαζί με τις Red Hat και IBM, καθώς και μια κοινότητα με περισσότερους από 500 συντελεστές και 25 οργανισμούς, ως έργο Sandbox του Cloud Native Computing Foundation. Η ανακοίνωση περιγράφει το llm-d ως γέφυρα ανάμεσα στο οικοσύστημα εξυπηρέτησης του PyTorch και την ανάπτυξη σε περιβάλλον παραγωγής με βάση το Kubernetes: ο δρομολογητής του χρησιμοποιεί δρομολόγηση που λαμβάνει υπόψη την κρυφή μνήμη προθεμάτων, ώστε να στέλνει κάθε αίτημα στο αντίγραφο που έχει ήδη το σχετικό περιβάλλον, και διαχωρίζει την προεπεξεργασία, που απαιτεί πολλούς υπολογιστικούς πόρους, από την αποκωδικοποίηση, που απαιτεί πολλή μνήμη. Η έκδοση 1.0 προσθέτει έλεγχο ροής για πολλούς μισθωτές, υψηλή διαθεσιμότητα δρομολογητή, σταθερά API v1 και δρομολόγηση για πράκτορες που λαμβάνει υπόψη τις συνεδρίες· στο Google Kubernetes Engine, ένα κοινό τελικό σημείο llm-d μπορεί να εκτελείται είτε σε GPU είτε σε TPU.

Ο καθηγητής Sashikumaar Ganesan, ιδρυτής της Zenteiq, δήλωσε στην ανακοίνωση ότι το GKE Inference Gateway, με την υποστήριξη του llm-d, απέδωσε πάνω από 4× υψηλότερη συνολική απόδοση συμπερασμού για τη δημιουργία συνθετικών δεδομένων της εταιρείας, αυξάνοντας την ημερήσια δυναμικότητα παραγωγής από 1,47 δισεκατομμύρια σε 5,97 δισεκατομμύρια token ανά 1.000 επιταχυντές TPU v6e.

Εκπαίδευση και ενορχήστρωση

Το TorchTitan, η υλοποίηση αναφοράς για κατανεμημένη εκπαίδευση που βασίζεται εγγενώς στο PyTorch, περιλαμβάνει πλέον μια ενσωμάτωση TorchTPU επιπέδου παραγωγής, όπως την περιγράφει η Google, η οποία βασίζεται στα torch.compile, SimpleFSDP του TorchTitan, εξειδικευμένους πυρήνες Pallas και βελτιστοποιήσεις σε επίπεδο γράφου. Το TorchTitan προσφέρει συνταγές TorchTPU για προεκπαίδευση πυκνών μοντέλων, όπως τα Llama 3 70B και 405B, Qwen 3 8B και 32B και MuseGlimmer 30B, καθώς και για το μοντέλο μείγματος ειδικών Qwen 3 235B και τον μετασχηματιστή διάχυσης FLUX.1 12B. Η Google ανέφερε ότι η ενσωμάτωση έχει επικυρωθεί σε έως και 8.000 TPU Ironwood (TPU v7x) και ότι η εκπαίδευση TorchTPU μέσω του TorchTitan πέτυχε έως και 52% αξιοποίηση των FLOP του μοντέλου στο Qwen 3 8B, με σχεδόν γραμμική κλιμάκωση σε έως και 8.192 TPU Ironwood.

Η Google ενσωμάτωσε επίσης στο κύριο έργο ένα backend TPU και μια ολοκληρωμένη συνταγή αναφοράς για το VeRL, ένα πλαίσιο ενισχυτικής μάθησης. Η συνταγή GRPO, η οποία βασίζεται σε αρχιτεκτονική με αποσυνδεδεμένο εκπαιδευτή και δειγματολήπτη και παρουσιάστηκε σε σύνολα δεδομένων μαθηματικού συλλογισμού, έχει στόχο να επιτρέπει στους προγραμματιστές να εκτελούν φορτία εργασίας VeRL σε TPU, διατηρώντας παράλληλα τον υφιστάμενο κώδικα μοντέλων και αλγορίθμων που δεν εξαρτάται από το υλικό.

Το Ray προσθέτει εγγενή υποστήριξη του TorchTPU για τον συντονισμό της επεξεργασίας δεδομένων, της εκπαίδευσης, της ενισχυτικής μάθησης και της διάθεσης μοντέλων μέσω PyTorch, σε CPU, GPU και TPU, στο πλαίσιο μίας ενιαίας ροής εργασιών. Ο Edward Oakes, επικεφαλής αρχιτέκτονας στην Anyscale, δήλωσε ότι οι εταιρείες συνεργάστηκαν ώστε οι TPU να αποτελούν επιταχυντές πρώτης κατηγορίας στο Ray, προσθέτοντας: «Το TorchTPU ενσωματώνει τις TPU της Google απευθείας σε αυτήν την καθιερωμένη στον κλάδο στοίβα».

Προηγούμενη αρχιτεκτονική και διαθεσιμότητα

Το TorchTPU παρουσιάστηκε δημόσια στις 7 Απριλίου 2026, σε ανάρτηση στο ιστολόγιο Google Developers, η οποία περιέγραφε έναν σχεδιασμό «Eager First», βασισμένο στη διεπαφή PrivateUse1 του PyTorch, με λειτουργίες eager Debug, Strict και Fused, υποστηριζόμενες από κοινόχρηστη κρυφή μνήμη μεταγλώττισης. Τότε, η Google δήλωσε ότι η λειτουργία Fused Eager προσφέρει αύξηση επιδόσεων από 50% έως 100+% σε σύγκριση με τη Strict Eager και ότι η torch.compile στο TorchTPU καταγράφει γραφήματα FX με το Torch Dynamo και τα μεταγλωττίζει μέσω των XLA και StableHLO, με προσαρμοσμένους πυρήνες γραμμένους σε Pallas και JAX. Η ανάρτηση ανέφερε ότι η στοίβα υποστηρίζει εξαρχής τα Distributed Data Parallel, FSDPv2 και DTensor και έχει σχεδιαστεί ώστε να διαχειρίζεται αποκλίνουσα εκτέλεση μεταξύ των ranks. Ανέφερε επίσης την έναρξη λειτουργίας ενός δημόσιου αποθετηρίου στο GitHub ως ένα από τα στοιχεία του οδικού χάρτη του TorchTPU για το 2026.

Το αποθετήριο torch_tpu είναι πλέον δημόσιο στον οργανισμό google-pytorch στο GitHub και διατίθεται με άδεια Apache 2.0. Το αρχείο README αναφέρει προσαρμοσμένους πυρήνες ATen, κρυφή μνήμη μεταγλώττισης για υπολογισμούς XLA, υποστήριξη κατανεμημένης εκπαίδευσης με παραλληλισμό δεδομένων και τενσόρων, ενσωμάτωση του torch.compile, βοηθητικά εργαλεία εντοπισμού σφαλμάτων και συγκριτικής αξιολόγησης, καθώς και παραδείγματα για τα Llama, Qwen, ResNet, DLRM, minGPT και UNet. Το έργο υποστηρίζει την Python 3.11 και νεότερες εκδόσεις, ενώ το πακέτο torch-tpu 0.2.0 κυκλοφόρησε στο PyPI στις 19 Οκτωβρίου 2026, με πακέτα wheel για Linux x86-64 και CPython από την έκδοση 3.11 έως και την 3.14. Οδηγός χρήσης είναι διαθέσιμος στη διεύθυνση torchtpu.readthedocs.io, ενώ το README σημειώνει ότι τα διαδραστικά σημειωματάρια του έργου πρέπει να εκτελούνται από μια εικονική μηχανή TPU και ότι η ευκολότερη επιλογή είναι ένα στιγμιότυπο v6e στο GCE.

Στην ίδια ανακοίνωση, η Google δήλωσε ότι το LiteRT, παλαιότερα γνωστό ως TensorFlow Lite, εντάσσεται στο οικοσύστημα PyTorch: η βιβλιοθήκη LiteRT-Torch μετατρέπει ένα μοντέλο PyTorch με μία μόνο litert-torch.convert() κλήση, ενώ τα μοντέλα που έχουν μετατραπεί εκτελούνται σε συσκευές Android, iOS, macOS, Windows, Linux, στον ιστό και σε συσκευές IoT. Μια σουίτα πρακτόρων TPU, σχεδιασμένη να αυτοματοποιεί την αρχική ρύθμιση, τη διάγνωση και τη βελτιστοποίηση των επιδόσεων συναγωγής για μοντέλα PyTorch, βρίσκεται σε πρώιμη προεπισκόπηση στο GitHub.

Η ανακοίνωση παραπέμπει τους προγραμματιστές στην τεκμηρίωση TPU του Google Cloud, για να ξεκινήσουν να εκτελούν PyTorch σε TPU.