PyTorch-Stiftung integriert Ray, ein Framework für verteiltes Rechnen, um einen einheitlichen AI-Infrastruktur-Stack aufzubauen

Die Open-Source-AI-Ökosystem hat heute einen entscheidenden Schritt nach vorne gemacht, da die PyTorch-Stiftung bekannt gegeben hat, dass Ray, das ursprünglich von Anyscale entwickelte Framework für verteiltes Rechnen, offiziell zu ihren Reihen gestoßen ist. Dieser Schritt markiert einen bedeutenden Schritt hin zu einem einheitlichen, interoperablen und produktionsreifen AI-Computestack, der die grundlegenden Schichten der Modellentwicklung (PyTorch), der verteilten Inferenz (vLLM) und der groß angelegten Ausführung (Ray) verbindet.

Ein einheitliches Fundament für Open-Source-AI

Die unter der Linux Foundation gehostete PyTorch-Stiftung fungiert als zentrales Zentrum für einige der wichtigsten Open-Source-AI-Technologien. Ihre Mission ist es, Fragmentierung zu reduzieren und Zusammenarbeit über alle Phasen der AI-Entwicklung zu fördern. Durch die Integration von Ray neben PyTorch und vLLM liefert die Stiftung, was die Branche lange benötigt hat – einen kohärenten, end-to-end-Stack für den Aufbau, das Training und die Bereitstellung von AI im großen Maßstab.

Die Aufnahme von Ray stellt auch den Abschluss von Jahren akademischer und industrieller Evolution dar. Im RISELab der UC Berkeley entwickelt, wurde Ray designed, um verteiltes Rechnen für AI- und Machine-Learning-Workloads zu vereinfachen. Es ermöglicht Entwicklern, Jobs nahtlos von einem Laptop auf Tausende von Maschinen zu skalieren, ohne Code neu schreiben oder komplexe Systeme verwalten zu müssen. Heute verfügt Ray über mehr als 39.000 GitHub-Sterne und über 214 Millionen Downloads, was es zu einem der am weitesten verbreiteten Frameworks für verteiltes Rechnen der Welt macht.

Wie Ray PyTorch und vLLM ergänzt

Ray sitzt zwischen den Trainings- und Inferenzframeworks (wie PyTorch, DeepSpeed und vLLM) und der Container-Orchestrierungsebene (wie Kubernetes oder Slurm). Diese Position ermöglicht es Ray, verteilte Workloads effizient zu koordinieren und die Lücke zwischen Modelltraining und produktionsreifer Bereitstellung zu schließen.

Die wichtigsten Fähigkeiten von Ray umfassen:

• Multimodale Datenverarbeitung: Behandelt massive, vielfältige Datensätze – Text, Bilder, Audio und Video – parallel, um Durchsatz und Effizienz zu maximieren.
• Prä-Training und Post-Tuning: Skaliert PyTorch und andere Frameworks auf Tausende von GPUs für Prä-Training und Feinabstimmungsaufgaben.
• Verteilte Inferenz: Bereitstellt Modelle in der Produktion mit hohem Durchsatz und niedriger Latenz, verwaltet dynamisch Arbeitslastspitzen in heterogenen Clustern.

Zusammen machen diese Funktionen Ray zu dem “Klebstoff”, der Modellentwicklung, Optimierung und Bereitstellung verbindet und effektiv die verteilter Rechenmotor-Ebene der modernen AI-Infrastruktur bildet.

Was dies für Entwickler und Unternehmen bedeutet

In der heutigen AI-getriebenen Wirtschaft stehen Organisationen vor enormen Herausforderungen im Hinblick auf Skalierbarkeit, Vendor-Lock-in und Rechenineffizienz. Proprietäre Systeme fragmentieren oft Workflows und verlangsamen Innovation. Durch die Aufnahme von Ray in die PyTorch-Stiftung erhalten Entwickler einen vollständig Open-Source-, interoperablen Compute-Stack, der viele dieser Schmerzpunkte eliminiert.

Wie Matt White, GM von AI bei der Linux Foundation, erklärte, vereint diese Zusammenarbeit “die kritischen Komponenten, die zum Aufbau von Next-Generation-AI-Systemen erforderlich sind”. Die Vereinigung ermöglicht es Teams, fortschrittliche AI-Systeme – von großen Sprachmodellen bis hin zu multimodalen Anwendungen – ohne auf geschlossene, proprietäre Infrastruktur zurückzugreifen, zu entwickeln. Stattdessen können Entwickler AI-Modelle mithilfe eines Ökosystems trainieren und bereitstellen, das skalierbar, modulare und community-getrieben ist.

Die breiteren Auswirkungen auf Open-Source-AI

Die Zusammenarbeit zwischen PyTorch, vLLM und Ray weist auf eine neue Ära der Open-Source-Computing-Interoperabilität hin. Durch die neutrale Governance der Linux Foundation gewinnt die AI-Branche ein nachhaltiges Modell für die Entwicklung gemeinsamer Infrastruktur – ähnlich wie Kubernetes die Cloud-Orchestrierung standardisiert hat.

Branchenführer wiederholten diese Meinung. Chris Aniszczyk von der Cloud Native Computing Foundation betonte, dass “Ray und Kubernetes natürlich komplementär sind”, da sie die Orchestrierungs- und verteilten Rechenstärken kombinieren, um Next-Generation-AI-Systeme zu betreiben. Der Director of Engineering bei Uber, Zhitao Li, fügte hinzu, dass Ray bereits ein “wesentlicher Bestandteil” ihrer AI-Plattform ist, die groß angelegtes Training und Datenverarbeitung ermöglicht. Und Meta’s Joe Spisak, ein Mitglied des PyTorch-Stiftungsvorstands, bezeichnete Rays Aufnahme als “wichtigen Meilenstein für Open-Source-AI”, da sie einen einheitlichen, community-getriebenen Compute-Stack schafft.

Blick in die Zukunft

Anscyles Co-Founder Robert Nishihara fasste den Meilenstein prägnant zusammen:

“Unser Ziel ist es, verteiltes Rechnen so einfach zu machen wie das Schreiben von Python-Code. Der Beitritt zur PyTorch-Stiftung stellt sicher, dass Ray weiterhin ein offenes, community-getriebenes Rückgrat für Entwickler bleibt.”

Entwickler und Mitwirkende können sich über das Ray-GitHub-Repository oder die Ray Summit 2025 in San Francisco im November engagieren, wo die Community weiter erforschen wird, was diese neue Open-Source-Stiftung für die Zukunft von AI-Skalierbarkeit und -Zugänglichkeit bedeutet.

Im Wesentlichen vervollständigt die Aufnahme von Ray die fehlende Ebene im Open-Source-AI-Ökosystem – indem sie Modellierung, Inferenz und verteilte Ausführung unter einer Stiftung zusammenbringt. Es ist ein entscheidender Schritt hin zu einer Zukunft, in der AI-Infrastruktur nicht nur leistungsfähiger, sondern auch offener, effizienter und entwicklerfreundlicher ist.