Nvidia verbindet Heimcomputer zu einem KI‑Inference‑Cluster mit PAIR

Nvidia hat am 3. September 2026 die Beta‑Version des Personal AI Router (PAIR) veröffentlicht, eine kostenlose Open‑Source‑Software, die kompatible Computer in einem Heimnetzwerk zu einem einzigen Cluster für lokale KI‑Inference verbindet und Anfragen von Agent‑Workloads über die verfügbaren Maschinen verteilt.

Trotz des Namens ist PAIR kein Hardware‑Router und kein neuer Inferenz‑Motor. Laut Nvidias technischem Blog‑Beitrag, der die Software ankündigt, führen Engines wie Ollama und LM Studio weiterhin jedes Modell auf einer ausgewählten Maschine aus, während PAIR die teilnehmenden Systeme entdeckt, prüft, ob jedes für eine Anfrage bereit ist, unabhängige Jobs plant und jede Antwort an die Anwendung zurückgibt, die sie ausgelöst hat.

Was die Beta unterstützt

Die PAIR‑Beta läuft unter Windows 11, Linux und macOS, wobei x64‑ und arm64‑Architekturen auf allen drei Betriebssystemen unterstützt werden; die Projektdokumentation bezeichnet Windows on ARM als experimentell. Auf Nvidias Produktseite wird die unterstützte Hardware als alle GeForce‑RTX‑GPUs ab der 20‑Serie, DGX‑Spark‑ und GB10‑Systeme sowie Macs mit Apple‑M4‑Chips oder neueren angegeben, zusammen mit mindestens 8 GB RAM und empfohlen mindestens 20 GB Festplattenspeicher. Der technische Blog‑Beitrag listet zusätzlich RTX PRO‑Workstation‑GPUs der Turing‑Architektur und neuer auf.

Für den Betrieb ist keine Internetverbindung erforderlich, jedoch wird sie zum Herunterladen von Modellen benötigt. Auf der Produktseite steht, dass das Einrichten eines Clusters keine speziellen Kabel oder Racks: erfordert; Benutzer laden die Software herunter, fügen ihre Geräte hinzu und führen ihre KI‑Anwendungen darüber aus. Nvidia veröffentlicht den PAIR‑Quellcode unter der Apache‑License 2.0, und Entwickler können den Code einsehen, Probleme melden und Verbesserungen bei Entdeckung, Kopplung, Routing, Engine‑Integration, Endpunkten und der Benutzererfahrung beitragen.

Routing ohne GPU‑Pooling

Nvidia beschreibt PAIR als virtuellen Inferenz‑Router und nicht als Methode zur Zusammenführung von Hardware. Jede Anfrage wird einem einzigen geeigneten Knoten zugewiesen und verbleibt dort für ihre gesamte Laufzeit; die Software pooled keinen GPU‑Speicher, kombiniert keine GPUs zu einem größeren logischen Beschleuniger, verteilt ein einzelnes Modell nicht auf mehrere Maschinen und teilt eine laufende Inferenz‑Anfrage nicht zwischen Knoten auf.

Anwendungen verbinden sich über Ollama‑kompatible und OpenAI‑kompatible Proxy‑Endpunkte, die PAIR erstellt, indem es die Standard‑Ports der beiden Engines übernimmt. Nvidia erklärte, dass dies bedeutet, dass Agent‑Umgebungen weiterhin die bereits bekannte Schnittstelle nutzen können, ohne eine neue Cluster‑API integrieren zu müssen. Ein Knoten wird nur dann für eine Anfrage geeignet, wenn ein unterstützter Engine darauf aktiviert ist und das exakt angeforderte Modell dort vorhanden ist; PAIR bevorzugt Knoten, von denen es bereits weiß, dass sie das Modell besitzen. Modelle müssen im Cluster nicht identisch sein; das Laden desselben Modell‑Tags auf mehreren Knoten erweitert den Pool an geeigneten Knoten für den Scheduler.

Für jede neue Anfrage bewertet der Scheduler, ob ein gekoppelter Knoten online und bereit ist, ob ein unterstützter Engine aktiviert ist, ob das angeforderte Modell vorhanden ist, welche aktuelle Auslastung (einschließlich aktiver Jobs) besteht und welche GPU‑Auslastung bereits durch z. B. eine grafikintensive Anwendung belegt ist. Knoten können bei Verfügbarkeit Kapazität bereitstellen und sich zurückziehen, wenn sie nicht mehr benötigt werden, etwa wenn ein Laptop in den Ruhezustand geht, geschlossen wird oder das Netzwerk verlässt.

Entdeckung, Sicherheit und Datenschutz

Nach der Installation nutzt PAIR die lokale Netzwerk‑Entdeckung über mDNS, um benachbarte Systeme automatisch zu finden, und ein Knoten kann außerdem per IP‑Adresse hinzugefügt werden. Das Koppeln zweier Maschinen erfolgt über eine sechsstellige PIN, die auf dem einladenden Rechner angezeigt und auf dem eingeladenen eingegeben wird. Nvidia erklärte, dass die Kommunikation zwischen Knoten gesperrt bleibt, bis die sichere Kopplung hergestellt ist; danach wird der Datenverkehr mit MTLS und erzeugten Zertifikaten gesichert. Das Unternehmen positioniert die Software für private lokale Inferenz, wobei Eingabeaufforderungen, Dateien und der Kontext des Agents im Heimnetzwerk des Nutzers verbleiben und nicht an einen Cloud‑Inference‑Dienst gesendet werden. Die Dokumentation des Repositories warnt die Nutzer, die Sicherheitshinweise zu lesen, bevor PAIR in einem nicht vertrauenswürdigen oder gemeinsam genutzten Netzwerk eingesetzt wird, da lokale HTTP‑Endpunkte, LAN‑Entdeckung und Cluster‑Netzwerkfunktionen enthalten sind.

Ziel‑Workloads und eine inoffizielle Demo

Nvidia erklärte, dass PAIR auf Workloads abzielt, die gleichzeitig viele unabhängige Anfragen erzeugen, etwa Multi‑Agent‑Anwendungen, bei denen ein Leit‑Agent eine komplexe Aufgabe in kleinere Jobs für Sub‑Agents aufteilt. In einer Demonstration mit dem Hermes‑Desktop‑Agent und Ollama berichtete das Unternehmen, dass eine Aufgabe mit fünf Sub‑Agents unter Verwendung des Qwen 3.6 35B A3B‑Modells im Durchschnitt 18 Minuten auf einem einzelnen RTX‑Spark‑Laptop benötigte, während ein PAIR‑Cluster aus drei Geräten – einem RTX‑Spark‑Laptop, einem DGX Spark und einer RTX 5090 – dieselbe Arbeitslast im Schnitt in 8 Minuten und 48 Sekunden abschloss. Nvidia charakterisierte das Ergebnis als inoffizielle, konfigurationsspezifische Demonstration und nicht als allgemeinen Benchmark oder Versprechen einer linearen Skalierung, wobei betont wurde, dass die Resultate von der Parallelität des Workloads, dem Modell, den Engine‑Einstellungen, der Hardware, dem Netzwerk und der Verfügbarkeit der Knoten abhängen.

Das Unternehmen erklärte, dass stark sequenzielle Aufgaben, Workloads, die von einem langen Modellaufruf dominiert werden, oder Konfigurationen, bei denen nur ein Knoten das angeforderte Modell enthält, weniger Nutzen bringen könnten. Die Repository‑Dokumentation ergänzt, dass die Software derzeit nur eine einzige Scheduling‑Policy bereitstellt, die wartende Arbeit mit einem groben GPU‑Auslastungssignal kombiniert, wodurch sie besser zu ähnlichen Maschinen passt als zu einem stark gemischten Cluster, und dass Nvidia Rückmeldungen dazu wünscht, den Scheduler intelligenter zu machen, ohne feste Zusagen darüber, was wann veröffentlicht wird.

Quellen des Originalartikels: developer.nvidia.com [1] · nvidia.com [2] · unite.ai [3] · github.com [4]