Stardocks Clairvoyance ergänzt Hivemind, damit ungenutzte GPUs für lokale KI gemeinsam genutzt werden können

Clairvoyance von Stardock bietet Teams eine Möglichkeit, ungenutzte Computer für KI-Inferenz einzusetzen. Der lokale Modellmanager Locama umfasst die Funktion Hivemind, mit der sich lokale Inferenzkapazitäten über die Computer eines Unternehmens hinweg teilen lassen, sowie einen Benchmark, der zeigen soll, wie gut bestimmte Hardware KI ausführt.

Mit der Veröffentlichung vom 5. November positioniert Stardock Clairvoyance 0.90 als Desktopumgebung, in der lokale und Cloud-Modelle gemeinsam genutzt werden können. Locama verwaltet die Installation, Ausführung und Orchestrierung lokaler Modelle unter Windows, macOS und Linux. Hivemind erweitert dieses Konzept von einem einzelnen Computer auf die verfügbaren Geräte eines Teams.

Stardock richtet sich an Unternehmen, die regelmäßig große Mengen an Aufgaben in Bereichen wie Beschaffung, Lieferketten, Rechtsabteilungen und Finanzwesen erledigen. Das Argument des Unternehmens: Einige dieser Aufgaben lassen sich auf bereits vorhandener Hardware ausführen, sodass nicht jede Anfrage an einen nutzungsabhängig abgerechneten Cloud-Dienst gesendet werden muss.

Hivemind macht ungenutzte Computer zu gemeinsam nutzbarer Inferenzkapazität

Mit Hivemind können Teammitglieder KI-Aufgaben auf ungenutzten GPUs in den Computern des Unternehmens ausführen. Das könnte besonders außerhalb der üblichen Arbeitszeiten relevant sein, wenn Rechner, auf denen lokale Modelle laufen können, sonst möglicherweise ungenutzt bleiben.

„Die meisten Unternehmen haben jede Nacht leistungsfähige, ungenutzte Rechner. Mit Hivemind können sie diese Rechner bündeln und einsetzen“, sagte Brad Wardell, CEO von Stardock Software.

In der technischen Terminologie des Unternehmens wird Hivemind als gemeinsam genutzte lokale Inferenz zwischen gleichrangigen Systemen beschrieben. Locama wird separat als Inferenz-Host bezeichnet; eine Routing-Komponente namens Concierge ist dafür zuständig, für jeden Durchlauf ein Modell und einen Rechner auszuwählen.

Das ist ein wichtiger Unterschied zu der Annahme, mehrere Computer würden zu einem einzigen großen Beschleuniger. Die gemeinsame Nutzung verfügbarer Rechner kann die nutzbare Kapazität erhöhen. In der Ankündigung wird jedoch nicht näher erläutert, ob eine tensorparallele Ausführung möglich ist, ob sich der GPU-Speicher kombinieren lässt oder wie ein einzelnes, zu großes Modell auf mehrere gleichrangige Systeme aufgeteilt würde.

Für ein Team, das entscheiden muss, wo eine Arbeitslast ausgeführt werden soll, sind folgende Fragen entscheidend: Passt das Modell auf die verfügbare Hardware? Liefert es akzeptable Ergebnisse? Und verursacht die Weiterleitung der Arbeit an einen anderen Rechner mehr Verzögerung, als sie einspart? Der Nutzen von Hivemind hängt von diesem Zusammenspiel ab, nicht allein von der Verfügbarkeit von GPUs.

Lokale Modelle und Cloud-Modelle in derselben Arbeitsumgebung

Clairvoyance organisiert KI-Assistenten als namentlich benannte Staff, die mit den Dateien eines Nutzers arbeiten und Dokumente sowie andere Ergebnisse erstellen. In der Dokumentation wird beschrieben, wie unterschiedlichen Staff-Mitgliedern verschiedene Anbieter oder lokale Modelle zugewiesen werden können, sodass sich in einer Arbeitsumgebung verschiedene Rechenoptionen kombinieren lassen.

Der Unterschied zwischen diesen Optionen ist wichtig. Ein lokales Modell wird auf Hardware ausgeführt, die der Nutzer oder die Organisation kontrolliert. Die Verbindung mit dem Tool eines Cloud-Anbieters ermöglicht den Zugriff über dessen Konto und Authentifizierung. Die Installation von Clairvoyance schließt nicht automatisch unbegrenzten Zugriff auf alle unterstützten kommerziellen Modelle ein.

In der Dokumentation wird außerdem darauf hingewiesen, dass sich die Möglichkeiten zur Tool-Nutzung je nach lokalem Modell unterscheiden. Ein Modell, das Fragen beantworten kann, ist nicht zwangsläufig in der Lage, den agentischen Arbeitsablauf auszuführen, den ein Team benötigt. Die Wahl eines kleineren lokalen Modells ist daher eine aufgabenspezifische Entscheidung, bei der neben der Geschwindigkeit auch die Leistungsfähigkeit zu berücksichtigen ist.

Damit übernimmt das Produkt eine praktische Rolle zwischen einem Mitarbeiter und den zugrunde liegenden Modell-Laufzeitumgebungen. Statt für jede Aufgabe dasselbe Backend zu verwenden, kann die Umgebung je nach Arbeit unterschiedliche Optionen unterstützen. Die Veröffentlichung enthält keine unabhängig gemessenen Angaben zu den durch Hivemind-Einsätze erzielten Einsparungen bei Cloud-Kosten.

Ein Benchmark für die Hardware, die Menschen tatsächlich besitzen

Locama umfasst auch den Clairvoyance-Benchmark für lokale KI. Stardock beschreibt seine zentrale Kennzahl, die Modellgeschwindigkeit, als Kombination aus der Zeit, die ein lokales Modell benötigt, um eine Anfrage zu verarbeiten und eine vollständige Antwort zurückzugeben. Öffentliche Ergebnisse sind unter clairvoyanceai.com/benchmark verfügbar; Professional-Nutzer können Tests auf ihrer eigenen Hardware ausführen.

In den Versionshinweisen zum Produkt werden Messwerte wie Prefill, Decoding, die Zeit bis zum ersten Token und der Speicherbedarf sowie aufgabenbezogene Prüfungen beschrieben. Beim Prefill werden die Eingabeaufforderung und ihr Kontext verarbeitet; beim Decoding wird die Antwort generiert. Diese Phasen können die Hardware unterschiedlich stark beanspruchen.

Ein schnell ausgegebenes erstes Token kann dafür sorgen, dass sich eine Benutzeroberfläche reaktionsfähig anfühlt. Bei einem Stapelverarbeitungsauftrag oder einer längeren Agentenaufgabe ist dagegen die gesamte Bearbeitungszeit entscheidend. Wenn diese Messwerte sichtbar sind, ist ein Benchmark aussagekräftiger, als wenn man sich auf eine einzelne Hardware-Spezifikation verlässt.

Auf der Ergebnisseite wird angegeben, dass die Einreichungen von Clairvoyance-Nutzern stammen und deren Hardware sowie Einstellungen widerspiegeln. Die Datenbank liefert damit Belege für bestimmte Konfigurationen und stellt keine unabhängige Rangliste unter kontrollierten Bedingungen dar. Aussagekräftige Vergleiche müssen weiterhin das verwendete Modell, die Genauigkeit, den Kontext, die Aufgabe und die Laufzeitumgebung berücksichtigen.

Die Integration von Qualcomm bietet eine weitere lokale Rechenoption

Die Zusammenarbeit von Clairvoyance mit Qualcomm reicht bis vor diese Veröffentlichung zurück. Ein Entwicklerartikel von Qualcomm vom 23. September dokumentiert die Integration von GenieX, der geräteinternen generativen KI-Laufzeitumgebung des Chipherstellers, mit der Hexagon-NPU in PCs der Snapdragon-X-Serie.

Diese Integration erweitert die lokale Inferenz über herkömmliche Desktop-GPUs hinaus. Qualcomm beschreibt, wie je nach Aufgabenanforderungen Modelle und Rechenressourcen ausgewählt werden, und unterstützt lokale agentische Arbeitsabläufe. Daraus folgt nicht, dass jedes lokale Modell bei jeder Aufgabe ein führendes Cloud-Modell ersetzen kann.

Für Hivemind ist die übergeordnete Hardware-Strategie relevant: Vorhandene Rechenressourcen sollen in einer einzigen Arbeitsumgebung nutzbar werden. Verschiedene Rechner bieten möglicherweise unterschiedliche Modellkapazitäten, Bandbreiten und Beschleunigungsmöglichkeiten. Die Software muss die jeweilige Aufgabe daher an die verfügbaren Ressourcen anpassen.

Preise und Wirtschaftlichkeit der Wiederverwendung von Hardware

Clairvoyance 0.90 wird für Windows, macOS und Linux veröffentlicht. Die Preisseite führt eine kostenlose Stufe für die private und nicht kommerzielle Nutzung auf. Professional kostet 20 $ pro Monat und umfasst zusätzlich eine kommerzielle Lizenz, Hivemind, auf Teams ausgerichtete Funktionen, Cloud-Synchronisierung und ein enthaltenes KI-Token-Paket. Enterprise ist mit 100 $ pro Sitzplatz und Monat angegeben und bietet zusätzliche Funktionen für Organisationen sowie Mengenvereinbarungen.

Lokale Inferenz kann nutzungsabhängige Cloud-Ausgaben senken, verursacht aber weiterhin Kosten: Stromverbrauch, Hardwareverschleiß, Verwaltungsaufwand und Opportunitätskosten durch die Belegung eines Rechners. Ein Kostenvergleich muss außerdem die Qualität der Ergebnisse und den Aufwand für deren Prüfung oder Korrektur berücksichtigen.

Stardock setzt darauf, dass sich genügend regelmäßig anfallende Aufgaben mit bereits vorhandener Hardware in der Nähe bewältigen lassen. Hivemind bietet Teams die Möglichkeit, diese Annahme zu prüfen. Der Benchmark liefert einen Ausgangspunkt, um zu ermitteln, welche Modelle und Rechner sich für die jeweilige Aufgabe eignen.