Stardocks Clairvoyance voegt Hivemind toe om ongebruikte GPU’s te delen voor lokale AI

Clairvoyance van Stardock biedt teams een manier om ongebruikte computers in te zetten voor AI-inferentie. De lokale-modelbeheerder Locama bevat Hivemind, een functie waarmee lokale inferentiecapaciteit over de computers van een bedrijf wordt gedeeld, en een benchmark die moet laten zien hoe goed specifieke hardware AI uitvoert.

De release van 5 november presenteert Clairvoyance 0.90 als een desktopomgeving waarin lokale en cloudmodellen samen kunnen worden gebruikt. Locama beheert de installatie, uitvoering en orkestratie van lokale modellen op Windows, macOS en Linux; Hivemind breidt dat concept uit van één computer naar de beschikbare computers van een team.

Stardock richt zich op routinematig bedrijfswerk met een hoog volume, bijvoorbeeld op het gebied van inkoop, toeleveringsketens, juridische processen en financiën. Volgens het bedrijf kunnen sommige van die taken worden uitgevoerd op hardware die een organisatie al bezit, waardoor minder verzoeken naar een clouddienst met gebruikskosten hoeven te worden gestuurd.

Hivemind maakt van ongebruikte computers gedeelde inferentiecapaciteit

Met Hivemind kunnen teamleden AI-taken uitvoeren op ongebruikte GPU’s in de computers van het bedrijf. Dat kan vooral buiten de normale werktijden van belang zijn, wanneer computers die lokale modellen kunnen uitvoeren anders mogelijk ongebruikt blijven.

‘De meeste bedrijven hebben elke nacht krachtige computers die ongebruikt blijven. Met Hivemind kunnen ze die computers bundelen en aan het werk zetten’, aldus Brad Wardell, CEO van Stardock Software.

De technische terminologie van het bedrijf omschrijft Hivemind als gedeelde lokale inferentie tussen gelijkwaardige systemen. Locama wordt afzonderlijk aangeduid als de inferentiehost; een routeringscomponent met de naam Concierge is verantwoordelijk voor de keuze van een model en een computer voor een beurt.

Dat is een belangrijk onderscheid met de aanname dat meerdere computers samen één grote accelerator vormen. Werk verdelen over beschikbare computers kan de bruikbare capaciteit vergroten, maar in de aankondiging staat niet of tensorparallelle uitvoering mogelijk is, of GPU-geheugen wordt gecombineerd en hoe één model dat te groot is voor een afzonderlijke computer over meerdere systemen zou worden verdeeld.

Voor een team dat moet bepalen waar een workload wordt uitgevoerd, zijn dit de relevante vragen: past het model op de beschikbare hardware, levert het aanvaardbare resultaten op en zorgt het routeren van werk naar een andere computer voor meer vertraging dan het oplevert? De waarde van Hivemind hangt af van die combinatie, niet alleen van de beschikbaarheid van GPU’s.

Lokale en cloudmodellen in dezelfde werkomgeving

Clairvoyance organiseert AI-assistenten als benoemde Staff-medewerkers die met de bestanden van een gebruiker werken en documenten en andere artefacten maken. In de documentatie staat dat verschillende providers of lokale modellen aan Staff-medewerkers kunnen worden toegewezen, zodat in één werkomgeving verschillende rekenmogelijkheden kunnen worden gecombineerd.

Het onderscheid tussen die opties is belangrijk. Een lokaal model wordt uitgevoerd op hardware waarover de gebruiker of organisatie controle heeft. Door een tool van een cloudprovider te koppelen, krijgt men toegang via het account en de authenticatie van die provider; de installatie van Clairvoyance omvat niet automatisch onbeperkte toegang tot elk commercieel model dat het ondersteunt.

De documentatie vermeldt ook dat lokale modellen verschillende mogelijkheden hebben om tools te gebruiken. Een model dat vragen kan beantwoorden, kan niet noodzakelijkerwijs de agentische workflow uitvoeren die een team nodig heeft. De keuze voor een kleiner lokaal model hangt daarom af van de specifieke taak en vereist een afweging tussen de mogelijkheden en de snelheid.

Daarmee vervult het product een praktische rol tussen een medewerker en de onderliggende modelruntimes. In plaats van voor elke taak dezelfde backend te gebruiken, kan de omgeving verschillende keuzes ondersteunen voor verschillende werkzaamheden. De release bevat geen onafhankelijk gemeten cijfers over lagere cloudkosten door Hivemind-implementaties.

Een benchmark voor de hardware die mensen daadwerkelijk bezitten

Locama bevat ook de Clairvoyance-benchmark voor lokale AI. Stardock omschrijft de belangrijkste maatstaf, de modelsnelheid, als een combinatie van de tijd die een lokaal model nodig heeft om een verzoek te verwerken en een volledig antwoord te geven. Openbare resultaten zijn te vinden op clairvoyanceai.com/benchmark; Professional-gebruikers kunnen tests uitvoeren op hun eigen hardware.

In de releaseopmerkingen van het product worden metingen beschreven, waaronder prefill, decodering, de tijd tot het eerste token en geheugengebruik, naast taakgerichte tests. Prefill is de verwerking van een invoerprompt en de bijbehorende context; decodering is het genereren van het antwoord. Die fasen kunnen de hardware op verschillende manieren belasten.

Een snel eerste token kan een interface responsief laten aanvoelen, terwijl voor een batchtaak of een langere agenttaak juist de totale voltooiingstijd van belang is. Door die metingen zichtbaar te houden, is een benchmark nuttiger dan wanneer men alleen afgaat op één hardwarespecificatie.

Op de resultatenpagina staat dat inzendingen afkomstig zijn van Clairvoyance-gebruikers en hun hardware en instellingen weerspiegelen. De database biedt daarmee bewijs dat specifiek is voor bepaalde configuraties, en is geen gecontroleerde, onafhankelijke ranglijst. Voor zinvolle vergelijkingen moet nog steeds rekening worden gehouden met het gebruikte model, de precisie, de context, de taak en de runtime.

Integratie met Qualcomm voegt een andere optie voor lokale rekenkracht toe

De samenwerking van Clairvoyance met Qualcomm dateert van vóór deze release. Een ontwikkelaarsartikel van Qualcomm van 23 september beschrijft hoe GenieX, de generatieve AI-runtime van de chipfabrikant die rechtstreeks op het apparaat draait, is geïntegreerd met de Hexagon NPU op pc’s uit de Snapdragon X Series.

Dankzij die integratie kan lokale inferentie op meer hardware draaien dan alleen traditionele desktop-GPU’s. Qualcomm beschrijft hoe modellen en rekenbronnen worden geselecteerd op basis van de vereisten van een taak, met ondersteuning voor lokale agentische workflows. Dit toont niet aan dat elk lokaal model voor elke taak een toonaangevend cloudmodel kan vervangen.

De relevantie voor Hivemind zit in de bredere hardwarestrategie: bestaande computerbronnen bruikbaar maken vanuit één werkomgeving. Verschillende machines kunnen verschillen in modelcapaciteit, bandbreedte en hardwareversnelling. Software moet de taak dus afstemmen op wat er beschikbaar is.

Prijzen en de economische aspecten van hergebruik van hardware

Clairvoyance 0.90 wordt uitgebracht voor Windows, macOS en Linux. Op de prijzenpagina staat een gratis abonnement voor persoonlijk en niet-commercieel gebruik. Het Professional-abonnement kost $20 per maand en omvat een commerciële licentie, Hivemind, functies voor teams, cloudsynchronisatie en een inbegrepen pakket AI-tokens. Enterprise staat vermeld voor $100 per gebruiker per maand, met aanvullende functies voor organisaties en volumeafspraken.

Lokale inferentie kan de cloudkosten op basis van verbruik verlagen, maar brengt nog steeds kosten met zich mee: stroomverbruik, slijtage van hardware, beheer en de alternatieve kosten van het bezet houden van een machine. Bij een kostenvergelijking moet ook rekening worden gehouden met de kwaliteit van de uitvoer en met eventueel werk dat nodig is om die te controleren of te corrigeren.

Stardock gokt erop dat voldoende terugkerend werk aan die eisen kan voldoen met hardware die al in de buurt staat. Hivemind biedt teams een manier om dat idee te verkennen, terwijl de benchmark een uitgangspunt biedt om te bepalen welke modellen en machines geschikt zijn voor de taak.