Clairvoyance från Stardock lägger till Hivemind för att dela lediga GPU:er för lokal AI

Clairvoyance från Stardock lägger till en möjlighet för team att låta lediga datorer utföra AI-inferens. Den lokala modellhanteraren Locama innehåller Hivemind, en funktion som delar inferenskapacitet lokalt mellan företagets datorer, samt ett benchmarktest som är tänkt att visa hur väl viss hårdvara kör AI.

Lanseringen den 5 november presenterar Clairvoyance 0.90 som en skrivbordsmiljö där lokala modeller och molnmodeller kan användas tillsammans. Locama hanterar installation, körning och orkestrering av lokala modeller i Windows, macOS och Linux. Hivemind utvidgar konceptet från en enskild dator till de datorer som finns tillgängliga för ett team.

Stardock riktar sig till rutinmässiga affärsuppgifter med stora volymer inom områden som upphandling, leveranskedjor, juridisk verksamhet och ekonomi. Företagets argument är att en del av dessa uppgifter kan utföras på hårdvara som organisationen redan äger, vilket minskar behovet av att skicka varje förfrågan till en molntjänst med avgiftsbaserad användning.

Hivemind förvandlar överblivna datorer till delad inferenskapacitet

Med Hivemind kan teammedlemmar utföra AI-arbete med hjälp av lediga GPU:er i företagets datorer. Det kan vara särskilt relevant utanför ordinarie arbetstid, då datorer som kan köra lokala modeller annars kanske står oanvända.

”De flesta företag har kraftfulla datorer som står oanvända varje natt, och med Hivemind kan de samla datorerna och låta dem arbeta”, säger Brad Wardell, vd för Stardock Software.

Företagets tekniska terminologi beskriver Hivemind som delad lokal inferens mellan jämbördiga enheter. Separat anges Locama som inferensvärd och en routningskomponent kallad Concierge som ansvarig för att välja modell och dator för varje tur.

Detta är en viktig skillnad jämfört med antagandet att flera datorer blir till en enda stor accelerator. Att dela arbetet mellan tillgängliga datorer kan öka den användbara kapaciteten, men i tillkännagivandet anges inget om tensorparallell körning, sammanslaget GPU-minne eller hur en modell som är för stor för en enskild dator skulle delas upp mellan jämbördiga enheter.

För ett team som ska avgöra var en arbetsbelastning ska köras är de relevanta frågorna om modellen ryms på den tillgängliga hårdvaran, om den ger godtagbara resultat och om routning av arbetet till en annan dator medför större fördröjning än den tidsbesparing den ger. Hiveminds värde beror på den kombinationen, inte bara på tillgången till GPU:er.

Lokala modeller och molnmodeller i samma arbetsyta

Clairvoyance organiserar AI-assistenter som namngivna Staff-medlemmar, vilka arbetar med användarens filer och skapar dokument och andra artefakter. I dokumentationen beskrivs hur olika leverantörer eller lokala modeller kan tilldelas Staff-medlemmar, så att en arbetsyta kan kombinera olika beräkningsalternativ.

Skillnaden mellan alternativen är viktig. En lokal modell körs på hårdvara som användaren eller organisationen kontrollerar. Genom att ansluta ett verktyg från en molnleverantör får man åtkomst via leverantörens konto och autentisering. Att installera Clairvoyance innebär inte automatiskt obegränsad åtkomst till alla kommersiella modeller som tjänsten stöder.

I dokumentationen påpekas också att lokala modellers förmåga att använda verktyg varierar. En modell som kan besvara frågor kan inte nödvändigtvis utföra det agentbaserade arbetsflöde som ett team behöver. Att välja en mindre lokal modell är därför ett uppgiftsspecifikt beslut där både förmåga och hastighet spelar in.

Det ger produkten en praktisk roll mellan en anställd och de underliggande modellkörmiljöerna. I stället för att låta alla uppgifter använda samma backend kan miljön stödja olika val för olika typer av arbete. Lanseringen redovisar inga oberoende mätningar av minskade molnkostnader från Hivemind-installationer.

Ett benchmarktest för den hårdvara människor faktiskt äger

Locama innehåller också Clairvoyance Local AI Benchmark. Stardock beskriver huvudmåttet Model Speed som en sammanvägning av den tid en lokal modell behöver för att bearbeta en förfrågan och lämna ett fullständigt svar. Offentliga resultat finns på clairvoyanceai.com/benchmark, och Professional-användare kan köra tester på sin egen hårdvara.

I produktens versionsinformation beskrivs mätvärden som prefyllnad, avkodning, tid till första token och minne, tillsammans med uppgiftsinriktade kontroller. Prefyllnad är bearbetningen av en inmatad prompt och dess kontext; avkodning är genereringen av svaret. Dessa steg kan belasta hårdvaran på olika sätt.

En snabb första token kan få ett gränssnitt att kännas responsivt, medan den totala tiden för att slutföra uppgiften är viktig vid batchjobb eller längre agentuppgifter. När dessa mätvärden redovisas blir ett benchmarktest mer användbart än om man bara förlitar sig på en enda hårdvaruspecifikation.

På resultatsidan anges att bidragen kommer från Clairvoyance-användare och återspeglar deras hårdvara och inställningar. Databasen blir därmed en källa till belägg som är specifika för en viss konfiguration, snarare än en kontrollerad, oberoende rangordning. För meningsfulla jämförelser behöver man fortfarande ta hänsyn till vilken modell, precision, kontext, uppgift och körmiljö som används.

Qualcomm-integrationen ger ytterligare ett lokalt beräkningsalternativ

Clairvoyances arbete med Qualcomm inleddes före den här lanseringen. En utvecklarartikel från Qualcomm den 23 september beskriver hur GenieX, chiptillverkarens generativa AI-körmiljö på enheten, integreras med Hexagon NPU i datorer i Snapdragon X Series.

Den här integrationen breddar lokal inferens bortom konventionella stationära grafikprocessorer. Qualcomm beskriver hur modeller och beräkningsresurser väljs utifrån uppgiftens krav, med stöd för lokala agentiska arbetsflöden. Det innebär inte att varje lokal modell kan ersätta en avancerad molnmodell för alla uppgifter.

Hivemind är relevant här som del av en bredare hårdvarustrategi: att göra befintliga datorresurser användbara i en gemensam arbetsmiljö. Olika maskiner kan ha olika modellkapacitet, bandbredd och beräkningsacceleration, så programvaran måste anpassa uppgiften efter de resurser som finns tillgängliga.

Prissättning och ekonomin i att återanvända hårdvara

Clairvoyance 0.90 lanseras för Windows, macOS och Linux. På prissidan anges en kostnadsfri nivå för personligt och icke-kommersiellt bruk. Professional kostar 20 dollar per månad och omfattar kommersiell licensiering, Hivemind, funktioner för team, molnsynkronisering och ett inkluderat AI-tokenpaket. Enterprise kostar enligt prislistan 100 dollar per licensplats och månad och omfattar ytterligare funktioner för organisationer samt volymbaserade upplägg.

Lokal inferens kan minska molnkostnaderna som baseras på användning, men medför fortfarande kostnader för el, slitage på hårdvaran, administration och alternativkostnaden för att en maskin tas i anspråk. En kostnadsjämförelse behöver också ta hänsyn till resultatets kvalitet och det arbete som krävs för att granska eller korrigera det.

Stardock räknar med att tillräckligt mycket återkommande arbete kan utföras enligt dessa krav på hårdvara som redan finns i närheten. Hivemind ger team ett sätt att utforska den möjligheten, medan riktmärket ger en utgångspunkt för att mäta vilka modeller och maskiner som lämpar sig för uppgiften.