Stardocks Clairvoyance tilføjer Hivemind, så ledige GPU’er kan deles til lokal AI

Stardocks Clairvoyance tilføjer en mulighed for, at teams kan bruge ledige computere til AI-inferens. Den lokale modelmanager Locama omfatter Hivemind, en funktion, der deler den lokale inferenskapacitet mellem en virksomheds computere, samt et benchmark, der skal vise, hvor godt bestemt hardware kører AI.

Udgivelsen den 5. november præsenterer Clairvoyance 0.90 som et skrivebordsmiljø, hvor lokale modeller og cloudmodeller kan bruges sammen. Locama håndterer installation, kørsel og orkestrering af lokale modeller på Windows, macOS og Linux; Hivemind udvider denne mulighed fra én computer til de maskiner, et team har til rådighed.

Stardock retter sig mod rutineprægede opgaver i stor skala inden for områder som indkøb, forsyningskæder, juridisk drift og økonomi. Virksomhedens argument er, at nogle af opgaverne kan udføres på hardware, som organisationen allerede ejer, så behovet for at sende hver eneste forespørgsel til en cloudtjeneste med forbrugsafregning mindskes.

Hivemind omdanner overskydende computere til delt inferenskapacitet

Hivemind gør det muligt for teammedlemmer at udføre AI-opgaver ved hjælp af ledige GPU’er på virksomhedens computere. Det kan være særligt relevant uden for normal arbejdstid, hvor maskiner, der kan køre lokale modeller, ellers måske står ubenyttede.

»De fleste virksomheder har kraftige maskiner, der står ubenyttede hver aften, og med Hivemind kan de samle maskinerne og sætte dem i arbejde,« sagde Brad Wardell, administrerende direktør for Stardock Software.

Virksomhedens tekniske terminologi beskriver Hivemind som delt lokal inferens mellem ligestillede enheder. Den beskriver separat Locama som inferensværten og en routingkomponent ved navn Concierge som den komponent, der vælger en model og en maskine til hver tur.

Det er vigtigt at skelne mellem dette og at antage, at flere computere bliver til én stor accelerator. Deling af arbejde mellem tilgængelige maskiner kan øge den kapacitet, der kan udnyttes, men meddelelsen specificerer ikke tensorparallel udførelse, samlet GPU-hukommelse eller hvordan en enkelt model, der er for stor til én maskine, ville blive fordelt mellem ligestillede enheder.

For et team, der skal beslutte, hvor en arbejdsbelastning skal køres, er de relevante spørgsmål, om modellen passer til den tilgængelige hardware, om den leverer acceptable resultater, og om routing af arbejdet til en anden maskine medfører større forsinkelse, end den sparer. Hiveminds værdi afhænger af denne kombination og ikke alene af, om der er GPU’er til rådighed.

Lokale modeller og cloudmodeller i samme arbejdsområde

Clairvoyance organiserer AI-assistenter som navngivne medarbejdere, der arbejder med brugerens filer og udarbejder dokumenter og andre artefakter. I dokumentationen beskrives det, hvordan forskellige udbydere eller lokale modeller kan tildeles medarbejderne, så et arbejdsområde kan kombinere forskellige beregningsmuligheder.

Det er vigtigt at skelne mellem disse muligheder. En lokal model køres på hardware, som brugeren eller organisationen har kontrol over. Ved at tilslutte en cloududbyders værktøj får man adgang via udbyderens konto og godkendelse; installation af Clairvoyance giver ikke automatisk ubegrænset adgang til alle de kommercielle modeller, som løsningen understøtter.

Dokumentationen bemærker også, at lokale modellers evne til at bruge værktøjer varierer. En model, der kan besvare spørgsmål, er ikke nødvendigvis i stand til at udføre den agentbaserede arbejdsgang, et team har brug for. Valget af en mindre lokal model er derfor en opgavespecifik beslutning, hvor både funktionsevne og hastighed spiller ind.

Det giver produktet en praktisk rolle mellem medarbejderen og de underliggende kørselsmiljøer for modellerne. I stedet for at alle opgaver skal bruge den samme backend kan miljøet understøtte forskellige valg til forskellige typer arbejde. Udgivelsen fremlægger ikke uafhængigt målte reduktioner i cloudomkostninger fra Hivemind-installationer.

Et benchmark for den hardware, folk faktisk ejer

Locama omfatter også Clairvoyance Local AI Benchmark. Stardock beskriver sit vigtigste måltal, Modelhastighed, som en kombination af den tid, en lokal model bruger på at behandle en forespørgsel og levere et fuldstændigt svar. Offentlige resultater findes på clairvoyanceai.com/benchmark, og Professional-brugere kan køre test på deres egen hardware.

Produktets udgivelsesnoter beskriver målinger, herunder forbehandling af prompt, afkodning, tid til første token og hukommelsesforbrug, samt opgaverettede kontroller. Forbehandling af prompt er behandlingen af en inputprompt og dens kontekst; afkodning er genereringen af svaret. Disse faser kan belaste hardware på forskellige måder.

Et hurtigt første token kan få et brugergrænseflade til at virke responsivt, mens den samlede tid til færdiggørelse er vigtig for en batchopgave eller en længere agentopgave. Når disse målinger vises, bliver et benchmark mere nyttigt end en enkelt hardwarespecifikation.

På resultatsiden angives det, at målingerne er indsendt af Clairvoyance-brugere og afspejler deres hardware og indstillinger. Databasen er derfor en kilde til dokumentation for bestemte konfigurationer, ikke en kontrolleret, uafhængig rangering. Meningsfulde sammenligninger skal stadig tage højde for den anvendte model, præcision, kontekst, opgave og kørselsmiljø.

Qualcomm-integration giver endnu en mulighed for lokal databehandling

Clairvoyances samarbejde med Qualcomm går forud for denne udgivelse. En udviklerartikel fra Qualcomm den 23. september dokumenterer integrationen af GenieX, chipproducentens generative AI-kørselstid på enheden, med Hexagon-NPU’en i pc’er med Snapdragon X Series.

Denne integration udvider mulighederne for lokal inferens ud over traditionelle stationære GPU’er. Qualcomm beskriver, hvordan modeller og beregningsressourcer vælges efter opgavens krav, med understøttelse af lokale agentbaserede arbejdsgange. Det viser ikke, at alle lokale modeller kan erstatte en førende cloudmodel til enhver opgave.

Hivemind er relevant som led i en bredere hardwarestrategi: at gøre eksisterende computerressourcer anvendelige i ét samlet arbejdsmiljø. Forskellige maskiner kan have forskellig modelkapacitet, båndbredde og acceleration, så softwaren skal tilpasse opgaven til de tilgængelige ressourcer.

Priser og økonomien i at genbruge hardware

Clairvoyance 0.90 udgives til Windows, macOS og Linux. På prissiden fremgår et gratis abonnement til personlig og ikke-kommerciel brug, mens Professional koster 20 $ om måneden og omfatter kommerciel licens, Hivemind, funktioner til teams, synkronisering i skyen og en inkluderet AI-tokenpakke. Enterprise står til 100 $ pr. bruger om måneden og omfatter yderligere funktioner til organisationer samt mængdeaftaler.

Lokal inferens kan reducere forbrugsbaserede cloududgifter, men har stadig omkostninger: strøm, slitage på hardware, administration og alternativomkostningen ved at optage en maskine. En sammenligning af omkostningerne skal også tage højde for outputtets kvalitet og det arbejde, der eventuelt kræves for at gennemgå eller rette det.

Stardock satser på, at tilstrækkeligt meget tilbagevendende arbejde kan udføres på hardware, der allerede står i nærheden. Hivemind giver teams mulighed for at afprøve den idé, mens benchmarken giver et udgangspunkt for at måle, hvilke modeller og maskiner der egner sig til opgaven.