Stardocks Clairvoyance legger til Hivemind for å dele ledige GPU-er til lokal KI

Stardocks Clairvoyance legger til en måte for team å bruke ledige datamaskiner til KI-inferens på. Den lokale modellbehandleren Locama inkluderer Hivemind, en funksjon som deler lokal inferenskapasitet mellom selskapets maskiner, samt en referansemåling som skal vise hvor godt bestemt maskinvare kjører KI.

Lanseringen 5. november presenterer Clairvoyance 0.90 som et skrivebordsmiljø for å bruke lokale modeller og skymodeller sammen. Locama håndterer installasjon, kjøring og orkestrering av lokale modeller på Windows, macOS og Linux. Hivemind utvider denne løsningen fra én datamaskin til maskinene et team har tilgjengelig.

Stardock retter seg mot rutinemessige forretningsoppgaver med stort volum innen områder som innkjøp, forsyningskjeder, juridisk drift og økonomi. Selskapets argument er at noen av disse oppgavene kan kjøres på maskinvare organisasjonen allerede eier, slik at behovet for å sende hver forespørsel til en skybasert tjeneste med forbruksbasert prising reduseres.

Hivemind gjør overskuddsmaskiner til delt inferenskapasitet

Hivemind lar teammedlemmer kjøre KI-oppgaver ved hjelp av ledige GPU-er på selskapets datamaskiner. Dette kan være særlig relevant utenfor normal arbeidstid, når maskiner som kan kjøre lokale modeller, ellers kanskje ikke ville vært i bruk.

«De fleste bedrifter har kraftige maskiner som står ubrukt hver natt, og Hivemind lar dem samle disse maskinene og sette dem i arbeid», sa Brad Wardell, administrerende direktør i Stardock Software.

Selskapets tekniske terminologi beskriver Hivemind som delt lokal inferens mellom likestilte enheter. Locama omtales separat som inferensverten, mens en rutingskomponent kalt Concierge har ansvar for å velge modell og maskin for hver omgang.

Dette er en viktig forskjell fra å anta at flere datamaskiner blir til én stor akselerator. Deling av arbeid mellom tilgjengelige maskiner kan øke den praktisk tilgjengelige kapasiteten, men kunngjøringen spesifiserer ikke tensor-parallell kjøring, samlet GPU-minne eller hvordan en modell som er for stor for én maskin, skulle fordeles mellom likestilte enheter.

For et team som skal avgjøre hvor en arbeidsbelastning skal kjøres, er de nyttige spørsmålene om modellen får plass på den tilgjengelige maskinvaren, om den gir akseptable resultater, og om ruting av arbeid til en annen maskin fører til større forsinkelse enn gevinsten. Verdien av Hivemind vil avhenge av denne kombinasjonen, ikke bare av om GPU-er er tilgjengelige.

Lokale modeller og skymodeller i samme arbeidsområde

Clairvoyance organiserer KI-assistenter som navngitte Staff-medlemmer, som arbeider med brukerens filer og lager dokumenter og andre artefakter. I dokumentasjonen beskrives det hvordan ulike leverandører eller lokale modeller kan tilordnes Staff-medlemmer, slik at et arbeidsområde kan kombinere ulike beregningsalternativer.

Det er viktig å skille mellom disse alternativene. En lokal modell kjøres på maskinvare som brukeren eller organisasjonen kontrollerer. Ved å koble til en skyleverandørs verktøy får man tilgang via leverandørens konto og autentisering. En installasjon av Clairvoyance gir ikke automatisk ubegrenset tilgang til alle kommersielle modeller løsningen støtter.

Dokumentasjonen påpeker også at lokale modeller har ulike muligheter for verktøybruk. En modell som kan svare på spørsmål, er ikke nødvendigvis i stand til å utføre arbeidsflyten med agentfunksjoner som teamet trenger. Å velge en mindre lokal modell er derfor en oppgavespesifikk beslutning som handler både om funksjonalitet og hastighet.

Dermed får produktet en praktisk rolle mellom en ansatt og de underliggende modellkjøremiljøene. I stedet for at alle oppgaver må bruke samme bakdel, kan miljøet støtte ulike valg for ulike typer arbeid. Lanseringen inneholder ingen uavhengige målinger av reduserte skykostnader ved bruk av Hivemind.

En referansemåling for maskinvaren folk faktisk eier

Locama inkluderer også Clairvoyance Local AI Benchmark. Stardock beskriver hovedmålet sitt, Model Speed, som en kombinasjon av tiden en lokal modell bruker på å behandle en forespørsel og returnere et fullstendig svar. Offentlige resultater finnes på clairvoyanceai.com/benchmark, og Professional-brukere kan kjøre tester på sin egen maskinvare.

Produktets versjonsnotater beskriver målinger som forhåndsbehandling, dekoding, tid til første token og minnebruk, sammen med oppgaverettede tester. Forhåndsbehandling innebærer å behandle en inndatamelding og konteksten dens, mens dekoding er genereringen av svaret. Disse fasene kan belaste maskinvaren på ulike måter.

Et raskt første token kan få et grensesnitt til å virke responsivt, mens den totale fullføringstiden er viktig for en batchjobb eller en lengre agentoppgave. Når disse målingene vises, blir en referansemåling mer nyttig enn om man bare baserer seg på én enkelt maskinvarespesifikasjon.

Resultatsiden viser at innsendingene kommer fra Clairvoyance-brukere, og at de gjenspeiler maskinvaren og innstillingene deres. Databasen blir dermed en kilde til konfigurasjonsspesifikk dokumentasjon, snarere enn en kontrollert, uavhengig rangering. For meningsfulle sammenligninger må man fortsatt ta hensyn til modellen, presisjonen, konteksten, oppgaven og kjøremiljøet som er brukt.

Qualcomm-integrasjon gir enda et lokalt beregningsalternativ

Clairvoyances arbeid med Qualcomm startet før denne lanseringen. En utviklerartikkel fra Qualcomm datert 23. september beskriver integrasjonen av GenieX, brikkeprodusentens generative KI-kjøretidsmiljø på enheten, med Hexagon NPU i PC-er med Snapdragon X Series.

Denne integrasjonen utvider mulighetene for lokal inferens utover konvensjonelle stasjonære GPU-er. Qualcomm beskriver hvordan modeller og dataressurser velges ut fra oppgavens krav, med støtte for lokale agentbaserte arbeidsflyter. Det betyr ikke at alle lokale modeller kan erstatte en avansert skybasert modell for alle oppgaver.

Hivemind er relevant i denne sammenhengen på grunn av den bredere maskinvarestrategien: å gjøre eksisterende dataressurser tilgjengelige gjennom ett felles arbeidsmiljø. Ulike maskiner kan ha ulik modellkapasitet, båndbredde og akselerasjon, så programvaren må tilpasse oppgaven til ressursene som er tilgjengelige.

Priser og økonomien i å gjenbruke maskinvare

Clairvoyance 0.90 lanseres for Windows, macOS og Linux. På prissiden står det at et gratisnivå er tilgjengelig for personlig og ikke-kommersiell bruk, mens Professional koster 20 dollar per måned og inkluderer kommersiell lisensiering, Hivemind, funksjoner for team, skysynkronisering og en inkludert KI-tokenpakke. Enterprise er oppført til 100 dollar per brukerplass per måned, med flere funksjoner for organisasjoner og volumbaserte avtaler.

Lokal inferens kan redusere skyutgifter som beregnes etter bruk, men medfører fortsatt kostnader: strøm, slitasje på maskinvaren, administrasjon og alternativkostnaden ved å beslaglegge en maskin. En kostnadssammenligning må også ta hensyn til kvaliteten på resultatet og eventuelt arbeid med å kontrollere eller korrigere det.

Stardock satser på at nok tilbakevendende arbeid kan utføres på maskinvare som allerede finnes i nærheten. Hivemind gir team en måte å utforske denne muligheten på, mens referansemålingen gir et utgangspunkt for å vurdere hvilke modeller og maskiner som egner seg til oppgaven.