Clairvoyance di Stardock aggiunge Hivemind per condividere le GPU inattive e usarle per l’IA locale

Clairvoyance di Stardock aggiunge un modo per consentire ai team di usare i computer inattivi per l’inferenza IA. Il suo gestore di modelli locali Locama include Hivemind, una funzione che condivide la capacità di inferenza locale tra i computer di un’azienda, oltre a un benchmark pensato per mostrare quanto bene l’hardware specifico esegua i carichi di lavoro IA.

La versione del 5 novembre presenta Clairvoyance 0.90 come un ambiente desktop per usare insieme modelli locali e cloud. Locama gestisce l’installazione, l’esecuzione e l’orchestrazione di modelli locali su Windows, macOS e Linux; Hivemind estende questa possibilità, passando dal singolo computer a quelli disponibili per un team.

Stardock si rivolge alle attività aziendali di routine e ad alto volume in ambiti come gli acquisti, le catene di approvvigionamento, le operazioni legali e la finanza. La sua tesi è che alcune di queste attività possano essere svolte su hardware già posseduto dall’organizzazione, riducendo la necessità di inviare ogni richiesta a un servizio cloud a consumo.

Hivemind trasforma i computer inutilizzati in capacità di inferenza condivisa

Hivemind consente ai membri di un team di eseguire attività di IA utilizzando le GPU inattive presenti nei computer dell’azienda. La funzione potrebbe essere particolarmente utile al di fuori del normale orario di lavoro, quando i computer in grado di eseguire modelli locali potrebbero altrimenti restare inutilizzati.

«La maggior parte delle aziende ha computer potenti che restano inattivi ogni notte; Hivemind permette di metterli in comune e di usarli», ha dichiarato Brad Wardell, CEO di Stardock Software.

La terminologia tecnica dell’azienda descrive Hivemind come un sistema di inferenza locale condivisa tra nodi peer. Individua separatamente Locama come host dell’inferenza e un componente di instradamento chiamato Concierge, incaricato di scegliere un modello e un computer per ciascun turno.

È importante non confondere questa soluzione con l’idea che più computer diventino un unico grande acceleratore. Condividere il lavoro tra i computer disponibili può aumentare la capacità utilizzabile, ma l’annuncio non specifica se sia prevista un’esecuzione parallela dei tensori, una memoria GPU combinata o come verrebbe suddiviso tra i nodi peer un modello troppo grande per un singolo computer.

Per un team che deve decidere dove eseguire un carico di lavoro, le domande utili sono se il modello entra nell’hardware disponibile, se produce risultati accettabili e se instradare il lavoro verso un altro computer comporta un ritardo maggiore del tempo risparmiato. Il valore di Hivemind dipenderà da questa combinazione di fattori, non dalla sola disponibilità di GPU.

Modelli locali e cloud nello stesso spazio di lavoro

Clairvoyance organizza gli assistenti IA come membri dello Staff con un nome, che lavorano con i file dell’utente e producono documenti e altri materiali. La sua documentazione spiega che è possibile assegnare provider o modelli locali diversi ai membri dello Staff, così da combinare più opzioni di elaborazione nello stesso spazio di lavoro.

La distinzione tra queste opzioni è importante. Un modello locale viene eseguito su hardware controllato dall’utente o dall’organizzazione. Collegare lo strumento di un provider cloud consente di accedervi tramite l’account e il sistema di autenticazione del provider; installare Clairvoyance non include automaticamente l’accesso illimitato a tutti i modelli commerciali supportati.

La documentazione osserva inoltre che le capacità di utilizzo degli strumenti variano da un modello locale all’altro. Un modello in grado di rispondere a domande non è necessariamente capace di eseguire il flusso di lavoro agentico di cui un team ha bisogno. Scegliere un modello locale più piccolo è quindi una decisione legata all’attività specifica, che deve tenere conto sia delle capacità sia della velocità.

Il prodotto assume così un ruolo pratico tra il dipendente e gli ambienti di esecuzione dei modelli sottostanti. Invece di imporre lo stesso backend per ogni attività, l’ambiente può supportare scelte diverse in base al lavoro da svolgere. La versione non fornisce dati misurati in modo indipendente sulle riduzioni dei costi del cloud ottenute con le implementazioni di Hivemind.

Un benchmark per l’hardware che le persone possiedono davvero

Locama include anche Clairvoyance Local AI Benchmark. Stardock descrive la sua misura principale, Model Speed, come una combinazione del tempo impiegato da un modello locale per elaborare una richiesta e restituire una risposta completa. I risultati pubblici sono disponibili su clairvoyanceai.com/benchmark e gli utenti Professional possono eseguire test sul proprio hardware.

Le note di rilascio del prodotto descrivono misurazioni che comprendono il prefill, la decodifica, il tempo al primo token e l’uso della memoria, oltre a verifiche orientate alle attività. Il prefill consiste nell’elaborazione del prompt in ingresso e del relativo contesto; la decodifica consiste nella generazione della risposta. Queste fasi possono sollecitare l’hardware in modi diversi.

Un primo token rapido può far sembrare reattiva un’interfaccia, mentre per un’elaborazione in batch o un’attività agentica più lunga conta il tempo complessivo necessario per completarla. Rendere visibili queste misure aumenta l’utilità del benchmark rispetto all’affidarsi a un’unica specifica hardware.

La pagina dei risultati indica che le misurazioni sono state inviate dagli utenti di Clairvoyance e riflettono il loro hardware e le loro impostazioni. Il database costituisce quindi una fonte di dati riferiti a configurazioni specifiche, non una classifica indipendente ottenuta in condizioni controllate. Per effettuare confronti significativi occorre comunque tenere conto del modello, della precisione, del contesto, dell’attività e dell’ambiente di esecuzione utilizzati.

L’integrazione con Qualcomm aggiunge un’altra opzione di calcolo locale

La collaborazione di Clairvoyance con Qualcomm precede questa release. Un articolo per sviluppatori di Qualcomm del 23 settembre documenta l’integrazione di GenieX, il runtime di IA generativa on-device del produttore di chip, con la NPU Hexagon sui PC Snapdragon X Series.

Questa integrazione amplia le possibilità di inferenza locale oltre le tradizionali GPU desktop. Qualcomm descrive la selezione di modelli e risorse di calcolo in base ai requisiti delle attività, con supporto per flussi di lavoro agentici locali. Ciò non dimostra che ogni modello locale possa sostituire un modello cloud all’avanguardia per qualsiasi attività.

La rilevanza di Hivemind sta nella strategia hardware più ampia: rendere utilizzabili le risorse informatiche esistenti attraverso un unico ambiente di lavoro. Macchine diverse possono offrire capacità di elaborazione, larghezza di banda e accelerazione differenti, quindi il software deve adattare il compito alle risorse disponibili.

Prezzi ed economia del riutilizzo dell’hardware

Clairvoyance 0.90 viene rilasciato per Windows, macOS e Linux. La pagina dei prezzi indica un piano gratuito per uso personale e non commerciale, mentre Professional costa 20 $ al mese e include una licenza commerciale, Hivemind, funzionalità per i team, la sincronizzazione cloud e un pacchetto di token IA. Enterprise è indicato a 100 $ per postazione al mese e offre funzionalità organizzative aggiuntive e condizioni per gli acquisti in volume.

L’inferenza locale può ridurre le spese cloud basate sull’utilizzo, ma comporta comunque dei costi: energia, usura dell’hardware, amministrazione e costo opportunità legato all’occupazione di una macchina. Nel confronto dei costi occorre considerare anche la qualità dei risultati e l’eventuale lavoro necessario per verificarli o correggerli.

La scommessa di Stardock è che una quantità sufficiente di attività ricorrenti possa essere svolta rispettando questi requisiti su hardware già disponibile nelle vicinanze. Hivemind offre ai team un modo per verificare questa ipotesi, mentre il benchmark fornisce un punto di partenza per misurare quali modelli e macchine siano adatti al compito.