Clairvoyance de Stardock ajoute Hivemind pour partager les GPU inactifs au service de l’IA locale

Clairvoyance de Stardock offre aux équipes un moyen de mettre les ordinateurs inactifs à contribution pour l’inférence en IA. Son gestionnaire de modèles locaux Locama comprend Hivemind, une fonctionnalité qui partage la capacité d’inférence locale entre les machines d’une entreprise, ainsi qu’un outil de référence destiné à montrer les performances de certains matériels en IA.

La version du 5 novembre présente Clairvoyance 0.90 comme un environnement de bureau permettant d’utiliser ensemble des modèles locaux et infonuagiques. Locama gère l’installation, l’exécution et l’orchestration de modèles locaux sous Windows, macOS et Linux ; Hivemind étend ce principe d’un seul ordinateur à l’ensemble des machines disponibles d’une équipe.

Stardock cible les tâches courantes des entreprises, à grand volume, dans des domaines tels que les achats, les chaînes d’approvisionnement, les opérations juridiques et les finances. L’entreprise fait valoir que certaines de ces tâches peuvent être exécutées sur du matériel qu’une organisation possède déjà, ce qui réduit la nécessité d’envoyer chaque requête à un service infonuagique facturé à l’usage.

Hivemind transforme les ordinateurs inutilisés en capacité d’inférence partagée

Hivemind permet aux membres d’une équipe d’effectuer des tâches d’IA à l’aide des GPU inactifs des ordinateurs de l’entreprise. Cette possibilité pourrait être particulièrement intéressante en dehors des heures normales de travail, lorsque des machines capables d’exécuter des modèles locaux risqueraient autrement de rester inutilisées.

« La plupart des entreprises ont des machines performantes qui restent inactives chaque nuit. Hivemind leur permet de les regrouper et de les mettre à contribution », a déclaré Brad Wardell, PDG de Stardock Software.

La terminologie technique de l’entreprise présente Hivemind comme un système d’inférence locale partagée entre pairs. Elle désigne séparément Locama comme l’hôte d’inférence et attribue à un composant d’acheminement appelé Concierge la responsabilité de choisir un modèle et une machine pour chaque tour.

Il importe de ne pas confondre cela avec la transformation de plusieurs ordinateurs en un seul grand accélérateur. Le partage du travail entre les machines disponibles peut accroître la capacité utilisable, mais l’annonce ne précise pas s’il y a exécution en parallèle des tenseurs, mise en commun de la mémoire GPU, ni comment un modèle trop volumineux serait réparti entre les pairs.

Pour une équipe qui doit décider où exécuter une charge de travail, les questions utiles sont les suivantes : le modèle tient-il sur le matériel disponible, produit-il des résultats satisfaisants et l’acheminement du travail vers une autre machine ajoute-t-il plus de latence qu’il n’en fait gagner ? L’intérêt de Hivemind dépendra de l’ensemble de ces facteurs, et pas seulement de la disponibilité des GPU.

Modèles locaux et infonuagiques dans le même espace de travail

Clairvoyance organise les assistants d’IA sous forme de collaborateurs nommés Staff, qui travaillent avec les fichiers d’un utilisateur et produisent des documents et d’autres éléments. Sa documentation explique qu’il est possible d’attribuer différents fournisseurs ou modèles locaux aux membres Staff, ce qui permet de combiner plusieurs options informatiques dans un même espace de travail.

La distinction entre ces options est importante. Un modèle local s’exécute sur du matériel contrôlé par l’utilisateur ou l’organisation. La connexion à l’outil d’un fournisseur infonuagique donne accès à ses services au moyen du compte et du système d’authentification de ce fournisseur ; l’installation de Clairvoyance n’inclut pas automatiquement un accès illimité à tous les modèles commerciaux pris en charge.

La documentation précise également que les capacités d’utilisation d’outils varient d’un modèle local à l’autre. Un modèle capable de répondre à des questions n’est pas nécessairement en mesure d’exécuter le flux de travail agentique dont une équipe a besoin. Le choix d’un modèle local plus petit est donc une décision propre à chaque tâche, qui doit tenir compte aussi bien de ses capacités que de sa vitesse.

Le produit joue ainsi un rôle pratique d’intermédiaire entre un employé et les environnements d’exécution des modèles sous-jacents. Au lieu d’imposer le même environnement dorsal à toutes les tâches, l’environnement peut proposer différentes options selon le travail à effectuer. La version ne fournit aucune mesure indépendante des réductions de coûts infonuagiques attribuables aux déploiements de Hivemind.

Un outil de référence pour le matériel que les utilisateurs possèdent réellement

Locama comprend également l’outil de référence Clairvoyance Local AI Benchmark. Stardock décrit son principal indicateur, la vitesse du modèle, comme une mesure combinant le temps qu’un modèle local met à traiter une requête et à produire une réponse complète. Les résultats publics sont accessibles à l’adresse clairvoyanceai.com/benchmark, et les utilisateurs de l’édition Professional peuvent effectuer des tests sur leur propre matériel.

Les notes de version du produit décrivent des mesures comprenant le préremplissage, le décodage, le délai avant le premier jeton et la mémoire, ainsi que des vérifications axées sur les tâches. Le préremplissage correspond au traitement d’une invite et de son contexte ; le décodage, à la génération de la réponse. Ces étapes peuvent solliciter le matériel de différentes façons.

Un premier jeton généré rapidement peut donner une impression de réactivité, tandis que le temps total nécessaire pour terminer la tâche compte davantage pour un traitement par lots ou une tâche agentique plus longue. La visibilité de ces mesures rend un outil de référence plus utile que le recours à une seule caractéristique du matériel.

La page des résultats indique que les soumissions proviennent d’utilisateurs de Clairvoyance et reflètent leur matériel et leurs paramètres. La base de données constitue donc une source d’éléments propres à chaque configuration, et non un classement indépendant établi dans des conditions contrôlées. Pour comparer les résultats de façon pertinente, il faut aussi tenir compte du modèle, de la précision, du contexte, de la tâche et de l’environnement d’exécution utilisés.

L’intégration à Qualcomm ajoute une autre option de calcul local

Clairvoyance travaille avec Qualcomm depuis avant cette version. Un article destiné aux développeurs de Qualcomm, publié le 23 septembre, décrit l’intégration de GenieX, l’environnement d’exécution d’IA générative sur appareil du fabricant de puces, au NPU Hexagon des PC équipés de processeurs Snapdragon X Series.

Cette intégration élargit l’inférence locale au-delà des GPU de bureau classiques. Qualcomm explique que les modèles et les ressources de calcul sont sélectionnés en fonction des exigences de chaque tâche, et que les flux de travail agentiques locaux sont pris en charge. Cela ne prouve pas que tous les modèles locaux puissent remplacer un modèle cloud de pointe pour chaque tâche.

L’intérêt de Hivemind réside dans cette stratégie matérielle plus large : rendre les ressources informatiques existantes accessibles depuis un environnement de travail unique. Les machines peuvent offrir des capacités de traitement des modèles, une bande passante et une accélération différentes ; le logiciel doit donc adapter le travail aux ressources disponibles.

Tarifs et rentabilité de la réutilisation du matériel

Clairvoyance 0.90 est lancé sur Windows, macOS et Linux. Sa page des tarifs propose une formule gratuite pour un usage personnel et non commercial, tandis que l’offre Professional coûte 20 $ par mois et comprend une licence commerciale, Hivemind, des fonctionnalités destinées aux équipes, la synchronisation dans le cloud et un forfait de jetons d’IA inclus. L’offre Enterprise est affichée à 100 $ par poste et par mois ; elle comprend des fonctionnalités organisationnelles supplémentaires et des modalités adaptées aux achats en volume.

L’inférence locale peut réduire les dépenses liées à l’utilisation du cloud, mais elle entraîne tout de même des coûts : électricité, usure du matériel, administration et coût d’opportunité lié à l’immobilisation d’une machine. Une comparaison des coûts doit également tenir compte de la qualité des résultats et du travail nécessaire pour les vérifier ou les corriger.

Stardock parie qu’une part suffisante des tâches récurrentes peut être réalisée sur le matériel déjà disponible à proximité. Hivemind permet aux équipes d’explorer cette possibilité, tandis que le test de performance constitue un point de départ pour déterminer quels modèles et quelles machines sont adaptés à ces tâches.