Clairvoyance de Stardock incorpora Hivemind para compartir GPU inactivas y usarlas en IA local

Clairvoyance de Stardock incorpora una forma de que los equipos aprovechen los ordenadores inactivos para ejecutar inferencias de IA. Su gestor de modelos locales Locama incluye Hivemind, una función que comparte la capacidad de inferencia local entre los equipos de una empresa, además de una prueba de rendimiento diseñada para mostrar cómo ejecuta IA un hardware específico.

El lanzamiento del 5 de noviembre presenta Clairvoyance 0.90 como un entorno de escritorio para usar conjuntamente modelos locales y en la nube. Locama gestiona la instalación, ejecución y orquestación de modelos locales en Windows, macOS y Linux; Hivemind amplía ese concepto de un solo ordenador a los equipos disponibles de un grupo de trabajo.

Stardock se dirige a tareas empresariales rutinarias y de gran volumen en ámbitos como las compras, las cadenas de suministro, las operaciones jurídicas y las finanzas. Su argumento es que algunas de esas tareas pueden ejecutarse en hardware que la organización ya posee, lo que reduce la necesidad de enviar cada solicitud a un servicio en la nube con tarifas por uso.

Hivemind convierte ordenadores disponibles en capacidad de inferencia compartida

Hivemind permite a los miembros de un equipo realizar tareas de IA utilizando las GPU inactivas de los ordenadores de la empresa. Esto podría ser especialmente relevante fuera del horario laboral habitual, cuando los equipos capaces de ejecutar modelos locales podrían quedar sin uso.

«La mayoría de las empresas tienen equipos potentes que permanecen inactivos todas las noches, y Hivemind les permite agruparlos y ponerlos a trabajar», afirmó Brad Wardell, director ejecutivo de Stardock Software.

La terminología técnica de la empresa describe Hivemind como un sistema de inferencia local compartida entre pares. Por separado, identifica Locama como el host de inferencia y a un componente de enrutamiento llamado Concierge como el responsable de elegir un modelo y un equipo para cada turno.

Es importante distinguir esto de la idea de que varios ordenadores se convierten en un único acelerador de gran capacidad. Compartir el trabajo entre los equipos disponibles puede aumentar la capacidad útil, pero el anuncio no especifica la ejecución en paralelo de tensores, la combinación de memoria de GPU ni cómo se dividiría entre pares un modelo demasiado grande para un solo equipo.

Para un equipo que decide dónde ejecutar una carga de trabajo, las preguntas pertinentes son si el modelo cabe en el hardware disponible, si produce resultados aceptables y si dirigir el trabajo a otro equipo añade más demora de la que ahorra. El valor de Hivemind dependerá de esa combinación, no solo de la disponibilidad de GPU.

Modelos locales y en la nube en un mismo espacio de trabajo

Clairvoyance organiza los asistentes de IA como miembros del personal con nombre propio, llamados Staff, que trabajan con los archivos de un usuario y producen documentos y otros artefactos. Su documentación explica cómo asignar distintos proveedores o modelos locales a los miembros de Staff, lo que permite combinar opciones de computación en un mismo espacio de trabajo.

Es importante distinguir entre esas opciones. Un modelo local se ejecuta en un hardware controlado por el usuario o la organización. Conectar una herramienta de un proveedor de servicios en la nube permite acceder a ella mediante la cuenta y el sistema de autenticación de ese proveedor; instalar Clairvoyance no incluye automáticamente acceso ilimitado a todos los modelos comerciales compatibles.

La documentación también señala que las capacidades de uso de herramientas varían entre los modelos locales. Que un modelo pueda responder preguntas no significa necesariamente que sea capaz de ejecutar el flujo de trabajo agéntico que necesita un equipo. Por eso, elegir un modelo local más pequeño es una decisión específica para cada tarea, en la que importan tanto las capacidades como la velocidad.

Esto da al producto una función práctica entre el empleado y los entornos de ejecución de los modelos subyacentes. En lugar de obligar a que todas las tareas utilicen el mismo sistema de procesamiento, el entorno puede admitir distintas opciones según el trabajo. El lanzamiento no aporta mediciones independientes de las reducciones de costos en la nube derivadas de las implementaciones de Hivemind.

Una prueba de rendimiento para el hardware que la gente realmente tiene

Locama también incluye Clairvoyance Local AI Benchmark. Stardock describe su principal indicador, Model Speed, como una combinación del tiempo que tarda un modelo local en procesar una solicitud y devolver una respuesta completa. Los resultados públicos están disponibles en clairvoyanceai.com/benchmark, y los usuarios de Professional pueden realizar pruebas en su propio hardware.

Las notas de la versión del producto describen mediciones que incluyen el prellenado, la decodificación, el tiempo hasta el primer token y la memoria, además de pruebas orientadas a tareas. El prellenado consiste en procesar una solicitud de entrada y su contexto; la decodificación consiste en generar la respuesta. Estas etapas pueden exigirle cosas distintas al hardware.

Un primer token rápido puede hacer que una interfaz parezca ágil, mientras que el tiempo total de finalización es importante para un trabajo por lotes o una tarea agéntica más larga. Mostrar estas mediciones hace que una prueba de rendimiento sea más útil que basarse en una sola especificación de hardware.

La página de resultados indica que los datos enviados proceden de usuarios de Clairvoyance y reflejan su hardware y configuración. Por eso, la base de datos ofrece información específica de cada configuración, no una clasificación independiente realizada en condiciones controladas. Para que las comparaciones sean relevantes, también hay que tener en cuenta el modelo, la precisión, el contexto, la tarea y el entorno de ejecución utilizados.

La integración con Qualcomm añade otra opción de computación local

El trabajo de Clairvoyance con Qualcomm comenzó antes de este lanzamiento. Un artículo para desarrolladores de Qualcomm del 23 de septiembre documenta la integración de GenieX, el entorno de ejecución de IA generativa en el dispositivo del fabricante de chips, con la NPU Hexagon en los PC de la serie Snapdragon X.

Esta integración amplía la inferencia local más allá de las GPU de escritorio convencionales. Qualcomm describe la selección de modelos y recursos de cómputo según los requisitos de cada tarea, con compatibilidad con flujos de trabajo agénticos locales. Esto no demuestra que todos los modelos locales puedan sustituir a un modelo de vanguardia en la nube para todas las tareas.

La relevancia de Hivemind radica en una estrategia de hardware más amplia: hacer que los recursos informáticos existentes puedan utilizarse desde un único entorno de trabajo. Distintas máquinas pueden ofrecer diferentes capacidades de modelos, anchos de banda y aceleración, por lo que el software debe asignar cada tarea a los recursos disponibles.

Precios y economía de reutilizar el hardware

Clairvoyance 0.90 se lanza para Windows, macOS y Linux. Su página de precios incluye un plan gratuito para uso personal y no comercial, mientras que Professional cuesta 20 $ al mes e incorpora una licencia comercial, Hivemind, funciones para equipos, sincronización en la nube y un paquete de tokens de IA incluido. Enterprise figura a 100 $ por puesto al mes e incluye funciones organizativas adicionales y acuerdos por volumen.

La inferencia local puede reducir los gastos en la nube basados en el uso, pero también conlleva costes: electricidad, desgaste del hardware, administración y el coste de oportunidad de ocupar una máquina. Una comparación de costes también debe tener en cuenta la calidad de los resultados y el trabajo necesario para revisarlos o corregirlos.

La apuesta de Stardock es que una cantidad suficiente de trabajo recurrente pueda cumplir esos requisitos en el hardware que ya se tiene a mano. Hivemind ofrece a los equipos una forma de explorar esa posibilidad, mientras que la prueba de rendimiento proporciona un punto de partida para determinar qué modelos y máquinas son adecuados para cada tarea.