Clairvoyance, da Stardock, adiciona Hivemind para compartilhar GPUs ociosas e executar IA localmente

Clairvoyance, da Stardock, está adicionando uma forma de as equipes aproveitarem computadores ociosos para realizar inferências de IA. O gerenciador de modelos locais Locama inclui o Hivemind, recurso que compartilha a capacidade de inferência local entre os computadores de uma empresa, além de um benchmark criado para mostrar o desempenho de determinado hardware ao executar IA.

O lançamento de 5 de novembro apresenta o Clairvoyance 0.90 como um ambiente de desktop para usar modelos locais e na nuvem em conjunto. O Locama gerencia a instalação, a execução e a orquestração de modelos locais no Windows, no macOS e no Linux; o Hivemind amplia essa proposta, passando de um único computador para as máquinas disponíveis à equipe.

A Stardock tem como público-alvo tarefas empresariais rotineiras e de grande volume em áreas como compras, cadeias de suprimentos, operações jurídicas e finanças. A empresa argumenta que algumas dessas tarefas podem ser executadas em equipamentos que a organização já possui, reduzindo a necessidade de enviar todas as solicitações a um serviço de nuvem cobrado por uso.

Hivemind transforma computadores ociosos em capacidade de inferência compartilhada

O Hivemind permite que os membros de uma equipe executem tarefas de IA usando GPUs ociosas nos computadores da empresa. Isso pode ser especialmente relevante fora do horário normal de trabalho, quando máquinas capazes de executar modelos locais poderiam ficar sem uso.

“A maioria das empresas tem máquinas potentes paradas todas as noites, e o Hivemind permite reuni-las e colocá-las para trabalhar”, afirmou Brad Wardell, CEO da Stardock Software.

A terminologia técnica da empresa descreve o Hivemind como um sistema de inferência local compartilhada entre pares. Separadamente, identifica o Locama como o host de inferência e um componente de roteamento chamado Concierge como responsável por escolher um modelo e uma máquina para cada interação.

É importante distinguir isso da ideia de que vários computadores se transformariam em um único acelerador de grande porte. Compartilhar tarefas entre as máquinas disponíveis pode aumentar a capacidade utilizável, mas o anúncio não especifica a execução paralela de tensores, o compartilhamento da memória das GPUs nem como um único modelo grande demais seria dividido entre os pares.

Para uma equipe que decide onde executar uma carga de trabalho, as perguntas relevantes são se o modelo cabe no hardware disponível, se produz resultados aceitáveis e se encaminhar a tarefa para outra máquina acrescenta mais demora do que a que se economiza. O valor do Hivemind dependerá dessa combinação, não apenas da disponibilidade de GPUs.

Modelos locais e na nuvem no mesmo espaço de trabalho

O Clairvoyance organiza assistentes de IA como membros da equipe com nomes próprios, chamados Staff, que trabalham com os arquivos do usuário e produzem documentos e outros artefatos. A documentação descreve a atribuição de diferentes provedores ou modelos locais aos membros do Staff, permitindo combinar opções de computação em um mesmo espaço de trabalho.

A distinção entre essas opções é importante. Um modelo local é executado em hardware controlado pelo usuário ou pela organização. Conectar uma ferramenta de um provedor de nuvem dá acesso por meio da conta e da autenticação desse provedor; instalar o Clairvoyance não inclui automaticamente acesso ilimitado a todos os modelos comerciais compatíveis.

A documentação também observa que os recursos de uso de ferramentas variam entre os modelos locais. Um modelo capaz de responder a perguntas não necessariamente consegue executar o fluxo de trabalho com agentes de que uma equipe precisa. Portanto, escolher um modelo local menor é uma decisão específica para cada tarefa, que leva em conta tanto a capacidade quanto a velocidade.

Isso dá ao produto um papel prático entre o funcionário e os ambientes de execução dos modelos subjacentes. Em vez de exigir que todas as tarefas usem o mesmo sistema de processamento, o ambiente pode oferecer opções diferentes para trabalhos distintos. O lançamento não apresenta reduções nos custos de nuvem, medidas de forma independente, decorrentes de implantações do Hivemind.

Um benchmark para o hardware que as pessoas realmente possuem

O Locama também inclui o Clairvoyance Local AI Benchmark. A Stardock descreve sua principal métrica, Velocidade do modelo, como uma combinação do tempo que um modelo local leva para processar uma solicitação e retornar uma resposta completa. Os resultados públicos estão disponíveis em clairvoyanceai.com/benchmark, e os usuários do Professional podem executar testes em seu próprio hardware.

As notas de lançamento do produto descrevem medições que incluem pré-processamento do prompt, decodificação, tempo até o primeiro token e memória, além de verificações voltadas a tarefas específicas. O pré-processamento do prompt consiste em processar a entrada e seu contexto; a decodificação é a geração da resposta. Essas etapas podem exigir coisas diferentes do hardware.

Um primeiro token rápido pode fazer a interface parecer responsiva, enquanto o tempo total de conclusão é importante para uma tarefa em lote ou uma tarefa mais longa executada por um agente. Manter essas métricas visíveis torna o benchmark mais útil do que confiar em uma única especificação de hardware.

A página de resultados identifica as medições enviadas como provenientes de usuários do Clairvoyance e informa que elas refletem o hardware e as configurações utilizados. Isso faz do banco de dados uma fonte de evidências específicas para cada configuração, e não de classificações independentes obtidas em condições controladas. Para que as comparações sejam relevantes, ainda é preciso considerar o modelo, a precisão, o contexto, a tarefa e o ambiente de execução utilizados.

Integração com a Qualcomm adiciona mais uma opção de computação local

O trabalho da Clairvoyance com a Qualcomm começou antes deste lançamento. Um artigo para desenvolvedores da Qualcomm, publicado em 23 de setembro, documenta a integração do GenieX, o ambiente de execução de IA generativa no dispositivo da fabricante de chips, com a NPU Hexagon nos PCs da série Snapdragon X.

Essa integração amplia a inferência local para além das GPUs convencionais de computadores de mesa. A Qualcomm descreve a seleção de modelos e recursos computacionais conforme os requisitos de cada tarefa, com suporte a fluxos de trabalho locais com agentes de IA. Isso não demonstra que todo modelo local possa substituir um modelo de IA de ponta na nuvem em qualquer tarefa.

A relevância para o Hivemind está na estratégia mais ampla de hardware: tornar os recursos computacionais existentes utilizáveis em um único ambiente de trabalho. Máquinas diferentes podem oferecer capacidades de modelo, largura de banda e aceleração distintas; por isso, o software precisa adequar a tarefa aos recursos disponíveis.

Preços e a economia do reaproveitamento de hardware

A versão 0.90 do Clairvoyance está sendo lançada para Windows, macOS e Linux. A página de preços apresenta um plano gratuito para uso pessoal e não comercial, enquanto o Professional custa US$ 20 por mês e inclui licença comercial, Hivemind, recursos voltados para equipes, sincronização na nuvem e um pacote de tokens de IA. O Enterprise custa US$ 100 por usuário por mês e oferece recursos organizacionais adicionais e condições para compras por volume.

A inferência local pode reduzir os gastos com serviços de nuvem cobrados conforme o uso, mas ainda tem custos: energia, desgaste do hardware, administração e o custo de oportunidade de ocupar uma máquina. Uma comparação de custos também precisa levar em conta a qualidade dos resultados e o trabalho necessário para revisá-los ou corrigi-los.

A aposta da Stardock é que um volume suficiente de tarefas recorrentes possa ser executado dentro desses requisitos em hardware que já está disponível nas proximidades. O Hivemind oferece às equipes uma maneira de explorar essa possibilidade, enquanto o benchmark fornece um ponto de partida para avaliar quais modelos e máquinas são adequados para cada tarefa.