Serviços de Inferência Descentralizados no Estilo PiedPiper para IA?

É uma possibilidade iminente um ‘BitTorrent para IA’?

Opinião Acabei de terminar ontem uma reprise da sátira tecnológica divertida e ácida de Mike Judge, Silicon Valley – na qual um grupo de gênios geeks socialmente desafiados tenta criar uma ‘nova internet’ chamada PiedPiper, por meio de uma rede em malha instalada em todos os telefones celulares – e fiquei interessado em ver a comunidade HN se envolvendo com uma nova oferta de natureza semelhante.

Eigen Labs’ DarkBloom está em algum lugar entre a noção igualitária de uma rede em malha descentralizada para inferência de IA e os motivos de lucro de mineração de criptomoedas, permitindo que os proprietários de sistemas Mac da Apple Silicon transformem seus equipamentos em um nó de inferência:

Na seção de Earnings do site do DarkBloom, os usuários podem selecionar quais equipamentos desejam alugar e quais modelos de IA desejam suportar. Fonte

O sistema se concentra atualmente em modelos baseados em texto, como o agente Trinity Mini (3B) e Cohere Transcribe, embora também ofereça modelos de geração de imagens diversificados, como FLUX 2 Klein 4B:

A gama de modelos dos quais o ‘senhorio’ pode escolher alugar, juntamente com as projeções de ganhos mensais.

Os usuários que participam do esquema aparentemente podem ganhar o suficiente dinheiro em um mês sólido de provisão de inferência para regularmente adicionar um novo Mac a uma corrente em constante crescimento, até que, em teoria, possam ganhar uma fazenda de inferência completa.

Efetivamente, um esquema desse tipo que realmente ganhasse popularidade (ele tem um problema de início frio no momento) poderia colocar usuários casuais entusiastas de volta em uma postura de busca por hardware, como na última grande onda de criptomoedas (e crash subsequente).

Mas Não Tão Rápido

No entanto, para os pequenos, esse barco pode ter partido. Além da necessidade apocalíptica de IA por RAM, a demanda por equipamentos de centros de dados habilitados para IA continua a aumentar os custos de hardware e serviços para o consumidor comum, que anteriormente havia conseguido monopolizar a RAM para mineração de criptomoedas, devido à natureza periférica da atividade, bem como à incerteza regulatória, que manteve os interesses comerciais circunspectos sobre as criptomoedas.

Embora o MacBook Neo tenha surgido como uma alternativa que supera a escalada de hardware, seu chip de telefone móvel A18 e 8GB de VRAM não o colocam em concorrência séria como máquina de inferência.

Mas mesmo que o usuário final não esteja procurando iniciar uma fazenda de inferência completa e apenas queira alugar sua capacidade M[n] não utilizada, os ganhos potenciais parecem significativos, se o problema de início frio (falta inicial de usuários no início de uma preocupação que depende de um grande volume de participantes) for resolvido rapidamente, e se a plataforma começar a se promover como algo mais do que um experimento curioso em demanda potencial.

Inferir Diferentemente

Embora vários comentaristas tenham reconhecido uma democracia do estilo PiedPiper/Torrent no esquema do DarkBloom, as tarefas de inferência não são tão facilmente divisíveis como fragmentar um arquivo de filme em múltiplos pedaços hash, para que possam ser reassemblados mais tarde em um cliente de torrent.

O modelo DarkBloom não propõe que o chip M[n] de um participante lidere x% de uma tarefa de inferência. No uso comum, apenas alguns frameworks ou metodologias podem alcançar esse tipo de utilização de GPU cruzada em uma tarefa de inferência única, incluindo o TensorRT LLM da NVIDIA, que usa paralelismo de pipeline; e a inferência compartilhada da DeepSpeed, que aproveita o paralelismo de modelo (MP).

Em vez disso, o Mac habilitado para DarkBloom baixaria e iniciaria um dos modelos listados e realizaria 100% da inferência para os usuários pagantes, com criptografia de ponta a ponta e com prompts descriptografados apenas em nós atestados por hardware, significando que os provedores não poderiam ler os dados durante a execução. A carga de trabalho em si constituiria uma ou mais inferências baseadas em texto, ou pelo menos uma imagem completa.

Não está claro quão extensa seria uma sessão de usuário única; como está, os entusiastas de IA estão acostumados a garantir uma GPU por meio de fazendas de inferência, como RunPod; embora possa levar um tempo para garantir a GPU desejada no pico de uso, o usuário consegue monopolizá-la enquanto a sessão não expira.

Portanto, é possível que um usuário pagante único possa acabar usando as capacidades de IA da série M de um Mac alugado DarkBloom por uma sessão muito longa, a menos que haja alguma vantagem logística ou de conformidade em alternar os clientes entre solicitações.

Os Macs foram escolhidos para essa abordagem, aparentemente, porque existem apenas um número limitado de configurações técnicas possíveis para um participante, e é fácil atribuir modelos de tamanho apropriado a um cliente.

Além disso, os Macs capazes de contribuir para uma rede DarkBloom têm um enclave seguro de hardware que garante uma parede entre o usuário e o fornecedor.

Esses são todos fatores não tão fáceis de racionalizar em configurações mais genéricas e personalizadas, e em centenas ou milhares de máquinas laptop/desktop Windows e Linux conhecidas disponíveis nos últimos 6-7 anos.

No entanto, deve ser óbvio que o pool de hardware não Mac muito maior poderia acomodar uma demanda enorme se suas características diversificadas pudessem ser racionalizadas, em vez de – como no DarkBloom – se pendurar nos conjuntos de especificações limitados da Apple, o que torna um negócio fácil e uma abordagem arquitetônica (presumivelmente) muito mais fácil.

Supervisão Legal?

Talvez o maior problema enfrentado por uma solução ‘democrática’ desse tipo seja a natureza fechada do processo proposto; os governos em todo o mundo estão atualmente engajados em nova legislação que efetivamente acabaria com a anonimidade na internet onde instituída, e claramente não estão em uma mentalidade pró-privacidade nesse período.

Portanto, a perspectiva de inferência de IA aleatória sendo realizada sem filtros, verificações ou controles, em uma rede distribuída (se você pode chamar o DarkBloom disso – é mais um mercado de inferência) parece, ironicamente, remota.

É possível que o DarkBloom, ou outros esquemas de inferência em malha subsequentes, precisem concordar com backdoors que efetivamente restringem a privacidade ao host, que não poderá ver os trabalhos do cliente em execução; em vez disso, os dados de inferência retornados seriam disponibilizados por meio de estruturas de homem no meio (MiTM) de agências governamentais, mantendo toda a inferência auditável.

Presumivelmente, se a onda de novas leis propondo verificações de identidade no nível do sistema operacional algum dia for amplamente adotada, essas medidas podem se tornar redundantes. Mas sem elas, considerando o clima atual, uma rede do estilo DarkBloom provavelmente seria considerada semelhante a uma ‘darknet’ de IA, onde atividades ilegais baseadas em IA poderiam ocorrer em segredo.

Testes Divididos

Até o momento, houve surpreendentemente poucas tentativas reais de fazer o que um sistema do estilo ‘PiedPiper’ implica; o DarkBloom em si está em um extremo, distribuindo trabalhos completos para máquinas individuais em vez de tentar fragmentá-los em uma rede, enquanto a maioria dos sistemas de produção simplesmente evita o problema inteiramente, mantendo a inferência em um único host.

Existem, no entanto, alguns projetos que representam algo um pouco mais próximo de ‘execução compartilhada’.

Petals, que descreve a si mesmo como uma rede do estilo ‘BitTorrent’, distribui blocos de transformador em vários nós conectados à internet, passando estados intermediários entre eles:

Um fluxo de trabalho típico do Petals, onde uma solicitação de inferência única é roteada por vários GPUs remotos, cada um contendo um subconjunto de camadas do modelo; diferente do DarkBloom, a execução é fragmentada pela rede, com estados intermediários passados entre nós operados de forma independente, aumentando a latência e a exposição a cada salto, aproximando um sistema de malha real. Fonte

Hivemind experimenta com coordenação peer-to-peer e roteamento de especialistas semelhantes, embora no serviço de treinamento de modelos em vez de inferência de modelos já treinados; e Lattica se concentra na camada de rede subjacente necessária para tornar esses sistemas viáveis:

Um esquema do Lattica, mostrando um substrato peer-to-peer de baixo nível que lida com NAT traversal, distribuição de conteúdo e coordenação baseada em DHT, com inferência compartilhada surgindo apenas como uma camada de aplicação possível; diferente do DarkBloom ou Petals, Lattica não define um sistema de inferência em si, mas fornece os primitivos de rede e sincronização necessários para construir um. Fonte –

Todos esses modelos se aproximam do ideal de malha, mas ao custo de latência, instabilidade e exposição.

Por outro lado, exo mantém a inferência dentro de um cluster local, usando interconexões rápidas para dividir as cargas de trabalho em GPUs, sem confiar na internet pública. Na prática, esse tipo de configuração se comporta menos como uma malha distribuída e mais como uma máquina estendida única, embora haja uma clara possibilidade de estender essa abordagem sobre uma rede mais ampla:

Uma visão de cluster do exo, mostrando um pequeno anel de máquinas Apple Silicon locais que hospedam conjuntamente um modelo, com pipeline ou sharding de tensor distribuindo camadas entre os nós; diferente dos sistemas baseados em WAN, o exo confia em interconexões locais rápidas, efetivamente transformando várias dispositivos em uma máquina de inferência composta única. Fonte

Finalmente, várias abordagens comumente citadas não abordam a inferência em absoluto: o agora venerável (2016) FedAvg da Google; o SplitNN do MIT de 2018; e a oferta australiana de 2020 SplitFed, estão preocupados com a distribuição de treinamento ou a troca de dados de privacidade, em vez de atender a solicitações de inferência ao vivo.

Já que o treinamento é uma perspectiva muito mais intensiva em recursos do que a inferência, qualquer rede que prove ser capaz de distribuir essa carga de forma eficaz, em clusters ou nós, poderia ter um interesse desproporcional de entusiastas e empresas mais tarde.

Conclusão

Como grande parte da tecnologia em Silicon Valley foi invenção selvagem, não sabemos se o PiedPiper era realmente impulsionado por hash (ou seja, dividindo e distribuindo dados em pedaços, estilo torrent) ou se ‘resolveu’ uma tarefa ou mesmo uma sessão em qualquer nó em qualquer momento, o que é o que o DarkBloom faz.

No entanto, a atual corrida para fornecer hardware de treinamento e inferência no nível do data center indica que o setor de fornecimento está ou esperando atender a todos, estilo RunPod, ou se preparando para o nível de provisionamento de empresa mais lucrativo – uma perspectiva tentadora subvertida pela falta geral de trincheiras no deploy de IA.

Se a inferência em malha se tornar uma realidade, é razoável esperar que entre as primeiras tentativas de aproveitá-la estarão os incumbentes, como OpenAI e Anthropic, que poderiam implantar sistemas dedicados dentro de uma base de aplicativos existente maciça ou colaborar em sistemas de código aberto que sejam fáceis de instalar (já que empresas desse tamanho e alcance têm o dinheiro e o motivo para simplificar instalações difíceis desse tipo).

Quanto a saber se uma rede de malha mais democrática e impulsionada pelo usuário poderia emergir, uma verdadeira equivalente de IA para o BitTorrent – vários fatores estão alinhados contra ela.

Em primeiro lugar, a atual campanha global contra a criptografia e a anonimidade poderia remover ou minar muitos ou todos os mecanismos que tornam sistemas como o BitTorrent anônimos, como criptografia de ponta a ponta e VPNs. Uma vez que os fluxos genéricos de criptografia que escondem esses protocolos estejam abertos a inspeção, novas camadas de supervisão e proibição se tornam possíveis, e isso pode minar o apelo de um sistema do estilo DarkBloom.

Em segundo lugar, as regulamentações emergentes ou propostas contra o ‘abuso’ de IA, ou contra a operação anônima de frameworks de código aberto, significam que o custo de conformidade – trivial no nível da empresa – provavelmente tiraria qualquer jogador menor do mercado.

Finalmente – o poder de um grande jogador do setor para Abraçar, Estender e Extinguir (EEE, como Facebook e Twitter argumentam ter feito com comunidades de internet mais ad hoc) significa que os principais jogadores atuais podem operacionalizar e otimizar o modelo de malha para seu próprio benefício, em um mercado onde os usuários finais são quase totalmente intolerantes a qualquer fricção na adoção.

Publicado pela primeira vez na quinta-feira, 16 de abril de 2026