Servizi di Inferenza Decentralizzati in Stile PiedPiper per l’AI?

È una possibilità imminente ‘BitTorrent per l’AI’?

Opinione Dopo aver appena finito di rivedere la divertente e acida satira tecnologica di Mike Judge Silicon Valley – in cui un gruppo di geni geek socialmente sfidati tenta di creare una ‘nuova internet’ chiamata PiedPiper, attraverso una rete mesh installata su tutti i telefoni cellulari – sono stato interessato a vedere la comunità HN impegnata con una nuova offerta di natura simile.

Eigen Labs’ DarkBloom si trova da qualche parte tra la nozione egualitaria di una rete mesh decentralizzata per l’inferenza dell’AI e i motivi di profitto della criptominazione, consentendo ai proprietari di sistemi Mac con Apple Silicon di trasformare il loro equipaggiamento in un nodo di inferenza:

Dalla sezione Earnings del sito web di DarkBloom, gli utenti possono selezionare quale attrezzatura desiderano noleggiare e quali modelli di AI desiderano supportare. Fonte

Il sistema si concentra attualmente su modelli basati su testo come il modello agente Trinity Mini (3B) e Cohere Transcribe, sebbene offra anche modelli di generazione di immagini diversi come FLUX 2 Klein 4B:

La gamma di modelli da cui il ‘proprietario’ può scegliere di noleggiare, insieme ai proventi mensili previsti.

Gli utenti che partecipano allo schema possono apparentemente guadagnare abbastanza denaro in un solido mese di fornitura di inferenza per aggiungere regolarmente un nuovo Mac a una catena in costante crescita, fino a quando, in teoria, potrebbero guadagnare un’intera fattoria di inferenza.

In effetti, uno schema di questo tipo che dovesse realmente guadagnare popolarità (attualmente ha un problema di avvio a freddo) potrebbe mettere gli utenti entusiasti e casuali in una posizione di ricerca di hardware, come nell’ultima grande bolla delle criptovalute (e successivo crollo).

Non Troppo Velocemente

Tuttavia, per i piccoli giocatori, quella barca potrebbe essere già partita. Oltre alla necessità apocalittica dell’AI di RAM, la domanda di attrezzature per data center abilitate all’AI a livello globale continua a aumentare i costi di hardware e servizi per il consumatore ordinario, che in precedenza era in grado di monopolizzare la RAM per la criptominazione a causa della natura periferica dell’attività, nonché dell’incertezza normativa, che ha mantenuto gli interessi aziendali circospetti sulla criptovaluta.

Mentre il super-economico MacBook Neo è emerso come un’alternativa vincente alle sempre più elevate richieste di hardware, il suo chip mobile A18 e 8 GB di VRAM non lo mettono in seria competizione come macchina di inferenza.

Ma anche se l’utente finale non cerca di avviare una fattoria di inferenza a pieno titolo e desidera semplicemente noleggiare la sua capacità M[n] inutilizzata, i potenziali guadagni sembrano significativi, se il problema di avvio a freddo (una mancanza iniziale di utenti all’apertura di un’attività che si basa su un alto volume di partecipanti) si risolve rapidamente e se la piattaforma inizia a pubblicizzarsi come qualcosa di più di un esperimento curioso in potenziale domanda.

Inferire Diversamente

Sebbene molti commentatori abbiano riconosciuto una democrazia di stile PiedPiper/Torrent nello schema di DarkBloom, i compiti di inferenza non sono così facilmente divisibili come frammentare un file movie in più fette hashate, in modo che possa essere successivamente riassunto in un client di torrent.

Il modello DarkBloom non propone che il chip M[n] di un partecipante gestisca x% di un compito di inferenza. Nell’uso mainstream, solo pochi framework o metodologie possono raggiungere questo tipo di utilizzo cross-GPU su un singolo compito di inferenza, tra cui TensorRT LLM di NVIDIA, che utilizza pipeline parallelism; e sharded inference di DeepSpeed, che sfrutta model parallelism (MP).

Al contrario, il tuo Mac abilitato a DarkBloom scaricherebbe e avvierebbe uno dei modelli elencati e eseguirebbe il 100% dell’inferenza per gli utenti che pagano, con crittografia end-to-end e con prompt decrittati solo su nodi attestati dall’hardware, il che significa che i fornitori non sarebbero in grado di leggere i dati durante l’esecuzione. Il carico di lavoro stesso costituirebbe una o più inferenze basate su testo, o almeno un’immagine completa.

Non è chiaro quanto estensivo sarebbe una singola sessione utente; come things stanno, gli appassionati di AI sono abituati a garantire un GPU tramite fattorie di inferenza come RunPod; sebbene possa richiedere un po’ di tempo per garantire il GPU desiderato all’uso di picco, l’utente può monopolizzare il GPU per tutto il tempo in cui la sessione non è consentita di scadere.

Quindi è possibile che un singolo utente pagante potrebbe finire per utilizzare le capacità AI di un singolo Mac noleggiato DarkBloom per una sessione molto lunga, a meno che non ci sia un vantaggio logistico o di conformità nel cambiare i client tra le richieste.

I Mac sono stati selezionati per questo approccio, apparentemente, perché esistono solo un numero limitato di configurazioni tecniche possibili per un partecipante, ed è quindi facile assegnare modelli di dimensioni adeguate a un client.

Inoltre, i Mac in grado di contribuire a una rete DarkBloom hanno un enclave sicuro che garantisce un muro tra l’utente e il fornitore.

Questi sono tutti fattori non così facili da razionalizzare su setup più generici e personalizzati, e su centinaia o migliaia di laptop e computer desktop Windows e Linux disponibili negli ultimi 6-7 anni.

Tuttavia, deve essere ovvio che il pool di hardware non Mac molto più grande potrebbe ospitare una domanda enorme se le sue caratteristiche diverse potessero essere razionalizzate, invece di – come con DarkBloom – fare un giro sulle specifiche limitate di Apple, che rende un’offerta commerciale facile e un approccio architettonico (presumibilmente) molto più facile.

Controllo Legale?

Forse il problema più grande che si pone a una soluzione ‘democratica’ di questo tipo è la natura chiusa del processo proposto; i governi di tutto il mondo sono attualmente impegnati in nuove leggi che porrebbero effettivamente fine all’anonimato su Internet ovunque istituito, e sono chiaramente non in una mentalità pro-privacy in questo periodo.

Pertanto, la prospettiva di inferenza AI casuale eseguita senza filtri, controlli o bilanciamenti, su una rete distribuita (se si può chiamare DarkBloom così – è più di un mercato di inferenza) sembra, ironicamente, remota.

È possibile che DarkBloom, o altri schemi di inferenza mesh successivi, debbano accettare retroporte che limitano effettivamente la privacy all’host, che non sarà in grado di vedere i lavori del client in esecuzione; invece, i dati di inferenza restituiti saranno resi disponibili attraverso strutture di agenzia governativa man-in-the-middle (MiTM), mantenendo tutte le inferenze verificabili.

Presumibilmente, se una serie di nuove leggi proponendo controlli di identità a livello di sistema operativo dovesse mai raggiungere un’ampia adozione, tali misure potrebbero diventare ridondanti. Ma senza di esse, considerando l’attuale clima, una rete di stile DarkBloom sarebbe probabilmente considerata simile a un ‘darknet’ AI, dove le attività basate su AI illegali potrebbero verificarsi in segreto.

Test di Divisione

Finora ci sono stati sorprendentemente pochi tentativi reali di fare ciò che un sistema ‘di stile PiedPiper’ implica; DarkBloom si trova a un’estremità, distribuendo lavori completi a macchine individuali piuttosto che tentare di frammentarli su una rete, mentre la maggior parte dei sistemi di produzione semplicemente evita il problema completamente mantenendo l’inferenza su un singolo host.

Esistono, tuttavia, una manciata di progetti che rappresentano qualcosa di più vicino all’esecuzione condivisa.

Petals, che si descrive attivamente come una rete ‘di stile BitTorrent’, distribuisce blocchi di trasformazione su più nodi connessi a Internet, passando stati intermedi tra loro:

Un flusso di lavoro tipico di Petals, in cui una singola richiesta di inferenza viene instradata su più GPU remote, ognuna delle quali detiene un subset di layer del modello; a differenza di DarkBloom, l’esecuzione è frammentata sulla rete, con stati intermedi passati tra nodi operati in modo indipendente, aumentando la latenza e l’esposizione a ogni salto mentre si approssima a un vero sistema di stile mesh. Fonte

Hivemind sperimenta con una coordinazione peer-to-peer e un routing di esperti simili, sebbene al servizio della formazione di modelli piuttosto che dell’inferenza da modelli già formati; e Lattica si concentra sul livello di rete sottostante necessario per rendere tali sistemi viable:

Uno schema di Lattica, che mostra un substrato peer-to-peer di livello inferiore che gestisce il NAT traversal, la distribuzione di contenuti e la coordinazione basata su DHT (Distributed Hash Table), con l’inferenza sharded che emerge solo come un possibile livello di applicazione; a differenza di DarkBloom o Petals, Lattica non definisce un sistema di inferenza di per sé, ma fornisce i primitivi di rete e sincronizzazione necessari per costruirne uno. Fonte –

Tutti e tre di questi modelli si avvicinano all’ideale mesh, ma al costo di latenza, instabilità ed esposizione.

Al contrario, exo mantiene l’inferenza all’interno di un cluster locale, utilizzando interconnessioni rapide per dividere i carichi di lavoro tra GPU, senza affidarsi a Internet pubblico. Nella pratica, questo tipo di setup si comporta meno come una rete mesh distribuita e più come una singola macchina estesa, sebbene ci sia una chiara possibilità di estendere questo approccio su una rete più ampia:

Una vista del cluster da exo, che mostra un anello di piccole macchine Apple Silicon locali che ospitano congiuntamente un singolo modello, con pipeline o tensor sharding che distribuiscono layer tra nodi; a differenza dei sistemi WAN, exo si affida a interconnessioni locali rapide, effettivamente trasformando più dispositivi in una singola macchina composita di inferenza. Fonte

Infine, diversi approcci comunemente citati non affrontano l’inferenza affatto: il venerabile (2016) FedAvg di Google; la SplitNN del 2018 di MIT; e l’offerta australiana del 2020 SplitFed, sono preoccupati della distribuzione della formazione o dello scambio di dati che preserva la privacy, piuttosto che del servizio di richieste di inferenza live.

Poiché la formazione è una prospettiva molto più intensiva in termini di risorse rispetto all’inferenza, qualsiasi rete che dimostri di poter distribuire tale carico in modo efficace, su cluster o nodi, potrebbe avere un interesse sproporzionato di appassionati e aziende in seguito.

Conclusione

Poiché gran parte della tecnologia in Silicon Valley era invenzione selvaggia, non sappiamo se PiedPiper fosse veramente guidato da hash (cioè, dividendo e distribuendo dati in chunk, di stile torrent) o se ‘stabilisse’ un compito o anche una sessione su qualsiasi nodo in qualsiasi momento, che è ciò che DarkBloom fa.

Tuttavia, l’attuale corsa per fornire hardware di formazione e inferenza a livello di data center indica che il settore di fornitura si aspetta di servire tutti, di stile RunPod, o si sta preparando per il livello di fornitura aziendale più lucrativo – una prospettiva allettante minata dalla generale mancanza di vantaggi nel dispiegamento dell’AI.

Se l’inferenza mesh diventa una realtà, è ragionevole aspettarsi che tra i primi tentativi di sfruttarla ci saranno quelli degli incumbent, come OpenAI e Anthropic, che potrebbero distribuire sistemi dedicati all’interno di una base di installazione di app massive, o collaborare su sistemi open source che sono facili da installare (poiché le aziende di questa dimensione e portata hanno i soldi e il motivo per semplificare installazioni difficili di questo tipo).

Per quanto riguarda la possibilità che emerga una rete mesh più democratica e guidata dall’utente, un vero equivalente AI di BitTorrent – una serie di fattori sono schierati contro di essa.

In primo luogo, l’attuale spinta globale contro la crittografia e l’anonimato potrebbe rimuovere o indebolire molti dei meccanismi che rendono sistemi come BitTorrent anonimi, come la crittografia end-to-end e le VPN. Una volta che i flussi di dati crittografati generici che nascondono tali protocolli sono aperti all’ispezione, nuovi strati di controllo e proibizione diventano possibili, e ciò potrebbe minare l’appeal di un sistema di stile DarkBloom.

In secondo luogo, le norme emergenti o proposte contro l’abuso di AI, o contro l’operazione anonima di framework open source, significano che il costo della conformità – trascurabile a livello aziendale – probabilmente toglierebbe dal mercato tutti i giocatori più piccoli.

Infine – il potere di un grande giocatore del settore per abbracciare, estendere e estinguere (EEE, come Facebook e Twitter hanno fatto con comunità Internet ad hoc), significa che i principali giocatori attuali possono operativizzare e razionalizzare il modello mesh a loro vantaggio, in un mercato in cui gli utenti finali sono quasi completamente intolleranti a qualsiasi attrito nell’adozione.

Pubblicato per la prima volta giovedì 16 aprile 2026