PiedPiper-Style Decentraliserade Inferenceservrar för AI?

Är ‘BitTorrent för AI’ en nära förestående möjlighet?

Åsikt Jag har just avslutat en omgång av Mike Judges underhållande och syrliga tech-bro satir Silicon Valley – där en grupp socialt utmanade geekgenier försöker skapa ett ‘nytt internet’ som kallas PiedPiper, via ett mesh-nätverk installerat på alla mobiltelefoner – och jag var intresserad av att se HN-gemenskapen engagera sig i ett nytt erbjudande av liknande natur.

Eigen Labs’ DarkBloom befinner sig någonstans mellan den egalitära notionen av ett decentraliserat mesh-nätverk för AI-inferens, och krypto-gruvdrifts vinstmotiv, som tillåter ägare av Apple Silicon Mac-system att omvandla sin utrustning till en inferensnod:

Från avkastningsdelen av DarkBloom-webbplatsen kan användare välja vilken utrustning de vill hyra ut och vilka AI-modeller de vill stödja. Källa

Systemet koncentrerar sig för närvarande på textbaserade modeller som den agenterade Trinity Mini (3B) och Cohere Transcribe, men det erbjuder också olika bildgenererande modeller som FLUX 2 Klein 4B:

Urvalet av modeller som ‘landlord’ kan välja att hyra ut, tillsammans med månatliga projicerade inkomster.

Användare som deltar i schemat kan tydligen tjäna tillräckligt med pengar under en solid månad av inferens tillhandahållande för att ganska regelbundet lägga till en ny Mac till en alltmer växande kedja, tills, i teorin, de kan tjäna en fullfjädrad inferensfarm.

I princip, ett system av detta slag som verkligen vinner popularitet (det har ett kallstartproblem just nu) kan sätta entusiastiska amatöranvändare tillbaka i en hårdvarusökande position, som under den senaste stora kryptovalutaboomen (och påföljande krasch).

Inte Så Fort

Men för de små killarna, kan den båten ha seglat. Utöver AI:s apokalyptiska behov av RAM, fortsätter efterfrågan på globala AI-aktiverade datacenterutrustning att höja hårdvaru- och tjänstekostnader för den vanliga konsumenten, som tidigare kunde monopolisera RAM för krypto-gruvdrift på grund av verksamhetens perifera natur, samt regleringsosäkerhet, som höll företagsintressen försiktiga med krypto.

Medan den superbilliga MacBook Neo har dykt upp som en crunch-beating alternativ till alltmer eskalerande hårdvara, kan dess A18-mobiltelefonchip och 8 GB VRAM inte sätta det i allvarlig strid som en inferensmaskin.

Men även om slutanvändaren inte försöker starta en fullfjädrad inferensfarm, och bara vill hyra ut sin nuvarande outnyttjade M[n]-kapacitet, verkar de potentiella inkomsterna betydande, om kallstartproblemet (en initial brist på användare vid öppnandet av en verksamhet som förlitar sig på en hög volym av deltagare) snabbt löses, och om plattformen börjar marknadsföra sig som något mer än ett kuriosum i potentiell efterfrågan.

Inferera Annorlunda

Även om en del kommentatorer har erkänt en PiedPiper/Torrent-liknande demokrati i DarkBlooms schema, är inferenstyper inte lika lätta att dela som att fragmentera en filmfil i flera hashade skivor, så att den senare kan sättas samman i en torrentklient.

DarkBloom-modellen föreslår inte att en deltagares M[n]-chip hanterar x% av en inferenstyp. I vanlig användning kan endast ett fåtal ramverk eller metoder uppnå denna typ av cross-GPU-utnyttjande på en enda inferenstyp, inklusive NVIDIAs TensorRT LLM, som använder pipeline-parallellism; och DeepSpeeds sharded inference som utnyttjar modellparallellism (MP).

I stället kommer din DarkBloom-aktiverade Mac att ladda ner och starta en av de listade modellerna och utföra 100% av inferensen för betalande användare, med änd-till-änd-kryptering, och med prompter dekrypterade endast på hårdvaru-attesterade noder, vilket innebär att leverantörer inte kan läsa data under körning. Arbetsbelastningen i sig kommer att utgöras av en eller flera textbaserade inferenser, eller åtminstone en komplett bild.

Det är inte tydligt hur omfattande en enskild användarsession kommer att vara; som det är nu, är AI-hobbyister vana vid att säkra en GPU via inferensfarmar som RunPod; även om det kan ta en stund att säkra den önskade GPU:n vid toppanvändning, får användaren monopolisera den så länge sessionen inte tillåts löpa ut.

Så det är möjligt att en enskild betalande användare kan komma att använda en enskild uthyrd DarkBloom Macs M-serie AI-kapacitet under en mycket lång session, såvida det inte finns någon logistisk eller regelefterlevnadsfördel i att växla mellan klienter mellan förfrågningar.

Mac-datorer har valts ut för detta tillvägagångssätt, tydligen, eftersom det bara finns ett begränsat antal tekniska konfigurationer för en deltagare, och det är därför lätt att tilldela lämpliga modeller till en klient.

Dessutom har Mac-datorer som kan bidra till ett DarkBloom-nätverk en hårdvaru-säker enclave som garanterar en mur mellan användaren och leverantören.

Detta är alla faktorer som inte är så lätta att rationalisera över mer generiska, anpassade inställningar, och över de hundratals eller tusentals kända bärbara datorer och stationära datorer med Windows och Linux som finns tillgängliga under de senaste 6-7 åren.

Men det måste vara uppenbart att den mycket större icke-Mac-hårdvarupoolen kan rymma enorm efterfrågan om deras olika egenskaper kunde rationaliseras, i stället för – som med DarkBloom – att haka på Apples begränsade specifikationer, vilket gör det till ett enkelt affärsförslag, och för ett (förmodligen) mycket enklare arkitektoniskt tillvägagångssätt.

Rättslig Övervakning?

Kanske det största problemet som står inför en ‘demokratisk’ lösning av detta slag är den slutna naturen av det föreslagna förfarandet; regeringar runt om i världen är för närvarande engagerade i ny lagstiftning som i princip skulle avsluta internetanonymitet varhelst den införs, och är tydligtvis inte i en pro-privatitetssinne under denna period.

Detta gör att utsikten till slumpmässig AI-inferens som utförs utan filter, kontroller eller balans, över ett distribuerat nätverk (om man kan kalla DarkBloom det – det är mer av en inferensmarknad) verkar, ironiskt nog, avlägsen.

Det är möjligt att DarkBloom, eller andra efterföljande mesh-inferensscheman, kommer att behöva gå med på bakdörrar som i princip begränsar sekretess till värden, som inte kommer att kunna se klientjobb som körs; i stället kommer den returnerade inferensdata att göras tillgänglig genom statliga byråer man-i-mitten (MiTM)-strukturer, som håller all inferens granskbar.

Förmodligen, om den senaste vågen av lagar som föreslår OS-nivåidentitetskontroller någonsin uppnår allmän tillämpning, kan sådana åtgärder bli överflödiga. Men utan dem, med tanke på den nuvarande klimatet, skulle ett DarkBloom-liknande nätverk troligen betraktas som en AI-‘mörknet’, där olagliga AI-baserade aktiviteter kunde förekomma i hemlighet.

Split Tests

Hittills har det varit förvånansvärt få riktiga försök att göra vad ett ‘PiedPiper-liknande’ system antyder; DarkBloom sitter vid ena änden, distribuerar kompletta jobb till enskilda maskiner i stället för att försöka fragmentera dem över ett nätverk, medan de flesta produktionsystem helt enkelt undviker problemet genom att hålla inferensen på en enda värd.

Det finns dock ett fåtal projekt som representerar något som ligger närmare ‘delad körning’.

Petals, som aktivt beskriver sig själv som ett ‘BitTorrent-liknande’ nätverk, distribuerar transformatorblock över flera internetanslutna noder, som passerar mellanliggande tillstånd mellan dem:

En typisk Petals-arbetsflöde, där en enda inferensförfrågan dirigeras över flera fjärr-GPU:er, var och en innehåller en delmängd av modellager; till skillnad från DarkBloom, är körningen fragmenterad över nätverket, med mellanliggande tillstånd som passerar mellan oberoende opererade noder, vilket ökar latensen och exponeringen vid varje hopp medan det approximerar ett sant mesh-liknande system. Källa

Hivemind experimenterar med liknande peer-to-peer-koordination och expertstyrning, men i syfte att träna modeller i stället för inferens från redan tränade modeller; och Lattica fokuserar på den underliggande nätverkslagret som behövs för att göra sådana system livskraftiga:

En schematisk bild av Lattica, som visar ett lägre nivå peer-to-peer-underlag som hanterar NAT-traversal, innehållsdistribution och DHT-baserad koordination, med sharded inference som bara en möjlig programvarulag; till skillnad från DarkBloom eller Petals, definierar Lattica inte ett inferenssystem i sig, utan tillhandahåller de nätverks- och synkroniseringsprimitiver som krävs för att bygga ett sådant. Källa

Alla tre av dessa modeller närmar sig mesh-idealen, men till priset av latens, instabilitet och exponering.

Exo håller inferensen inom ett lokalt kluster, med hjälp av snabba interconnects för att dela arbetsbelastningar över GPU:er, utan att förlita sig på det offentliga internet. I praktiken beter sig en sådan inställning mer som en enda utvidgad maskin, även om det finns en tydlig möjlighet att utöka detta tillvägagångssätt över ett bredare nätverk:

En kluster vy från exo, som visar en liten ring av lokala Apple Silicon-maskiner som gemensamt värdar en enda modell, med pipeline eller tensor-sharding som distribuerar lager över noder; till skillnad från WAN-baserade system, förlitar sig exo på snabba lokala interconnects, vilket effektivt omvandlar flera enheter till en enda sammansatt inferensmaskin. Källa

Slutligen, flera allmänt citerade tillvägagångssätt tar inte ens inferens i beaktande: det nu väldokumenterade (2016) Google FedAvg; MIT:s 2018-utgåva SplitNN; och den australiensiska utgåvan från 2020 SplitFed, som är inriktade på distribuerad utbildning eller sekretessbevarande datautbyte, snarare än att betjäna live-inferensförfrågningar.

Eftersom utbildning är ett mycket mer resurskrävande perspektiv än inferens, kan eventuella nätverk som visar sig kunna distribuera en sådan belastning effektivt, över kluster eller noder, ha ett oproportionerligt stort intresse för hobbyister och företag senare.

Slutsats

Eftersom mycket av tekniken i Silicon Valley var vild uppfinning, vet vi inte om PiedPiper verkligen var hash-driven (dvs. delade och distribuerade data i chunkar, torrent-stil), eller om det “löste” en uppgift eller ens en session på någon nod vid någon tidpunkt, vilket är vad DarkBloom gör.

Men den nuvarande rusningen för att tillhandahålla utbildnings- och inferenshårdvara på datacenter-nivå tyder på att tillhandahållningssektorn antingen förväntar sig att betjäna alla, på samma sätt som RunPod, eller rustar upp för den mest lukrativa företagsnivå-tillhandahållningen – ett frestande perspektiv som undergrävs av den allmänna bristen på skydd i AI-distribution.

Om mesh-inferens blir en verklighet, är det rimligt att förvänta sig att bland de första försöken att utnyttja det kommer att vara från de befintliga aktörerna, som OpenAI och Anthropic, som antingen kan distribuera dedikerade system inom en stor befintlig app-installationsbas, eller samarbeta om öppen källkod-system som är lätta att installera (eftersom företag av denna storlek och räckvidd har pengar och motiv för att strömlinjeforma svåra installationer av detta slag).

Såsom om en mer demokratisk, användarstyrd mesh-nätverk kunde uppstå, en sann AI-liknande motsvarighet till BitTorrent – ett antal faktorer är riktade mot det.

För det första, den nuvarande globala kampen mot kryptering och anonymitet kan ta bort eller undergräva många eller alla de mekanismer som gör system som BitTorrent anonyma, såsom änd-till-änd-kryptering och VPN:er. När de “generiska” krypterade strömmarna som döljer sådana protokoll är öppna för inspektion, blir nya lager av tillsyn och förbud möjliga, och detta kan undergräva charmerna hos ett DarkBloom-liknande system.

Sedan, de framväxande eller föreslagna regleringarna mot “missbruk” av AI, eller mot anonym drift av öppen källkod-ramverk, innebär att kostnaden för regelefterlevnad – obetydlig på företagsnivå – troligen kommer att ta bort alla mindre aktörer från marknaden.

Slutligen – den makt som en stor sektors aktör har att Embrace, Extend and Extinguish (EEE, som Facebook och Twitter förmodligen gjorde med mer ad hoc-internetgemenskaper), innebär att de nuvarande stora aktörerna kan operationalisera och strömlinjeforma mesh-modellen till sin egen fördel, på en marknad där slutanvändare är nästan helt intoleranta mot friktion i antagande.

Publicerad första gången torsdagen den 16 april 2026