PiedPiper-Style Desentraliserte Innsikts-tjenester for AI?

Er ‘BitTorrent for AI’ en nærliggende mulighet?

Mening Etter å ha avsluttet en gjennomgang av Mike Judges underholdende og sarkastiske tech-bro-satire Silicon Valley – hvor en gruppe sosialt utfordrede geek-geniuser forsøker å skape en ‘ny internett’ kalt PiedPiper, via et mesh-nettverk installert på alle mobiltelefoner – var jeg interessert i å se HN-samfunnet engasjere seg med et nytt tilbud av lignende natur.

Eigen Labs’ DarkBloom befinner seg et sted mellom den egalitære forestillingen om et desentralisert mesh-nettverk for AI-innsikt, og krypto-gruveprofit-motiver, som tillater eierne av Apple Silicon Mac-systemer å omdanne utstyret sitt til en innsiktsnode:

Fra inntjeningssiden av DarkBloom-nettstedet kan brukerne velge hvilket utstyr de ønsker å leie ut, og hvilke AI-modeller de ønsker å støtte. Kilde

Systemet konsentrerer seg for øyeblikket om tekstbaserte modeller som den agente Trinity Mini (3B) og Cohere Transcribe, selv om det også tilbyr diverse bildegenereringsmodeller som FLUX 2 Klein 4B:

Utvalget av modeller som ‘landlord’ kan velge å leie ut, sammen med månedlige prosjekterte inntekter.

Brukere som deltar i ordningen kan tilsynelatende tjene nok penger i en solid måned med innsiktslevering til å jevnt over kunne legge til en ny Mac til en stadig voksende kjede, til teorien om at de kan tjene en fullstendig innsiktsfarm.

Effektivt, et slikt system som virkelig ville vinne popularitet (det har et kaldt startproblem for øyeblikket) kunne sette entusiastiske casual-brukere tilbake i en hårdvarusøkende holdning, som i den siste store krypto-boomen (og påfølgende krakk).

Ikke Så Raskt

Men for de små guttene, kan båten ha seilt. Foruten AI sin apokalyptiske behov for RAM, øker etterspørselen etter globale AI-aktiverende data-senter-utstyr fortsatt hardware- og tjenestekostnader for den vanlige forbrukeren, som tidligere hadde kunnet monopolisere RAM for krypto-gruving, på grunn av den perifere naturen til aktiviteten, samt regulativ usikkerhet, som holdt forretningsinteresser forsiktige på krypto.

Mens den super-billige MacBook Neo har dukket opp som en knusende alternativ til stadig økende hårdvarer, gjør dens A18-mobiltelefon-chip og 8GB av VRAM den ikke til en alvorlig konkurranse som en innsiktsmaskin.

Men selv om sluttbrukeren ikke søker å starte en fullstendig innsiktsfarm, og bare ønsker å leie ut sin nåværende ubrukte M[n]-kapasitet, ser de potensielle inntektene ut til å være betydelige, hvis kaldt startproblem (en initial mangel på brukere ved åpningen av en bekymring som avhenger av et høyt volum av deltakere) raskt løses, og hvis plattformen begynner å reklamere seg selv som noe mer enn et kuriosum eksperiment i potensiell etterspørsel.

Infer Annet

Selv om flere kommentatorer har gjenkjent en PiedPiper/Torrent-stil demokrati i DarkBlooms ordning, er innsikt-oppgaver ikke like lett delbare som å fragmentere en filmfil i multiple hashetede skiver, så den kan senere gjenoppbygges i en torrent-klient.

DarkBloom-modellen foreslår ikke at en deltakers M[n]-chip håndterer x% av en innsikt-oppgave. I vanlig bruk, kan bare et begrenset antall rammeverk eller metoder oppnå denne type kryss-GPU-utnyttelse på en enkelt innsikt-oppgave, inkludert NVIDIA sin TensorRT LLM, som bruker pipeline-parallellisme; og DeepSpeeds sharded innsikt som utnytter modell-parallellisme (MP).

I stedet, ville din DarkBloom-aktive Mac laste ned og starte en av de listede modellene og utføre 100% av innsikt for betalende brukere, med end-to-end-kryptering, og med forespørsler dekryptert bare på maskin-attesterende noder, noe som betyr at leverandørene ikke ville kunne lese data under utførelse. Arbeidsbelastningen selv ville utgjøre en eller flere tekstbaserte innsikter, eller minst en fullstendig bilde.

Det er ikke klart hvor omfattende en enkelt brukersession ville være; som det står, er AI-hobbyister vant til å sikre en GPU via innsiktsfarm som RunPod; selv om det kan ta en stund å sikre den ønskede GPU på toppen av bruk, får brukeren monopolisere den så lenge sesjonen ikke tillates å utgå.

Så det er mulig at en enkelt betalende bruker kunne ende opp med å bruke en enkelt leid DarkBloom Macs M-serie AI-egenskaper for en svært lang sesjon, medmindre det er noen logistiske eller samarbeidsmessige fordeler i å vende klientene mellom forespørsler.

Macer er blitt valgt ut for denne tilnærmingen, tilsynelatende, fordi det bare finnes en begrenset mengde mulige tekniske konfigurasjoner for en deltaker, og det er derfor lett å tildele modeller av passende størrelse til en klient.

I tillegg, har Macer som kan bidra til en DarkBloom-nettverk en maskin sikker enclave som garanterer en vegg mellom brukeren og leverandøren.

Disse er alle faktorer som ikke er så lett å rasjonalisere over mer generiske, tilpassede oppsett, og over de hundre eller tusen kjente bærbare og stasjonære Windows- og Linux-maskiner som er tilgjengelige over de siste 6-7 årene.

Men det må være åpenbart at den mye større ikke-Mac-hårdvarupoolen kunne akkommodere enorm etterspørsel hvis deres mangfoldige egenskaper kunne rasjonaliseres, i stedet for – som med DarkBloom – å henge på Apples begrensede spesifikasjoner, som gjør for en enkel forretningsproposisjon, og for en (presumt) mye enklere arkitektonisk tilnærming.

Rettslig Tilsyn?

Kanskje det største problemet som møter en ‘demokratisk’ løsning av denne typen er den lukkede naturen til den foreslåtte prosessen; myndighetene over hele verden er for tiden engasjert i ny lovgivning som ville effektivt avslutte internett-anonymitet hvor enn det er innført, og er tydeligvis ikke i en pro-privat holdning i denne perioden.

Derfor ser utsikten til tilfeldig AI-innsikt som utføres uten filtere, sjekker eller balanser, over et distribuert nettverk (hvis du kan kalle DarkBloom det – det er mer av en innsiktsmarkedsplass) ut til å være fjern.

Det er mulig at DarkBloom, eller andre påfølgende mesh-innsiktssystemer, vil måtte gå med på bakdører som effektivt begrenser privatliv til verten, som ikke vil kunne se klientjobber som kjører; i stedet vil den returnerte innsiktdata bli gjort tilgjengelig gjennom myndighetsbyråers man-in-the-middle (MiTM)-strukturer, og holde all innsikt auditerbar.

Presumt, hvis den nye lovgivningen som foreslår OS-nivå-identitetskontroller noen gang skulle oppnå vidstrakt aksept, kan slike tiltak bli redundante. Men uten dem, og når man tar den nåværende klimaen i betraktning, ville et DarkBloom-liknende nettverk sannsynligvis bli betraktet som en AI ‘darknet’, hvor ulovlige AI-baserte aktiviteter kunne skje i hemmelighet.

Split Tests

Hittil har det vært overraskende få virkelige forsøk på å gjøre hva et ‘PiedPiper-stil’ system antyder; i seg selv, befinner DarkBloom seg på en ytterkant, distribuerer fullstendige jobber til enkeltmaskiner i stedet for å forsøke å fragmentere dem over et nettverk, mens de fleste produksjonssystemer unngår problemet fullstendig ved å holde innsikt på en enkelt vert.

Det finnes imidlertid en håndfull prosjekter som representerer noe som ligner mer på ‘delt utførelse’.

Petals, som aktivt beskriver seg selv som en ‘BitTorrent-stil’ nettverk, distribuerer transformator-blokker over flere internett-tilkoblede noder, og passerer mellomliggende tilstander mellom dem:

En typisk Petals-arbeidsflyt, hvor en enkelt innsiktforespørsel blir dirigert over flere fjern-GPUer, hver med en undergruppe av modell-lag; i motsetning til DarkBloom, er utførelsen fragmentert over nettverket, med mellomliggende tilstander som passerer mellom uavhengig opererte noder, øker latency og eksponering ved hver hop mens det approksimerer et sant mesh-stil system. Kilde

Hivemind eksperimenterer med lignende peer-to-peer-koordinasjon og ekspert-ruting, selv om det er i tjenesten for å trene modeller i stedet for innsikt fra allerede trente modeller; og Lattica fokuserer på det underliggende nettverkslaget som trengs for å gjøre slike systemer levedyktige:

En skisse av Lattica, som viser et lavere nivå peer-to-peer-substrat som håndterer NAT-gjennomgang, innholdsdistribusjon og DHT-basert koordinasjon, med shardet innsikt som oppstår bare som ett mulig programvarelagnivå; i motsetning til DarkBloom eller Petals, definerer Lattica ikke et innsiktssystem i seg selv, men gir nettverks- og synkroniseringsprimitiver som er nødvendige for å bygge ett. Kilde –

Alle disse modellene nærmer seg mesh-idealet, men til en pris av latency, ustabilitet og eksponering.

Omvendt, exo holder innsikt innenfor en lokal cluster, og bruker raske interkonnekter til å dele arbeidsbelastninger over GPUer, uten å avhenge av det offentlige internettet. I praksis, oppfører en slik oppsett seg mindre som et distribuert mesh og mer som en enkelt utvidet maskin, selv om det er tydelig mulighet til å utvide denne tilnærmingen over et bredere nettverk:

En cluster-oversikt fra exo, som viser en liten ring av lokale Apple Silicon-maskiner som samarbeider om å hoste en enkelt modell, med pipeline- eller tensor-sharding som distribuerer lag over noder; i motsetning til WAN-baserte systemer, avhenger exo av raske lokale interkonnekter, og effektivt omdanner flere enheter til en enkelt sammensatt innsiktsmaskin. Kilde

Til slutt, flere vanlig siterte tilnærminger adresserer ikke innsikt i det hele tatt: den nåverende (2016) Google FedAvg; MITs 2018-utgave SplitNN; og den australske tilbudet fra 2020 SplitFed, som er opptatt av trening-distribusjon eller privatlivsbeskyttende datautveksling, i stedet for å betjene live-innsiktforespørsler.

Ettersom trening er et langt mer ressurskrevende prospekt enn innsikt, kan noen nettverk som viser seg å kunne distribuere en slik belastning effektivt, over cluster eller noder, kunne ha en ubetydelig andel av hobbyist- og forretningsinteresse senere.

Konklusjon

Fordi mye av teknologien i Silicon Valley var vill oppfinnelse, vet vi ikke om PiedPiper virkelig var hash-drevet (dvs. delt og distribuert data i blokker, torrent-stil), eller om det ‘avsluttet’ en oppgave eller en sesjon på noen node på noen tid, noe som er hva DarkBloom gjør.

Men den nåværende kappløpet for å levere trening- og innsikts-hårdvarer på datasenter-nivå indikerer at leveringssektoren enten forventer å betjene alle, RunPod-stil, eller er i ferd med å forberede seg til den mest lukrative bedriftsnivå-leveringen – et fristende prospekt underminert av den generelle mangelen på vollgraver i AI-utvikling.

Hvis mesh-innsikt blir en realitet, er det rimelig å forvente at blant de første forsøkene på å utnytte det vil være fra de etablerte, som OpenAI og Anthropic, som kunne enten deployere dedikerte systemer innenfor en massiv eksisterende app-installbase, eller samarbeide om åpne kilde-systemer som er enkle å installere (siden selskaper av denne størrelsen og rekkevidden har penger og motivasjon til å strømlinje vanskelige installasjoner av denne typen).

Som om en mer demokratisk, bruker-drevet mesh-nettverk kunne oppstå, en sann AI-ekvivalent til BitTorrent – en rekke faktorer er rettet mot det.

Først og fremst, den nåværende globale drivkraften mot kryptering og anonymitet kunne fjerne eller undergrave mange eller alle mekanismene som gjør systemer som BitTorrent anonyme, som end-to-end-kryptering og VPN-er. Når de ‘generiske’ krypterte strømmene som skjuler slike protokoller er åpne for inspeksjon, blir nye lag av tilsyn og forbud mulige, og dette kan underminere appell til et DarkBloom-stil system.

For det andre, nye eller foreslåtte reguleringer mot ‘misbruk’ av AI, eller mot anonym drift av åpne kilde-rammeverk, betyr at kostnadene for overholdelse – ubetydelig på bedriftsnivå – ville sannsynligvis ta de mindre spillere av markedet.

Til slutt – den store sektorspillerens evne til å omfavne, utvide og slukke (EEE, som Facebook og Twitter antageligvis gjorde med mer ad hoc internett-samfunn), betyr at de nåværende store spillere kan operasjonalisere og strømlinje mesh-modellen til deres egen fordel, i en marked hvor sluttbrukere er nesten fullstendig intolerante overfor noen friksjon i adopsjon.

Først publisert torsdag, 16. april 2026