PiedPiper-Style Decentralized Inference Services voor AI?

Is ‘BitTorrent voor AI’ een aanstaande mogelijkheid?

Mening Nadat ik gisteren een herhaling van Mike Judge’s vermakelijke en bijtende tech-bro satire Silicon Valley had bekeken – waarin een groep sociaal uitgedaagde geek-genies probeert een ‘nieuw internet’ te creëren genaamd PiedPiper, via een mesh-netwerk geïnstalleerd op ieders mobiele telefoon – was ik geïnteresseerd om te zien hoe de HN-gemeenschap omging met een nieuw aanbod van soortgelijke aard.

Eigen Labs’ DarkBloom zit ergens tussen het egalitaire concept van een gedecentraliseerd mesh-netwerk voor AI-inferentie en crypto-mijnbouw winstmotieven, waardoor de eigenaren van Apple Silicon Mac-systemen hun apparatuur kunnen omzetten in een inferentieknop:

Vanuit het Earnings-gedeelte van de DarkBloom-website kunnen gebruikers selecteren welke apparatuur ze willen verhuren en welke AI-modellen ze willen ondersteunen. Bron

Het systeem richt zich momenteel op tekstgebaseerde modellen zoals het agente Trinity Mini (3B) en Cohere Transcribe, hoewel het ook diverse beeldgenererende modellen zoals FLUX 2 Klein 4B biedt:

Het bereik van modellen waaruit de ‘verhuurder’ kan kiezen om te verhuren, samen met de maandelijkse geschatte inkomsten.

Gebruikers die deelnemen aan het schema kunnen blijkbaar genoeg geld verdienen in een solide maand van inferentiebezorging om redelijk regelmatig een nieuwe Mac toe te voegen aan een steeds groeiende keten, totdat, in theorie, ze een complete inferentiefarm kunnen verdienen.

Effectief, een schema van deze soort dat echt populair zou worden (het heeft een koude startprobleem op dit moment) zou enthousiaste casual-gebruikers mogelijk weer in een hardware-zoekende houding plaatsen, zoals in de laatste grote cryptocurrency-boom (en daaropvolgende crash).

Not So Fast

Echter, voor de kleine jongens, is die boot misschien al vertrokken. Behalve AI’s apocalyptische behoefte aan RAM, blijft de vraag naar wereldwijd AI-geactiveerde datacenteruitrusting de hardware- en dienstencosten voor de gewone consument verhogen, die eerder in staat was om RAM te monopoliseren voor crypto-mijnbouw vanwege de perifere aard van de activiteit, evenals de regelgevingsonzekerheid, die het bedrijfsleven behoedzaam maakte over crypto.

Terwijl de supergoedkope MacBook Neo is opgedoken als een crunch-beating alternatief voor de steeds escalerende hardware, brengt zijn A18-mobiele telefoonchip en 8 GB VRAM hem niet in serieuze strijd als een inferentiemachine.

Maar zelfs als de eindgebruiker niet probeert om een complete inferentiefarm te starten en slechts zijn huidige ongebruikte M[n]-capaciteit wil verhuren, lijken de potentiële inkomsten aanzienlijk, als het koude startprobleem (een initiële gebrek aan gebruikers bij de opening van een zorg die afhankelijk is van een hoge volume van deelnemers) snel wordt opgelost en als het platform begint te adverteren als iets meer dan een curieuze experiment in potentiële vraag.

Infer Different

Hoewel een aantal commentatoren een PiedPiper/Torrent-stijl democratie in DarkBloom’s schema hebben erkend, zijn inferentietaken niet zo gemakkelijk te verdelen als het fragmenteren van een filmbestand in meerdere gehashte slices, zodat het later kan worden hersamengesteld in een torrentclient.

Het DarkBloom-model stelt niet voor dat een deelnemer zijn M[n]-chip x% van een inferentietaken afhandelt. In mainstream-gebruik kan alleen een klein aantal frameworks of methodologieën deze soort cross-GPU-gebruik op een enkele inferentietaken bereiken, waaronder NVIDIA’s TensorRT LLM, die pipeline parallelisme gebruikt; en DeepSpeed’s geshardde inferentie die model parallelisme (MP) gebruikt.

In plaats daarvan zal uw DarkBloom-geactiveerde Mac een van de vermelde modellen downloaden en starten en 100% van de inferentie voor betalende gebruikers uitvoeren, met end-to-end encryptie en met prompts die alleen op hardware-geattesteerde knooppunten worden gedecodeerd, wat betekent dat aanbieders de gegevens tijdens de uitvoering niet kunnen lezen. De workload zelf zal één of meer tekstgebaseerde inferenties of ten minste één complete afbeelding omvatten.

Het is niet duidelijk hoe uitgebreid een enkele gebruikerssessie zou zijn; zoals het er nu uitziet, zijn AI-hobbyisten gewend om een GPU te verwerven via inferentiefarms zoals RunPod; hoewel het even kan duren om de gewenste GPU te verwerven op het hoogtepunt van het gebruik, kan de gebruiker deze monopoliseren zolang de sessie niet is toegestaan om te verlopen.

Dus het is mogelijk dat één betalende gebruiker een enkele gehuurde DarkBloom Mac’s M-series AI-mogelijkheden voor een zeer lange sessie kan gebruiken, tenzij er een logistiek of compliance-voordeel is in het wisselen van de clients tussen verzoeken.

Macs zijn voor deze aanpak geselecteerd, omdat er slechts een beperkt aantal mogelijke technische configuraties zijn voor een deelnemer, en het dus gemakkelijk is om modellen van de juiste grootte toe te wijzen aan een client.

Bovendien hebben Macs die in staat zijn om bij te dragen aan een DarkBloom-netwerk een hardware beveiligde enclave die een muur tussen de gebruiker en de leverancier garandeert.

Deze zijn allemaal factoren die niet zo gemakkelijk zijn te rationaliseren over meer generieke, aangepaste instellingen, en over de honderden of duizenden bekende laptop/desktop Windows- en Linux-machines die de afgelopen 6-7 jaar beschikbaar zijn.

Echter, het moet duidelijk zijn dat het veel grotere niet-Mac-hardwarezwembad een enorme vraag kan accommoderen als hun uiteenlopende kenmerken kunnen worden gerationaliseerd, in plaats van – zoals bij DarkBloom – een rit te maken op Apple’s beperkte specificaties, wat een gemakkelijk zakelijk voorstel en een (vermoedelijk) veel gemakkelijker architectuurbenadering oplevert.

Rechtelijk Toezicht?

Misschien is het grootste probleem dat een ‘democratische’ oplossing van deze soort tegenkomt de gesloten aard van het voorgestelde proces; overheden over de hele wereld zijn momenteel bezig met nieuwe wetgeving die effectief het einde van internetanonymiteit zou betekenen waar deze wordt ingesteld, en zijn duidelijk niet in een pro-privacy-mentaliteit in deze periode.

Derhalve lijkt het vooruitzicht van willekeurige AI-inferentie die zonder filters, controles of balansen wordt uitgevoerd over een gedistribueerd netwerk (als je DarkBloom een netwerk kunt noemen – het is meer een inferentie-marktplaats) ironisch genoeg ver weg.

Het is mogelijk dat DarkBloom, of andere latere mesh-inferentieschema’s, moeten instemmen met backdoors die effectief de privacy tot de host beperken, die niet in staat zal zijn om clienttaken uit te voeren; in plaats daarvan zal de geretourneerde inferentiegegevens beschikbaar worden gesteld via overheidsagentschapsman-in-the-middle (MiTM)-structuren, waardoor alle inferentie controleerbaar wordt.

Verondersteld wordt dat, als de reeks nieuwe wetten die OS-niveau-identiteitscontroles voorstellen ooit wijdverbreide adoptie zouden bereiken, dergelijke maatregelen mogelijk overbodig zouden worden. Maar zonder hen, gezien de huidige klimaat, zou een DarkBloom-stijl netwerk waarschijnlijk worden beschouwd als een AI-‘donkernet’, waar illegale AI-gebaseerde activiteiten in het geheim zouden kunnen plaatsvinden.

Splits Tests

Tot nu toe zijn er verrassend weinig echte pogingen gedaan om te doen wat een ‘PiedPiper-stijl’-systeem impliceert; DarkBloom zit aan één uiteinde, waar complete taken worden gedistribueerd naar individuele machines in plaats van te proberen ze te fragmenteren over een netwerk, terwijl de meeste productiesystemen het probleem helemaal vermijden door de inferentie op één host te houden.

Er zijn echter een handvol projecten die iets dichter bij ‘gedeelde uitvoering’ komen.

Petals, die zichzelf actief beschrijft als een ‘BitTorrent-stijl’-netwerk, verdeelt transformator-blokken over meerdere internet-geconnecteerde knooppunten, waarbij tussenliggende staten tussen hen worden doorgegeven:

Een typische Petals-workflow, waarbij een enkel inferentieverzoek wordt doorgestuurd naar meerdere externe GPUs, elk met een subset van modellagen; in tegenstelling tot DarkBloom, wordt de uitvoering gefragmenteerd over het netwerk, met tussenliggende staten die tussen onafhankelijk geopereerde knooppunten worden doorgegeven, waardoor de latentie en blootstelling bij elke hop toenemen, terwijl een echte mesh-stijl systeem wordt benaderd. Bron

Hivemind experimenteert met soortgelijke peer-to-peer-coördinatie en expert-routing, hoewel in de dienst van modeltraining in plaats van inferentie van reeds getrainde modellen; en Lattica richt zich op de onderliggende netwerklagen die nodig zijn om dergelijke systemen levensvatbaar te maken:

Een schematische voorstelling van Lattica, die een lage peer-to-peer-substraat laat zien dat NAT-traversal, contentdistributie en DHT-gebaseerde coördinatie (Distributed Hash Table) afhandelt, met geshardde inferentie die alleen als een mogelijke toepassingslaag ontstaat; in tegenstelling tot DarkBloom of Petals, definieert Lattica geen inferentiesysteem zelf, maar biedt de netwerk- en synchronisatieprimitieven die nodig zijn om er een te bouwen. Bron

Alle drie van deze modellen benaderen het mesh-ideaal, maar tegen de kosten van latentie, instabiliteit en blootstelling.

Omgekeerd houdt exo de inferentie binnen een lokale cluster, met snelle interconnects om workloads over GPUs te verdelen, zonder te vertrouwen op het openbare internet. In de praktijk gedraagt dit soort setup zich minder als een gedistribueerd mesh en meer als een enkele uitgebreide machine, hoewel er een duidelijke mogelijkheid is om deze benadering uit te breiden over een bredere netwerk:

Een clusterweergave van exo, die een kleine ring van lokale Apple Silicon-machines laat zien die samen één model hosten, met pipeline- of tensor-sharding die lagen over knooppunten verdeelt; in tegenstelling tot WAN-gebaseerde systemen, vertrouwt exo op snelle lokale interconnects, waardoor meerdere apparaten effectief worden omgezet in één enkele samengestelde inferentiemachine. Bron

Tenslotte zijn er enkele veelgeciteerde benaderingen die inferentie helemaal niet aanpakken: de inmiddels verouderde (2016) Google FedAvg; MIT’s 2018 SplitNN; en de Australische aanbieding van 2020 SplitFed, die zich bezighouden met de distributie van training of privacy-beschermende gegevensuitwisseling, in plaats van live inferentieverzoeken te behandelen.

Aangezien training een veel meer resource-intensief perspectief is dan inferentie, kunnen netwerken die in staat zijn om een dergelijke belasting effectief te distribueren over clusters of knooppunten, een onevenredig groot deel van hobbyist- en bedrijfsinteresse kunnen hebben.

Conclusie

Omdat veel van de technologie in Silicon Valley wilde uitvinding was, weten we niet of PiedPiper echt hash-gedreven was (d.w.z. het verdelen en distribueren van gegevens in stukjes, torrent-stijl) of of het een taak of zelfs een sessie op één knooppunt op één moment ‘verzette’, wat DarkBloom doet.

Echter, de huidige haast om trainings- en inferentiehardware op datacenterniveau te bieden, geeft aan dat de provisiesector ofwel iedereen wil bedienen op de manier van RunPod, ofwel zich aan het voorbereiden is op de meest lucratieve ondernemingsniveau-provisie – een verleidelijk perspectief dat wordt ondermijnd door het algemene gebrek aan sloten in AI-implementatie.

Als mesh-inferentie een realiteit wordt, is het redelijk om te verwachten dat de eerste pogingen om het te benutten van de gevestigde partijen zullen komen, zoals OpenAI en Anthropic, die ofwel speciale systemen binnen een bestaande app-installatiebasis kunnen implementeren, ofwel kunnen samenwerken aan open source-systemen die gemakkelijk te installeren zijn (aangezien bedrijven van deze omvang en bereik het geld en de motivatie hebben om moeilijke installaties van deze soort te vereenvoudigen).

Wat betreft de vraag of een meer democratische, gebruiker-gedreven mesh-netwerk kan ontstaan, een echte AI-tegenhanger van BitTorrent – een aantal factoren zijn tegen het gericht.

Ten eerste, de huidige wereldwijde strijd tegen encryptie en anonimiteit kan veel of alle mechanismen die systemen zoals BitTorrent anoniem maken, zoals end-to-end encryptie en VPN’s, verwijderen of ondermijnen. Zodra de ‘generieke’ versleutelde streams die dergelijke protocollen verhullen openbaar toegankelijk zijn, worden nieuwe lagen van toezicht en verbod mogelijk, en dit kan de aantrekkingskracht van een DarkBloom-stijl systeem ondermijnen.

Ten tweede, opkomende of voorgestelde regelgeving tegen ‘misbruik’ van AI, of tegen anonieme werking van open source-kaders, betekent dat de kosten van naleving – triviaal op ondernemingsniveau – waarschijnlijk alle kleinere spelers van de markt zullen verwijderen.

Tenslotte – de macht van een belangrijke sectorspeler om te omarmen, uit te breiden en uit te doven (EEE, zoals Facebook en Twitter naar verluidt deden met meer ad-hoc-internetgemeenschappen), betekent dat de huidige belangrijke spelers het mesh-model kunnen operationaliseren en stroomlijnen naar hun eigen voordeel, in een markt waar eindgebruikers bijna volledig intolerant zijn voor enige wrijving bij adoptie.

Publicatie op donderdag 16 april 2026