PiedPiper-Style Decentralized Inference Services voor AI?

Is ‘BitTorrent voor AI’ een nabije mogelijkheid?

Mening Ik heb gisteren net een herbeoordeling van Mike Judges vermakelijke en bijtende tech-bro satirische Silicon Valley – waarin een groep sociaal uitgedaagde geek genieën proberen een ‘nieuw internet’ te creëren genaamd PiedPiper, via een mesh-netwerk geïnstalleerd op ieders mobiele telefoons – en ik was geïnteresseerd om te zien dat de HN-gemeenschap bezig was met een nieuwe aanbieding van een soortgelijke aard.

Eigen Labs’ DarkBloom zit ergens tussen het egalitaire concept van een gedecentraliseerd mesh-netwerk voor AI-inferentie en crypto-mijnbouw winstmotieven, waardoor de eigenaren van Apple Silicon Mac-systemen hun apparatuur kunnen omzetten in een inferentieknnoop:

Vanuit het Earnings-gedeelte van de DarkBloom-website kunnen gebruikers selecteren welke apparatuur ze willen verhuren en welke AI-modellen ze willen ondersteunen. Bron

Het systeem concentreert zich momenteel op tekstgebaseerde modellen zoals de agente Trinity Mini (3B) en Cohere Transcribe, hoewel het ook diverse beeldgenererende modellen aanbiedt zoals FLUX 2 Klein 4B:

Het bereik van modellen waaruit de ‘verhuurder’ kan kiezen om te verhuren, samen met de maandelijkse geschatte inkomsten.

Gebruikers die deelnemen aan het schema kunnen blijkbaar genoeg geld verdienen in een solide maand van inferentieomzetting om regelmatig een nieuwe Mac toe te voegen aan een steeds groter wordende keten, totdat ze in theorie een complete inferentieboerderij kunnen verdienen.

Effectief zou een schema van deze soort dat echt populair zou worden (het heeft momenteel een koude startprobleem) enthousiaste gebruikers terug kunnen zetten in een hardware-zoekende houding, zoals in de laatste grote cryptocurrency-boom (en volgende crash).

Niet zo snel

Maar voor de kleine jongens mag dat schip zijn vertrokken. Behalve AI’s apocalyptische behoefte aan RAM, blijft de vraag naar wereldwijde AI-geactiveerde datacenteruitrusting hardware- en dienstekosten verhogen voor de gewone consument, die eerder in staat was om RAM voor crypto-mijnbouw te monopoliseren vanwege de perifere aard van de activiteit, evenals regelgevingsonzekerheid, die het bedrijfsleven huiverig maakte over crypto.

Terwijl de supergoedkope MacBook Neo is geëmergeerd als een crunch-beating alternatief voor steeds escalerende hardware, zet zijn A18-mobiele telefoonchip en 8 GB VRAM het niet in serieuze concurrentie als een inferentiemachine.

Maar zelfs als de eindgebruiker niet probeert om een complete inferentieboerderij te starten en alleen zijn huidige ongebruikte M[n]-capaciteit wil verhuren, lijken de potentiële inkomsten aanzienlijk, als het koude startprobleem snel wordt opgelost en als het platform begint te adverteren als iets meer dan een curieuze experiment in potentiële vraag.

Inferentie anders

Hoewel een aantal commentatoren een PiedPiper/Torrent-stijl democratie heeft herkend in DarkBloom’s schema, zijn inferentietaken niet zo gemakkelijk deelbaar als het fragmenteren van een filmbestand in meerdere gehashte slices, zodat het later kan worden hersamengesteld in een torrentclient.

Het DarkBloom-model stelt niet voor dat een deelnemers M[n]-chip x% van een inferentietaken afhandelt. In mainstream-gebruik kan alleen een klein aantal kaders of methodologieën dit soort cross-GPU-gebruik bereiken op een enkele inferentietaken, waaronder NVIDIA’s TensorRT LLM, die pipeline-parallelisme gebruikt; en DeepSpeed’s gespleten inferentie die model-parallelisme (MP) gebruikt.

In plaats daarvan zal uw DarkBloom-geactiveerde Mac een van de vermelde modellen downloaden en starten en 100% van de inferentie voor betalende gebruikers uitvoeren, met end-to-end-encryptie en met prompts die alleen op hardware-geattesteerde knooppunten worden gedecodeerd, wat betekent dat aanbieders de gegevens tijdens de uitvoering niet kunnen lezen. De workload zelf zou een of meer tekstgebaseerde inferenties of ten minste één complete afbeelding omvatten.

Het is niet duidelijk hoe uitgebreid een enkele gebruikerssessie zou zijn; zoals het er nu uitziet, zijn AI-hobbyisten gewend om een GPU te verkrijgen via inferentiefarms zoals RunPod; hoewel het even kan duren om de gewenste GPU te verkrijgen op het hoogtepunt van het gebruik, kan de gebruiker deze monopoliseren zolang de sessie niet is toegestaan om te verlopen.

Dus het is mogelijk dat een enkele betalende gebruiker uiteindelijk een enkele gehuurde DarkBloom Mac’s M-serie AI-mogelijkheden voor een zeer lange sessie kan gebruiken, tenzij er een logistiek of compliance-voordeel is in het omleiden van de klanten tussen verzoeken.

Macs zijn voor deze aanpak geselecteerd, omdat er alleen een beperkt aantal mogelijke technische configuraties zijn voor een deelnemer, en het is daarom gemakkelijk om passende modellen toe te wijzen aan een client.

Bovendien hebben Macs die in staat zijn om bij te dragen aan een DarkBloom-netwerk een hardware beveiligde enclave die een muur garandeert tussen de gebruiker en de aanbieder.

Deze zijn allemaal factoren die niet zo gemakkelijk zijn te rationaliseren over meer generieke, op maat gemaakte instellingen, en over de honderden of duizenden bekende laptop/desktop Windows- en Linux-machines die de afgelopen 6-7 jaar beschikbaar zijn.

Maar het moet duidelijk zijn dat de veel grotere niet-Mac-hardwarepool enorme vraag kan accommoderen als hun diverse kenmerken kunnen worden gerationaliseerd, in plaats van – zoals bij DarkBloom – een rit te maken op Apple’s beperkte spec-sets, wat een gemakkelijk zakelijk voorstel is, en voor een (vermoedelijk) veel gemakkelijker architecturaal benadering.

Rechtelijk toezicht?

Misschien is het grootste probleem dat een ‘democratische’ oplossing van deze soort tegenkomt de gesloten aard van het voorgestelde proces; overheden over de hele wereld zijn momenteel bezig met nieuwe wetgeving die effectief internetanonymiteit zou beëindigen waar het wordt ingesteld, en zijn duidelijk niet in een pro-privacy-geestesgesteldheid in deze periode.

Daarom lijkt de vooruitzicht van willekeurige AI-inferentie die wordt uitgevoerd zonder filters, controles of balansen, over een gedistribueerd netwerk (als je DarkBloom dat kunt noemen – het is meer een inferentie-marktplaats) ironisch genoeg afgelegen.

Het is mogelijk dat DarkBloom, of andere latere mesh-inferentie-schema’s, moeten instemmen met backdoors die effectief de privacy beperken tot de host, die niet in staat zal zijn om clienttaken uit te voeren; in plaats daarvan zou de geretourneerde inferentiegegevens beschikbaar worden gesteld via overheidsagentschappen man-in-the-middle (MiTM)-structuren, waardoor alle inferentie controleerbaar wordt.

Verondersteld wordt dat, als de reeks nieuwe wetten die OS-niveau-identiteitscontroles voorstellen ooit wijdverbreide adoptie zouden bereiken, dergelijke maatregelen mogelijk overbodig zouden worden. Maar zonder hen, met het huidige klimaat in overweging, zou een DarkBloom-stijl netwerk waarschijnlijk worden beschouwd als een AI-‘donkernet’, waar illegale AI-gebaseerde activiteiten in het geheim zouden kunnen plaatsvinden.

Splitsen tests

Tot nu toe zijn er verrassend weinig echte pogingen gedaan om te doen wat een ‘PiedPiper-stijl’ systeem impliceert; in zichzelf zit DarkBloom aan één uiterste, waar complete taken worden gedistribueerd naar individuele machines in plaats van te proberen ze te fragmenteren over een netwerk, terwijl de meeste productiesystemen het probleem helemaal vermijden door de inferentie op één host te houden.

Er zijn echter een handvol projecten die iets dichter bij ‘gedeelde uitvoering’ vertegenwoordigen.

Petals, die actief beschrijft als een ‘BitTorrent-stijl’ netwerk, distribueert transformator-blokken over meerdere internet-verbonden knooppunten, waarbij tussenliggende staten tussen hen worden doorgegeven:

Een typische Petals-werkstroom, waar een enkele inferentieaanvraag wordt gerouteerd over meerdere externe GPU’s, elk met een subset van modellagen; in tegenstelling tot DarkBloom, wordt de uitvoering gefragmenteerd over het netwerk, met tussenliggende staten die tussen onafhankelijk geopereerde knooppunten worden doorgegeven, waardoor latentie en blootstelling op elke hop toenemen, terwijl een echte mesh-stijl systeem wordt benaderd. Bron

Hivemind experimenteert met soortgelijke peer-to-peer-coördinatie en expert-routing, hoewel in de dienst van modeltraining in plaats van inferentie van reeds getrainde modellen; en Lattica richt zich op de onderliggende netwerklaag die nodig is om dergelijke systemen levensvatbaar te maken:

Een schematische weergave van Lattica, die een lager niveau peer-to-peer-substraat toont dat NAT-traversal, contentdistributie en DHT-gebaseerde coördinatie (Distributed Hash Table) afhandelt, met gespleten inferentie die alleen als een mogelijke toepassingslaag ontstaat; in tegenstelling tot DarkBloom of Petals, definieert Lattica geen inferentiesysteem zelf, maar biedt de netwerk- en synchronisatieprimitieven die nodig zijn om er een te bouwen. Bron –

Alle drie van deze modellen benaderen het mesh-ideaal, maar ten koste van latentie, instabiliteit en blootstelling.

Anderszins houdt exo de inferentie binnen een lokale cluster, met behulp van snelle interconnects om werklasten over GPU’s te verdelen, zonder te vertrouwen op het openbare internet. In de praktijk gedraagt dit soort setup zich minder als een gedistribueerd mesh en meer als een enkele uitgebreide machine, hoewel er een duidelijke mogelijkheid is om deze aanpak uit te breiden over een breder netwerk:

Een clusterweergave van exo, die een kleine ring van lokale Apple Silicon-machines toont die samen een enkel model hosten, met pipeline- of tensor-sharding die lagen over knooppunten distribueert; in tegenstelling tot WAN-gebaseerde systemen, vertrouwt exo op snelle lokale interconnects, waardoor meerdere apparaten effectief worden omgezet in een enkele composite inferentiemachine. Bron

Ten slotte hebben verschillende algemeen genoemde benaderingen niets te maken met inferentie: de inmiddels verouderde (2016) Google FedAvg; MIT’s 2018 SplitNN; en de Australische aanbieding van 2020 SplitFed, zijn bezig met trainingsdistributie of privacy-beschermende gegevensuitwisseling, in plaats van live-inferentieaanvragen te bedienen.

Aangezien training een veel meer resource-intensief perspectief is dan inferentie, kunnen netwerken die bewezen hebben een dergelijke last effectief te distribueren over clusters of knooppunten, een onevenredig groot deel van hobbyist en bedrijfsbelang kunnen hebben later.

Conclusie

Omdat veel van de technologie in Silicon Valley wild was uitgevonden, weten we niet of PiedPiper echt hash-gedreven was (d.w.z. het verdelen en distribueren van gegevens in stukken, torrent-stijl), of of het een taak of zelfs een sessie op een knooppunt op een bepaald moment ‘verzette’, wat DarkBloom doet.

Maar het huidige gedrang om trainings- en inferentiehardware te bieden op datacenterniveau geeft aan dat de provisionssector ofwel verwacht om iedereen te bedienen, RunPod-stijl, ofwel zich aan het voorbereiden is op de meest winstgevende ondernemingsniveau-bieding – een verleidelijk perspectief ondermijnd door het algemene gebrek aan sloten in AI-implementatie.

Als mesh-inferentie een realiteit wordt, is het redelijk om te verwachten dat onder de eerste pogingen om het te benutten, de incumbenten zullen zijn, zoals OpenAI en Anthropic, die ofwel speciale systemen kunnen inzetten binnen een bestaande app-installatiebasis, ofwel kunnen samenwerken aan open source-systemen die gemakkelijk te installeren zijn (aangezien bedrijven van deze omvang en bereik het geld en de motivatie hebben om moeilijke installaties van deze soort te vereenvoudigen).

Wat betreft de vraag of een meer democratische, gebruiker-gedreven mesh-netwerk kan ontstaan, een echte AI-equivalent van BitTorrent – een aantal factoren zijn gericht tegen het.

Ten eerste kan de huidige wereldwijde strijd tegen encryptie en anonimiteit veel van de mechanismen verwijderen of ondermijnen die systemen zoals BitTorrent anoniem maken, zoals end-to-end-encryptie en VPN’s. Zodra de ‘generieke’ versleutelde streams die dergelijke protocollen verhullen, openbaar worden gemaakt voor inspectie, worden nieuwe lagen van toezicht en verbod mogelijk, en dit kan de aantrekkingskracht van een DarkBloom-stijl systeem ondermijnen.

Ten tweede betekent de opkomende of voorgestelde regelgeving tegen ‘misbruik’ van AI, of tegen anonieme werking van open source-kaders, dat de kosten van naleving – triviaal op ondernemingsniveau – waarschijnlijk alle kleinere spelers van de markt zullen verwijderen.

Ten slotte – de kracht van een grote sectorspeler om te omarmen, uit te breiden en uit te doven (EEE, zoals Facebook en Twitter vermoedelijk deden met meer ad hoc internetgemeenschappen), betekent dat de huidige grote spelers het mesh-model kunnen operationaliseren en vereenvoudigen tot hun eigen voordeel, in een markt waar eindgebruikers bijna volledig intolerant zijn voor enige wrijving in de adoptie.

Eerst gepubliceerd op donderdag 16 april 2026