PiedPiper-Style Decentralized Inference Services for AI?

Je ‘BitTorrent for AI’ blízkou možností?

Opinion Právě včera jsem dokončil přehrání zábavného a kyselého tech-bro satiru Silicon Valley – v němž skupina sociálně ohrožených géniů geeků se snaží vytvořit ‘nový internet’ nazvaný PiedPiper, prostřednictvím mesh-sítě nainstalované na všech mobilních telefonech – a zajímalo mě, zda komunita HN diskutuje o nové nabídce podobné povahy.

Eigen Labs’ DarkBloom se nachází někde mezi egalitární myšlenkou decentralizované mesh-sítě pro AI inference a motivy zisku z crypto-miningu, umožňující majitelům systémů Apple Silicon Mac proměnit své zařízení v inference uzly:

Z části Earnings na webu DarkBloom mohou uživatelé vybrat, které zařízení chtějí pronajmout, a které AI modely chtějí podporovat. Zdroj

Systém se目前 zaměřuje na textové modely, jako je agentic Trinity Mini (3B) a Cohere Transcribe, ačkoli nabízí také rozmanité modely generující obrázky, jako je FLUX 2 Klein 4B:

Rozsah modelů, z nichž může ‘pronajímatel’ vybrat, které chce pronajmout, spolu s měsíčně odhadovanými výdělky.

Uživatelé, kteří se účastní schématu, mohou údajně vydělat dostatek peněz v solidním měsíci poskytování inference, aby mohli pravidelně přidávat nové Mac do stále rostoucí řetězce, až teoreticky mohou vydělat plnohodnotný inference farm.

Efektivně by schéma tohoto druhu, které by skutečně získalo popularitu (v současné době má problém s chladným startem), mohlo vrátit nadšené příležitostné uživatele do hledání hardwaru, jako tomu bylo v posledním velkém boomu kryptoměn (a následujícím krachu).

Ne tak rychle

Nicméně pro malé hráče může být tato loď již pryč. Kromě apokalyptické potřeby RAM pro AI, poptávka po vybavení globálních center dat pro AI pokračuje v zvyšování nákladů na hardware a služby pro běžné spotřebitele, kteří dříve mohli monopolizovat RAM pro crypto-mining, díky periferní povaze této činnosti, jakož i regulatorní nejistotě, která držela obchodní zájmy v ústraní kryptoměn.

Zatímco super-levný MacBook Neo se objevil jako alternativa k eskalujícím nákladům na hardware, jeho A18 mobilní telefonový čip a 8GB VRAM ho nedávají do vážného sporu jako inference stroj.

Ale i když koncový uživatel nehledá začít plnohodnotný inference farm, a pouze chce pronajmout svou aktuální nevyužitou M[n] kapacitu, potenciální výdělky seem významné, pokud se problém s chladným startem rychle vyřeší, a pokud se platforma začne prezentovat jako něco více než zvědavý experiment v potenciální poptávce.

Infer Different

Ačkoli řada komentátorů uznala PiedPiper/Torrent-style demokracii ve schématu DarkBloom, inference úkoly nejsou tak snadno dělitelné jako fragmentace filmového souboru do několika hashovaných částí, aby jej později mohl být reassemblován v klientovi torrentu.

Model DarkBloom nenavrhuje, aby účastníkovo M[n] čip zpracovával x% inference úkolu. Ve většině použití existuje pouze několik rámců nebo metodologií, které mohou dosáhnout tohoto druhu využití napříč GPU na jednom inference úkolu, včetně NVIDIA TensorRT LLM, který používá pipeline paralelismus; a DeepSpeed sharded inference, který využívá model paralelismu (MP).

Spíše by váš DarkBloom-povolený Mac stáhl a spustil jeden z uvedených modelů a provedl 100% inference pro platící uživatele, s koncovým šifrováním, a s promptami dešifrovanými pouze na hardwarově ověřených uzlech, což znamená, že poskytovatelé nebudou moci číst data během provádění. Pracovní zátěž by se skládala z jedné nebo více textových inference, nebo alespoň jedné kompletní obrazovky.

Není jasné, jak rozsáhlá by byla jedna uživatelská relace; jak tomu je, AI hobbyisté jsou zvyklí zajišťovat GPU prostřednictvím inference farem, jako je RunPod; ačkoli to může trvat nějakou dobu, než získáte požadovaný GPU na špičkové využití, uživatel získá monopolizovat jej, dokud relace není povolena vypršet.

Je tedy možné, že jeden platící uživatel by mohl skončit pomocí jednoho pronajatého DarkBloom Mac M-series AI schopností pro velmi dlouhou relaci, pokud není some logistický nebo compliance výhodou v churningu klientů mezi požadavky.

Macs byly vybrány pro tento přístup, zřejmě proto, že existuje pouze omezený počet možných technických konfigurací pro účastníka, a je proto snadné přiřadit vhodné modely klientovi.

Kromě toho mají Macs schopné přispět do DarkBloom sítě hardwarový zabezpečený enclave, který zajišťuje zeď mezi uživatelem a dodavatelem.

Tyto jsou všechny faktory, které nejsou tak snadno racionalizovatelné napříč více generickými, custom-made nastaveními, a napříč stovkami nebo tisíci známých laptopů a desktopů Windows a Linux dostupných za posledních 6-7 let.

Nicméně musí být zřejmé, že mnohem větší ne-Mac hardwarová základna by mohla akomodovat obrovskou poptávku, pokud by jejich rozmanité charakteristiky mohly být racionalizovány, místo aby – jako u DarkBloom – využily omezené specifikací Apple, což by bylo snadné obchodní řešení, a (předpokládaně) mnohem snadnější architektonický přístup.

Právní dohled?

Možná největší problém, se kterým se setkává ‘demokratické’ řešení tohoto druhu, je uzavřená povaha navrhovaného procesu; vlády po celém světě jsou目前 zapojeny do nových legislativ, které by účinně ukončily anonymitu internetu kdekoliv zavedeny, a jasně nejsou v pro-privacy myšlení v tomto období.

Proto se zdá, že perspektiva náhodné AI inference provedené bez filtrů, kontrol nebo vyvážení, napříč distribuovanou sítí (pokud můžete nazvat DarkBloom tak – je to více inference tržiště) zdá se, ironicky, vzdálená.

Je možné, že DarkBloom, nebo jiné následné mesh inference schéma, bude muset souhlasit s backdoorami, které efektivně omezují soukromí na hostitelský uzlu, který nebude moci vidět klientovy úkoly během provádění; místo toho by se vrácená inference data poskytla prostřednictvím vládních agentur man-in-the-middle (MiTM) struktur, udržujících všechny inference auditable.

Předpokladem, že nová legislativa navrhující OS-level identity kontroly by mohla získat širokou akceptaci, takové opatření by mohlo být redundantní. Ale bez nich, s přihlédnutím k aktuálnímu klimatu, by se DarkBloom-style síť pravděpodobně považovala za AI ‘darknet’, kde by mohly probíhat nelegální AI-založené aktivity v tajnosti.

Split Tests

Do dneška existuje překvapivě málo skutečných pokusů o to, co ‘PiedPiper-style’ systém naznačuje; sám DarkBloom sedí na jednom extrému, distribuuje kompletní úkoly do jednotlivých strojů, místo aby se pokusil fragmentovat je napříč sítí, zatímco většina produkčních systémů jednoduše避uje problém úplně tím, že udržuje inference na jednom hostiteli.

Existují však několik projektů, které reprezentují něco málo bližšího ‘sdílené exekuci’.

Petals, který aktivně popisuje sám sebe jako ‘BitTorrent-style’ síť, distribuuje transformer bloky napříč několika internetovými uzly, předávající mezilehlé stavy mezi nimi:

Typický Petals workflow, kde jeden inference požadavek je směrován napříč několika vzdálenými GPU, každý držící podmnožinu modelových vrstev; na rozdíl od DarkBloom, exekuce je fragmentována napříč sítí, s mezilehlými stavy předávanými mezi nezávisle provozovanými uzly, zvyšující latenci a expozici na každém skoku, zatímco aproximuje skutečný mesh-style systém. Zdroj

Hivemind experimentuje se podobnou peer-to-peer koordinací a expertní směrováním, ačkoli ve prospěch trénování modelů spíše než inference z již trénovaných modelů; a Lattica se zaměřuje na základní síťovou vrstvu potřebnou pro provedení takových systémů:

Schematický diagram Lattica, ukazující nižší úroveň peer-to-peer substrátu, který zpracovává NAT traversal, obsah distribuce a DHT-based koordinaci, s sharded inference vznikající pouze jako jedna možná aplikovaná vrstva; na rozdíl od DarkBloom nebo Petals, Lattica sama o sobě nedefinuje inference systém, ale poskytuje síťové a synchronizační primitivy potřebné pro jeho vytvoření. Zdroj –

Všechny tři tyto modely se blíží ideálu mesh, ale za cenu latence, nestability a expozice.

Naopak, exo udržuje inference uvnitř místního clusteru, využívající rychlé interconnecty k rozdělení zátěže napříč GPU, bez závislosti na veřejném internetu. V praxi se tento typ nastavení chová méně jako distribuovaná mesh a více jako jeden prodloužený stroj, ačkoli existuje jasná možnost prodloužit tento přístup na širší síť:

Cluster pohled z exo, ukazující malý kruh místních Apple Silicon strojů, které společně hostují jeden model, s pipeline nebo tensor sharding distribuující vrstvy napříč uzly; na rozdíl od WAN-založených systémů, exo spoléhá na rychlé místní interconnecty, efektivní přeměna více zařízení na jeden kompozitní inference stroj. Zdroj

Nakonec několik běžně citovaných přístupů vůbec neřeší inference: nyní-venerable (2016) Google FedAvg; MIT’s 2018 SplitNN; a australská nabídka z roku 2020 SplitFed, se zabývají distribucí trénování nebo výměnou dat s ochranou soukromí, spíše než službou live inference požadavků.

Jelikož trénování je mnohem více náročné na zdroje než inference, jakékoliv sítě, které prokážou schopnost distribuovat takovou zátěž efektivně, napříč clustery nebo uzly, by mohly mít nepřiměřenou část hobbyistického a obchodního zájmu později.

Závěr

Protože většina technologií v Silicon Valley byla divokou invencí, nevíme, zda PiedPiper byl skutečně hash-driven (tj. dělen a distribuován data do částí, torrent-style), nebo zda ‘usadil’ úkol nebo relaci na jednom uzlu v jednom okamžiku, což je to, co DarkBloom dělá.

Nicméně, současný závod o poskytování trénování a inference hardwaru na úrovni center dat naznačuje, že sektor poskytování očekává, že bude sloužit všem, RunPod-style, nebo se chystá na nejvýnosnější podnikový úroveň poskytování – lákavá perspektiva podkopaná obecným nedostatkem moatů v AI nasazení.

Pokud se mesh-inference stane realitou, je rozumné očekávat, že mezi prvními pokusy o využití jejích budou incumbent, jako OpenAI a Anthropic, kteří by mohli nasadit věnované systémy uvnitř obrovské stávající aplikace, nebo spolupracovat na open-source systémech, které jsou snadno instalovatelné (protože společnosti této velikosti a dosahu mají peníze a motivaci streamovat obtížné instalace tohoto typu).

Co se týče toho, zda by mohla vzniknout více demokratická, uživatelsky řízená mesh síť, skutečný AI ekvivalent BitTorrent – řada faktorů je proti němu.

Za prvé, současný globální tlak proti šifrování a anonymitě by mohl odstranit nebo podkopat mnoho mechanismů, které činí systémy, jako je BitTorrent, anonymními, jako je koncové šifrování a VPN. Jakmile budou ‘generické’ šifrované proudy skrývající tyto protokoly otevřeny inspekci, nové vrstvy dohledu a zákazu se stanou možné, a to by mohlo podkopat atraktivitu DarkBloom-style systému.

Za druhé, vznikající nebo navrhované regulace proti ‘zneužívání’ AI, nebo proti anonymnímu provozu open-source rámců, znamenají, že náklady na compliance – zanedbatelné na podnikové úrovni – by pravděpodobně odstranily menší hráče z trhu.

Nakonec – síla majoritního hráče, aby Embrace, Extend a Extinguish (EEE, jako Facebook a Twitter údajně udělali s více ad hoc internetovými komunitami), znamená, že současné majoritní hráče mohou operacionalizovat a streamovat mesh model k vlastní výhodě, na trhu, kde koncoví uživatelé jsou téměř totalement netolerantní k jakékoli frikci v adopci.

Poprvé publikováno čtvrtek, 16. dubna 2026