PiedPiper-Style Decentralizované Inferenční Služby pro AI?

Je ‘BitTorrent pro AI’ blízkou možností?

Opinion Právě včera jsem dokončil přehrání zábavného a kyselého tech-bro satiru Silicon Valley – ve kterém skupina sociálně omezovaných géniů geeků se snaží vytvořit ‘nový internet’ nazvaný PiedPiper, prostřednictvím mesh-sítě nainstalované na mobilních telefonech – a byl jsem zvědavý, zda se komunita HN bude zabývat novou nabídkou podobné povahy.

Eigen Labs’ DarkBloom se nachází někde mezi egalitární myšlenkou decentralizované mesh-sítě pro AI inference a motivy zisků z crypto-miningu, které umožňují majitelům Apple Silicon Mac systémů přeměnit svá zařízení na inferenční uzly:

Z části Earnings na webu DarkBloom si uživatelé mohou vybrat, jaké zařízení chtějí pronajmout, a které AI modely chtějí podporovat. Zdroj

Systém se目前 zaměřuje na textově založené modely, jako je agentic Trinity Mini (3B) a Cohere Transcribe, ačkoli nabízí i různé image-generující modely, jako FLUX 2 Klein 4B:

Škála modelů, z nichž si ‘pronajímatel’ může vybrat, spolu s měsíčními odhadovanými výdělky.

Uživatelé, kteří se účastní schématu, mohou údajně vydělat dostatek peněz během jednoho měsíce poskytování inference, aby mohli pravidelně přidávat nové Mac do stále rostoucí řady, až nakonec mohou vydělat plnohodnotný inferenční statek.

Efektivně, schéma tohoto druhu, které by skutečně získalo popularitu (v současné době má problém s chladným startem), by mohlo vrátit nadšené uživatele do hledání hardwaru, jako tomu bylo během poslední velké kryptoměnové bubliny (a následujícího krachu).

Počítejte si to

Nicméně, pro malé hráče může být loď již odplula. Kromě apokalyptické potřeby AI paměti RAM, poptávka po globálním vybavení datových center pro AI pokračuje v zvyšování nákladů na hardware a služby pro běžné spotřebitele, kteří dříve mohli monopolizovat RAM pro crypto-mining, díky periferní povaze aktivity, jakož i regulatorní nejistotě, která držela obchodní zájmy obezřetné vůči kryptoměnám.

Zatímco super-levný MacBook Neo se objevil jako alternativa, která poráží eskalaci hardwaru, jeho mobilní telefonový čip A18 a 8GB VRAM jej nedávají do vážného soupeření jako inferenční stroj.

Ale i když koncový uživatel nehledá začít plnohodnotný inferenční statek, ale pouze chce pronajmout svou aktuální nevyužitou M[n] kapacitu, potenciální výdělky se zdají být významné, pokud se problém s chladným startem (počáteční nedostatek uživatelů na začátku projektu, který závisí na vysoké participaci) rychle vyřeší a pokud platforma začne inzerovat sama sebe jako něco více než pouhý experimentální požadavek.

Inferovat jinak

Ačkoli řada komentátorů uznala demokratický styl schématu DarkBloom, inferenční úkoly nejsou tak snadno dělitelné jako rozdělení filmového souboru na multiple hashed slices, aby jej později mohl reassemblovat torrentový klient.

Model DarkBloom nepropaguje, že účastníkovo M[n] čip zpracuje x% inferenčního úkolu. Ve většině použití existuje pouze několik frameworků nebo metodologií, které mohou dosáhnout tohoto typu využití napříč GPU na jednom inferenčním úkolu, včetně NVIDIA TensorRT LLM, který používá pipeline paralelismus; a DeepSpeed sharded inference, který využívá model paralelismu (MP).

Rather, váš DarkBloom-povolený Mac si stáhne a spustí jeden z uvedených modelů a provede 100% inference pro platící uživatele, s koncovým šifrováním a s promptami dešifrovanými pouze na hardwarově ověřených uzlech, což znamená, že poskytovatelé nebudou moci číst data během provádění. Pracovní zátěž by se skládala z jednoho nebo více textově založených inferencí nebo alespoň jedné kompletní obrazové inferenční úlohy.

Není jasné, jak rozsáhlá by byla jedna uživatelská relace; jak tomu je, AI nadšenci jsou zvyklí zajišťovat si GPU prostřednictvím inferenčních farem, jako je RunPod; ačkoli to může trvat nějakou dobu, než získáte požadované GPU při špičkovém využití, uživatel si může monopolizovat jej, dokud relace nevyprší.

Takže je možné, že jeden platící uživatel by mohl použít jeden pronajatý DarkBloom Mac’s M-series AI schopnosti na velmi dlouhou relaci, pokud neexistuje nějaký logistický nebo compliance výhodou v otočení klientů mezi požadavky.

Macs byly vybrány pro tento přístup, zřejmě proto, že existuje pouze omezený počet možných technických konfigurací pro účastníka, a je tedy snadné přiřadit vhodné modely klientovi.

<p Navíc, Macs, které jsou schopny přispívat do DarkBloom sítě, mají hardwarový secure enclave, který zajišťuje oddělení mezi uživatelem a dodavatelem.

Tyto jsou všechny faktory, které nejsou tak snadno racionalizovatelné napříč více obecnými, vlastními nastaveními, a napříč stovkami nebo tisíci známých laptopů a desktopů s operačním systémem Windows a Linux za posledních 6-7 let.

Ale musí být zřejmé, že mnohem větší ne-Mac hardwarová základna by mohla akomodovat obrovskou poptávku, kdyby její rozmanité charakteristiky mohly být racionalizovány, místo toho, aby – jako u DarkBloom – využily omezené specifikací Apple, což činí z něj snadný obchodní návrh a (předpokládaně) mnohem jednodušší architektonický přístup.

Právní dohled?

Možná největší problém, se kterým se potýká ‘demokratické’ řešení tohoto druhu, je uzavřená povaha navrhovaného procesu; vlády po celém světě jsou v současné době zapojeny do nové legislativy, která by účinně ukončila internetovou anonymitu kdekoliv zavedenou, a jasně nejsou v pro-privacy myšlení v tomto období.

Proto se zdá, že perspektiva náhodné AI inference provedené bez filtrů, kontrol nebo vyvážení, napříč distribuovanou sítí (pokud můžete nazvat DarkBloom tak – je to více tržní místo pro inference), zdá se ironicky vzdálená.

Je možné, že DarkBloom, nebo jiná následná mesh inference schémata, budou muset souhlasit s backdoorami, které účinně omezí soukromí na hostitele, který nebude moci vidět klientovy úkoly během běhu; místo toho by se vrácená inferenční data zpřístupnila prostřednictvím vládních agentur man-in-the-middle (MiTM) struktur, aby se uchovalo inference auditovatelné.

Předpokládá se, že pokud by se vlna nových zákonů navrhujících OS-úroveň identifikačních kontrol někdy stala široce přijímanou, taková opatření by mohla být zbytečná. Ale bez nich, s ohledem na současnou situaci, by se síť stylu DarkBloom pravděpodobně považovala za AI ‘darknet’, kde by mohly probíhat nelegální AI-založené aktivity v tajnosti.

Testy rozdělení

Do dnešního dne existovalo překvapivě málo skutečných pokusů udělat to, co systém ‘PiedPiper-style’ naznačuje; sám DarkBloom sedí na jednom extrému, distribuuje kompletní úkoly na jednotlivé stroje, místo toho, aby se pokusil fragmentovat je napříč sítí, zatímco většina produkčních systémů jednoduše se vyhnout problému úplně tím, že drží inference na jednom hostiteli.

Existuje však několik projektů, které reprezentují něco trochu bližší ‘sdílené exekuci’.

Petals, který aktivně popisuje sám sebe jako ‘BitTorrent-style’ síť, distribuuje transformer bloky napříč několika internetově propojenými uzly, předávajícími mezistavové stavy mezi nimi:

Typický Petals workflow, kde je jeden inferenční požadavek směrován napříč několika vzdálenými GPU, každý držící podmnožinu modelových vrstev; na rozdíl od DarkBloom, exekuce je fragmentována napříč sítí, s mezistavovými stavy předávanými mezi nezávisle provozovanými uzly, zvyšující latenci a expozici na každém skoku, zatímco aproximuje pravou mesh-style systém. Zdroj

Hivemind experimentuje s podobnou peer-to-peer koordinací a expertní navigací, ačkoli ve službě trénování modelů spíše než inference z již trénovaných modelů; a Lattica se zaměřuje na základní síťovou vrstvu potřebnou pro učinění takových systémů životaschopnými:

Schematický diagram Lattica, ukazující nižší úroveň peer-to-peer substrátu, který zajišťuje NAT traversal, obsahovou distribuci a DHT-based koordinaci (Distributed Hash Table), s sharded inference vznikající pouze jako jedna možná aplikační vrstva; na rozdíl od DarkBloom nebo Petals, Lattica sama o sobě nedefinuje inferenční systém, ale poskytuje síťové a synchronizační prvky potřebné pro jeho výstavbu. Zdroj –

Všechny tři modely se blíží ideálu mesh, ale za cenu latence, nestability a expozice.

Naproti tomu exo drží inference uvnitř lokální clusteru, využívající rychlé interconnecty k rozdělení zátěže napříč GPU, bez závislosti na veřejném internetu. V praxi se tento typ nastavení chová méně jako distribuovaná mesh a více jako jeden prodloužený stroj, ačkoli existuje jasná možnost prodloužit tento přístup na širší síť:

Cluster pohled z exo, ukazující malý kruh místních Apple Silicon strojů, které společně hostují jeden model, s pipeline nebo tensor sharding distribuující vrstvy napříč uzly; na rozdíl od WAN-založených systémů, exo spoléhá na rychlé lokální interconnecty, efektivní přeměnu několika zařízení na jeden kompozitní inferenční stroj. Zdroj

Nakonec, několik běžně citovaných přístupů se vůbec nezabývá inferencí: nyní již starý (2016) Google FedAvg; MIT’s 2018 SplitNN; a australská nabídka z roku 2020 SplitFed, se zabývají distribucí trénování nebo výměnou dat, spíše než službou pro živé inferenční požadavky.

Jelikož trénování je mnohem více náročné než inference, jakékoli sítě, které prokáží schopnost distribuovat takovou zátěž efektivně, by mohly mít nepřiměřený podíl na zájmu hobbyistů a podniků později.

Závěr

Protože většina technologií v Silicon Valley byla divokou invencí, nevíme, zda PiedPiper byl skutečně hash-driven (tj. rozdělující a distribuující data do chunků, torrent-style), nebo zda ‘řešil’ úkol nebo relaci na kterémkoli uzlu v kterémkoli okamžiku, což je to, co DarkBloom dělá.

Však, současný chaos při poskytování trénování a inferenčního hardwaru na úrovni datových center naznačuje, že sektor poskytování očekává, že bude sloužit všem, RunPod-style, nebo se chystá na nejvýnosnější firemní úroveň – lákavá perspektiva podkopaná obecným nedostatkem moatů v AI nasazení.

Jestliže se mesh-inference stane realitou, je rozumné očekávat, že mezi prvními pokusy o využití jej budou ty od stávajících hráčů, jako jsou OpenAI a Anthropic, kteří by mohli nasadit dedikované systémy uvnitř masivní stávající instalované základny, nebo spolupracovat na open-source systémech, které jsou snadné nainstalovat (protože společnosti této velikosti a dosahu mají peníze a motivaci pro zjednodušení obtížných instalací tohoto typu).

Jestliže by mohla vzniknout více demokratická, uživatelsky řízená mesh síť, pravý AI ekvivalent BitTorrentu – řada faktorů je proti ní.

První, současný globální tlak proti šifrování a anonymitě by mohl odstranit nebo podkopat mnoho mechanismů, které činí systémy, jako je BitTorrent, anonymními, jako je koncové šifrování a VPN. Jakmile budou ‘obecné’ šifrované proudy skrývající tyto protokoly otevřeny k inspekci, nové vrstvy dohledu a zákazu se stanou možné, a to by mohlo podkopat atraktivitu systému stylu DarkBloom.

Druhý, vznikající nebo navrhované regulace proti ‘zneužívání’ AI, nebo proti anonymnímu provozu open-source frameworků, znamenají, že náklady na dodržování předpisů – zanedbatelné na firemní úrovni – by pravděpodobně odstranily menší hráče z trhu.

Nakonec, síla hlavního hráče v odvětví k Embrace, Extend a Extinguish (EEE, jako Facebook a Twitter zřejmě udělali s více ad hoc internetovými komunitami), znamená, že současné hlavní hráče mohou operacionalizovat a streamovat mesh model k vlastnímu prospěchu, na trhu, kde koncoví uživatelé jsou téměř totalement netolerantní k jakékoli tření v adopci.

Poprvé publikováno ve čtvrtek, 16. dubna 2026