Servicii de Inferență Decentralizate în Stil PiedPiper pentru IA?

Este o posibilitate iminentă “BitTorrent pentru IA”?

Opinie După ce ieri am terminat de revăzut satira tehnică și acidă a lui Mike Judge, Silicon Valley – în care un grup de genii tehnice cu deficiențe sociale încearcă să creeze un “nou internet” numit PiedPiper, prin intermediul unei rețele mesh instalate pe toate telefoanele mobile – am fost interesat să văd comunitatea HN implicată într-o nouă ofertă de acest fel.

Laboratoarele Eigen au lansat DarkBloom, care se situează undeva între noțiunea egalitară a unei rețele mesh descentralizate pentru inferență IA și motivele de profit din crypto-mining, permițând proprietarilor de sisteme Mac cu Apple Silicon să-și transforme echipamentele în noduri de inferență:

Din secțiunea de câștiguri a site-ului DarkBloom, utilizatorii pot selecta care echipamente doresc să le închirieze și care modele de IA doresc să le susțină. Sursă

Sistemul se concentrează în prezent pe modele textuale, cum ar fi Trinity Mini (3B) și Cohere Transcribe, deși oferă și diverse modele de generare de imagini, cum ar fi FLUX 2 Klein 4B:

Gama de modele din care “proprietarul” poate alege să le închirieze, împreună cu câștigurile lunare estimate.

Utilizatorii care participă la schemă pot câștiga suficient de mulți bani într-o lună solidă de furnizare a inferenței pentru a putea adăuga regulat un nou Mac unei lanțuri în creștere, până când, în teorie, pot câștiga o fermă de inferență completă.

În esență, o schemă de acest fel care ar câștiga cu adevărat popularitate (are o problemă de “pornire rece” în acest moment) ar putea pune utilizatorii entuziaști înapoi într-o poziție de căutare a hardware-ului, așa cum s-a întâmplat în ultimul boom al criptomonedelor (și prăbușirea ulterioară).

Nu Atât De Repede

Cu toate acestea, pentru “micile” jucători, acea barcă poate fi plecată. Pe lângă nevoia apocaliptică a IA pentru RAM, cererea de echipamente pentru centre de date cu IA continuă să crească costurile hardware și serviciilor pentru consumatorul obișnuit, care anterior putea monopoliza RAM pentru crypto-mining, datorită naturii periferice a activității, precum și incertitudinii regulatorii, care a ținut interesele comerciale circumspecte cu privire la criptomonede.

În timp ce MacBook Neo a apărut ca o alternativă care bate crunch-ul la hardware în creștere, cipul său mobil A18 și 8 GB de VRAM nu îl pun într-o poziție serioasă de concurență ca mașină de inferență.

Dar chiar dacă utilizatorul final nu încearcă să înceapă o fermă de inferență completă și doar dorește să închirieze capacitatea sa curentă neutilizată M[n], câștigurile potențiale par semnificative, dacă problema de “pornire rece” se rezolvă rapid și dacă platforma începe să se promoveze ca mai mult decât un experiment curios în cerere potențială.

Inferență Diferită

Deși mulți comentatori au recunoscut o “democrație” de tip PiedPiper/Torrent în schema DarkBloom, sarcinile de inferență nu sunt la fel de ușor de divizat ca fragmentarea unui fișier de film în multiple fragmente hash-ate, astfel încât să poată fi reasamblat mai târziu într-un client de torrent.

Modelul DarkBloom nu propune ca un participant să își utilizeze cipul M[n] pentru a gestiona x% dintr-o sarcină de inferență. În utilizarea mainstream, doar câteva cadre sau metodologii pot realiza acest tip de utilizare transversală a GPU-urilor pe o singură sarcină de inferență, incluzând TensorRT LLM de la NVIDIA, care utilizează paralelismul pipeline-ului; și inferența shard-uită de la DeepSpeed, care folosește paralelismul modelului (MP).

În schimb, Mac-ul dvs. DarkBloom ar descărca și ar porni unul dintre modelele enumerate și ar efectua 100% din inferență pentru utilizatorii care plătesc, cu criptare de la capăt la capăt și cu prompturi decriptate doar pe noduri atestate de hardware, ceea ce înseamnă că furnizorii nu ar putea citi datele în timpul executării. Încărcarea în sine ar constitui una sau mai multe inferențe textuale, sau cel puțin o imagine completă.

Nu este clar cât de extinsă ar fi o singură sesiune de utilizator; așa cum stă treaba, entuziaștii IA sunt obișnuiți să obțină un GPU prin intermediul fermelor de inferență, cum ar fi RunPod; deși poate dura ceva timp pentru a obține GPU-ul dorit la utilizare de vârf, utilizatorul îl poate monopoliza atâta timp cât sesiunea nu este lăsată să expire.

Prin urmare, este posibil ca un singur utilizator care plătește să folosească o singură mașină Mac închiriată DarkBloom pentru o sesiune foarte lungă, cu excepția cazului în care există un avantaj logistic sau de conformitate în a schimba clienții între solicitări.

Mașinile Mac au fost selectate pentru această abordare, aparent, pentru că există doar un număr limitat de configurații tehnice posibile pentru un participant, și este, prin urmare, ușor de alocat modele de dimensiuni adecvate unui client.

În plus, mașinile Mac capabile să contribuie la o rețea DarkBloom au un mediu securizat care garantează un zid între utilizator și furnizor.

Acestea sunt factori care nu sunt atât de ușor de raționalizat în configurații mai generice și personalizate, și în sutele sau mii de laptopuri și computere desktop Windows și Linux disponibile în ultimii 6-7 ani.

Cu toate acestea, trebuie să fie evident că pool-ul mult mai mare de hardware non-Mac ar putea găzdui o cerere uriașă dacă caracteristicile sale diverse ar putea fi raționalizate, în loc de a se baza – așa cum face DarkBloom – pe seturile de specificații limitate ale Apple, ceea ce face o afacere ușoară și o abordare arhitecturală (presupunând) mult mai ușoară.

Supraveghere Juridică?

Poate cea mai mare problemă cu care se confruntă o soluție “democratică” de acest fel este natura închisă a procesului propus; guvernele din întreaga lume sunt în prezent implicate în legislație nouă care ar pune capăt efectiv anonimității pe internet acolo unde este instituită, și este clar că nu sunt într-o mentalitate pro-privacie în această perioadă.

Prin urmare, perspectiva unei inferențe IA arbitrare efectuate fără filtre, verificări sau echilibre, pe o rețea distribuită (dacă putem numi DarkBloom astfel – este mai mult o piață de inferență) pare, ironic, îndepărtată.

Este posibil ca DarkBloom, sau alte scheme de rețea mesh de inferență ulterioară, să fie nevoite să accepte “uși de service” care restricționează efectiv confidențialitatea la gazdă, care nu va putea vedea sarcinile clienților în execuție; în schimb, datele de inferență returnate ar fi puse la dispoziție prin structuri de agenție guvernamentală “man-in-the-middle” (MiTM), păstrând toate inferențele auditabile.

Presupunând că valul de legi noi care propun verificări de identitate la nivel de sistem de operare ar ajunge vreodată la adoptare pe scară largă, astfel de măsuri ar putea deveni redundante. Dar fără ele, luând în considerare climatul actual, o rețea de tip DarkBloom ar fi probabil considerată similară unei “rețele întunecate” IA, unde activitățile ilegale bazate pe IA ar putea avea loc în secret.

Teste Împărțite

Până în prezent, au existat surprinzător de puține încercări reale de a face ceea ce implică un sistem “de tip PiedPiper”; DarkBloom se situează la o extremă, distribuind sarcini complete către mașini individuale, mai degrabă decât încercând să le fragmenteze pe o rețea, în timp ce majoritatea sistemelor de producție evită pur și simplu problema, păstrând inferența pe un singur gazdă.

Există, totuși, câteva proiecte care reprezintă ceva mai aproape de “execuție partajată”.

Petals, care își descrie activ ca o rețea “de tip BitTorrent”, distribuie blocuri de transformatori pe multiple noduri conectate la internet, trecând stări intermediare între ele:

O flux de lucru tipic Petals, în care o singură solicitare de inferență este rutată prin multiple GPU-uri remote, fiecare ținând un subset de straturi de model; spre deosebire de DarkBloom, execuția este fragmentată pe rețea, cu stări intermediare trecute între noduri operate independent, crește latența și expunerea la fiecare salt, aproximând un sistem de tip mesh adevărat. Sursă

Hivemind experimentează cu coordonarea peer-to-peer similară și rutare expert, deși în serviciul antrenării modelelor, mai degrabă decât inferenței de la modele deja antrenate; și Lattica se concentrează pe stratul de rețea subiacent necesar pentru a face astfel de sisteme viabile:

O schemă a Lattica, arătând un substrat peer-to-peer de nivel inferior care gestionează traversarea NAT, distribuția de conținut și coordonarea DHT, cu inferență shard-uită emergând doar ca o posibilă aplicație; spre deosebire de DarkBloom sau Petals, Lattica nu definește un sistem de inferență în sine, ci oferă primitivele de rețea și sincronizare necesare pentru a construi unul. Sursă

Toate aceste modele se apropie de idealul mesh, dar la costul latenței, instabilității și expunerii.

În schimb, exo păstrează inferența într-un cluster local, folosind interconectări rapide pentru a divide sarcinile de lucru pe GPU-uri, fără a se baza pe internetul public. În practică, acest tip de configurație se comportă mai mult ca o mașină extinsă și mai puțin ca o rețea mesh distribuită, deși există o posibilitate clară de a extinde această abordare pe o rețea mai largă:

O vedere a clusterului din exo, arătând un inel mic de mașini Apple Silicon locale care găzduiesc împreună un singur model, cu pipeline sau shard-uire a straturilor distribuite pe noduri; spre deosebire de sistemele bazate pe WAN, exo se bazează pe interconectări locale rapide, transformând efectiv multiple dispozitive într-o singură mașină de inferență compozită. Sursă

În cele din urmă, câteva abordări des citate nu abordează inferența deloc: vechiul (2016) FedAvg de la Google; SplitNN de la MIT din 2018; și SplitFed din 2020 din Australia, care se ocupă de distribuția antrenării sau de schimbul de date cu protecție a confidențialității, mai degrabă decât de servirea solicitărilor de inferență live.

Deoarece antrenarea este o perspectivă mult mai intensivă din punct de vedere al resurselor decât inferența, orice rețele care demonstrează că pot distribui o astfel de sarcin eficient, pe cluster sau noduri, ar putea avea un interes disproporționat din partea entuziaștilor și a afacerilor mai târziu.

Concluzie

Deoarece o mare parte din tehnologia din Silicon Valley a fost o invenție sălbatică, nu știm dacă PiedPiper a fost cu adevărat condus de hash (adică, divizând și distribuind date în fragmente, de tip torrent) sau dacă a “stabilit” o sarcină sau o sesiune pe orice nod la orice moment, ceea ce face DarkBloom.

În prezent, agitația pentru a furniza hardware de antrenare și inferență la nivelul centrelor de date indică faptul că sectorul de furnizare se așteaptă să deservească pe toată lumea, în stilul RunPod, sau se pregătește pentru nivelul de furnizare la nivel de întreprindere, o perspectivă tentantă subminată de lipsa generală a “șanțurilor” în implementarea IA.

Dacă inferența mesh devine o realitate, este rezonabil să ne așteptăm ca printre primele încercări de a o exploata vor fi cele ale jucătorilor already existenți, cum ar fi OpenAI și Anthropic, care ar putea fie să implementeze sisteme dedicate într-o bază de aplicații masivă existentă, fie să colaboreze la sisteme open source care sunt ușor de instalat (deoarece companiile de această dimensiune și rază au banii și motivația de a simplifica instalațiile dificile de acest tip).

În ceea ce privește posibilitatea ca o rețea mesh de tip “democratic”, condusă de utilizatori, să apară, un număr de factori se împotrivesc. În primul rând, actuala ofensivă globală împotriva criptării și a anonimității ar putea elimina sau submina multe dintre mecanismele care fac sistemele precum BitTorrent anonime, cum ar fi criptarea de la capăt la capăt și rețelele VPN. Odată ce “fluxurile” generice criptate care ascund astfel de protocoale sunt deschise pentru inspectare, noi straturi de supraveghere și interzicere devin posibile, și acest lucru ar putea submina atracția unei scheme de tip DarkBloom.

În al doilea rând, reglementările emergente sau propuse împotriva “abuzului” de IA sau a funcționării anonime a cadrelor open source înseamnă că costul conformității – nesemnificativ la nivel de întreprindere – ar scoate probabil jucătorii mai mici de pe piață.

În cele din urmă, puterea unui jucător major din sector de a îmbrățișa, extinde și stinge (EEE, așa cum au făcut Facebook și Twitter cu comunitățile internet mai puțin formale), înseamnă că jucătorii majori actuali pot operaționaliza și simplifica modelul mesh în avantajul lor, pe o piață în care utilizatorii finali sunt aproape total intoleranți la orice fricțiune în adoptare.

Publicat pentru prima dată joi, 16 aprilie 2026