Usługi inferencji decentralizowane w stylu PiedPiper dla AI?

Czy “BitTorrent dla AI” jest możliwością nieodległą?

Opinia Przeczytałem wczoraj reżyserską i kwasną satyrę technologiczną Mike’a Judge’a Dolina Krzemowa – w której grupa społecznie niezdarnych geniuszy próbuje stworzyć “nowy internet” zwany PiedPiper, za pomocą sieci siatkowej zainstalowanej na telefonach komórkowych każdego – i był zainteresowany tym, że społeczność HN zajmuje się nową ofertą podobnej natury.

Eigen Labs’ DarkBloom znajduje się gdzieś pomiędzy egalitarnym pojęciem zdecentralizowanej sieci siatkowej dla inferencji AI, a motywami związanymi z kryptominerstwem, pozwalając właścicielom systemów Apple Silicon Mac na przekształcenie swojego sprzętu w węzeł inferencyjny:

Z sekcji Earnings strony DarkBloom, użytkownicy mogą wybrać, jakie urządzenia chcą wynająć i jakie modele AI chcą wspierać. Źródło

System koncentruje się obecnie na modelach opartych na tekście, takich jak agenty Trinity Mini (3B) i Cohere Transcribe, chociaż oferuje również różnorodne modele generujące obrazy, takie jak FLUX 2 Klein 4B:

Zakres modeli, z których “wynajmujący” może wybrać, wraz z miesięcznymi prognozowanymi zarobkami.

Użytkownicy biorący udział w schemacie mogą zarobić wystarczająco pieniędzy w ciągu jednego miesiąca, aby regularnie dodać nowy Mac do coraz większego łańcucha, aż w końcu będą mogli zarobić pełnoprawną farmę inferencyjną.

Efektywnie, taki system, który rzeczywiście zyskałby popularność (obecnie ma problem z cold startem), mógłby wprowadzić entuzjastycznych użytkowników w stan poszukiwania sprzętu, jak to miało miejsce podczas ostatniego wielkiego boomu kryptowalut (i późniejszego krachu).

Nie tak szybko

Jednak dla małych graczy statek może już odpłynąć. Poza apokaliptycznym zapotrzebowaniem AI na pamięć RAM, popyt na wyposażenie centrów danych w AI na poziomie globalnym nadal zwiększa koszty sprzętu i usług dla zwykłych konsumentów, którzy wcześniej mogli monopolizować pamięć RAM do kryptominerstwa, ze względu na charakter peryferyjny tej działalności, a także niepewność regulacyjną, która powstrzymywała interesy biznesowe od kryptowalut.

Pomimo tego, że super-tani MacBook Neo pojawił się jako alternatywa dla rosnących kosztów sprzętu, jego chip A18 i 8 GB pamięci VRAM nie stawiają go w poważnej konkurencji jako maszyny inferencyjnej.

Jednak nawet jeśli użytkownik końcowy nie szuka rozpoczęcia pełnej farmy inferencyjnej, a tylko chce wynająć swoją nie używaną pojemność M[n], potencjalne zarobki wydają się znaczące, jeśli problem cold startu szybko się rozwiązuje, a platforma zacznie reklamować się jako coś więcej niż ciekawy eksperyment w potencjalnym popycie.

Inferuj inaczej

Chociaż wielu komentatorów rozpoznało w schemacie DarkBloom demokrację w stylu PiedPiper/Torrent, zadania inferencyjne nie są tak łatwo dzielne, jak fragmentacja pliku wideo na wiele zahashowanych fragmentów, aby później można było go złożyć w kliencie torrentowym.

Model DarkBloom nie proponuje, aby węzeł uczestnika x% zadania inferencyjnego. W użyciu mainstreamowym tylko niewielka liczba frameworków lub metodologii może osiągnąć tego rodzaju wykorzystanie cross-GPU na pojedynczym zadaniu inferencyjnym, w tym TensorRT LLM Nvidii, który wykorzystuje pipeline parallelism; oraz sharded inference DeepSpeed, który wykorzystuje model parallelism (MP).

Zamiast tego, DarkBloom umożliwia pobranie i uruchomienie jednego z wymienionych modeli i wykonanie 100% inferencji dla płacących użytkowników, z szyfrowaniem end-to-end, a prompty są odszyfrowywane tylko na węzłach poświadczonych przez sprzęt, co oznacza, że dostawcy nie będą mogli odczytać danych podczas wykonywania. Obciążenie samo w sobie będzie stanowiło jedno lub więcej inferencji opartych na tekście, lub co najmniej jeden kompletny obraz.

Nie jest jasne, jak rozległe będzie pojedyncza sesja użytkownika; jak na razie, hobbystowie AI są przyzwyczajeni do zabezpieczania GPU za pomocą farm inferencyjnych, takich jak RunPod; chociaż może to potrwać trochę czasu, aby zabezpieczyć pożądane GPU podczas szczytu, użytkownik może zmonopolizować je tak długo, jak sesja nie zostanie przerwana.

Więc jest możliwe, że jeden płacący użytkownik mógłby skorzystać z jednego wynajmowanego Maca DarkBloom z możliwościami AI M-series na bardzo długą sesję, chyba że istnieje jakiś logistyczny lub zgodny z prawem korzyść w przewijaniu klientów między żądaniami.

Maki zostały wybrane do tego podejścia, ponieważ istnieje tylko ograniczona liczba możliwych konfiguracji technicznych dla uczestnika, i dlatego łatwo jest przypisać odpowiednio rozmiarowe modele do klienta.

Ponadto, Maki, które mogą przyczyniać się do sieci DarkBloom, mają bezpieczną enklawę, która gwarantuje mur między użytkownikiem a dostawcą.

To są wszystkie czynniki, które nie są tak łatwe do uzasadnienia w przypadku bardziej ogólnych, niestandardowych konfiguracji, i w przypadku setek lub tysięcy znanych laptopów i komputerów stacjonarnych z systemem Windows i Linux dostępnych w ciągu ostatnich 6-7 lat.

Jednak musi być oczywiste, że znacznie większy basen sprzętu nie-Mac mógłby pomieścić ogromny popyt, gdyby jego różnorodne cechy mogły być uzasadnione, zamiast – jak w przypadku DarkBloom – jazdy na ograniczonych specyfikacjach Apple, co stanowi łatwą propozycję biznesową i (prawdopodobnie) o wiele łatwiejsze podejście architektoniczne.

Nadzór prawny?

Być może największym problemem dla “demokratycznego” rozwiązania tego rodzaju jest zamknięta natura proponowanego procesu; rządy na całym świecie są obecnie zaangażowane w nowe ustawodawstwo, które skutecznie zakończyłoby anonimowość internetową wszędzie, gdzie zostało wprowadzone, i są wyraźnie nie w pro-prywatnym nastawieniu w tym okresie.

W związku z tym perspektywa losowej inferencji AI wykonywanej bez filtrów, kontroli lub równowagi, w rozproszonej sieci (jeśli można to nazwać siecią DarkBloom – jest to raczej rynek inferencyjny), wydaje się ironicznie odległa.

Możliwe, że DarkBloom lub inne późniejsze schematy siatkowych inferencji będą musiały zgodzić się na backdoor, które skutecznie ograniczą prywatność do hosta, który nie będzie mógł zobaczyć jobów klientów; zamiast tego, zwrócona inferencyjna dane będą dostępne za pośrednictwem struktur rządowych man-in-the-middle (MiTM), utrzymując wszystkie inferencje audytowalne.

Prawdopodobnie, jeśli seria nowych ustaw proponujących kontrolę tożsamości na poziomie systemu operacyjnego kiedykolwiek zyska szerokie przyjęcie, takie środki mogą stać się zbędne. Ale bez nich, biorąc pod uwagę bieżący klimat, sieć w stylu DarkBloom byłaby prawdopodobnie uważana za rodzaj AI “darknetu”, gdzie nielegalne działania oparte na AI mogą występować w tajemnicy.

Testy podzielone

Do tej pory było niespodziewanie niewiele prawdziwych prób zrobienia tego, co system “w stylu PiedPiper” sugeruje; DarkBloom sam w sobie siedzi na jednym krańcu, rozdzielając pełne zadania na poszczególne maszyny, zamiast próbować fragmentować je w sieci, podczas gdy większość systemów produkcyjnych po prostu unika problemu, trzymając inferencję na jednym hoście.

Istnieją jednak garstka projektów, które reprezentują coś nieco bliższego “wspólnej wykonywania”.

Petals, który aktywnie opisuje się jako “sieć w stylu BitTorrent”, rozdziela bloki transformatorek na wiele węzłów połączonych z internetem, przechodząc stany pośrednie między nimi:

Typowy przepływ pracy Petals, gdzie pojedyncze żądanie inferencji jest routowane przez wiele zdalnych GPU, każdy z nich trzyma podzbiór warstw modelu; w przeciwieństwie do DarkBloom, wykonanie jest fragmentowane w sieci, ze stanami pośrednimi przechodzącymi między niezależnie operowanymi węzłami, zwiększając opóźnienie i narażenie na każdym skoku, przybliżając prawdziwy system siatkowy. Źródło

Hivemind eksperymentuje z podobną koordynacją peer-to-peer i routingiem ekspertów, chociaż w celu szkolenia modeli, a nie inferencji z już wytrenowanych modeli; i Lattica koncentruje się na podstawowej warstwie sieciowej niezbędnej do uczynienia takich systemów wykonalnymi:

Schemat Lattica, pokazujący niższą warstwę peer-to-peer, która obsługuje NAT traversal, dystrybucję zawartości i koordynację opartą na DHT, z sharded inference pojawiającą się tylko jako jeden możliwy warstwa aplikacji; w przeciwieństwie do DarkBloom lub Petals, Lattica nie definiuje samej sieci inferencyjnej, ale zapewnia prymitywy sieciowe i synchronizacji wymagane do budowy jednej. Źródło

Wszystkie trzy modele zbliżają się do ideału siatkowego, ale za cenę opóźnienia, niestabilności i narażenia.

Exo trzyma inferencję w lokalnym klastrze, używając szybkich połączeń do podziału obciążeń na GPU, bez polegania na publicznym Internecie. W praktyce, tego rodzaju ustawienie zachowuje się mniej jak rozproszona siatka, a bardziej jak pojedyncza, rozszerzona maszyna, chociaż istnieje wyraźna możliwość rozszerzenia tego podejścia na szerszą sieć:

Widok klastra z exo, pokazujący mały pierścień lokalnych maszyn Apple Silicon, które wspólnie hostują jeden model, z pipeline lub tensor sharding, który rozdziela warstwy na węzły; w przeciwieństwie do systemów WAN, exo polega na szybkich lokalnych połączeniach, skutecznie zmieniając wiele urządzeń w jedną kompozytową maszynę inferencyjną. Źródło

W końcu, kilka powszechnie cytowanych podejść nie dotyczy inferencji w ogóle: teraz szanowany (2016) FedAvg Google; wypuszczony w 2018 roku SplitNN MIT; i australijska propozycja z 2020 roku SplitFed, dotyczą one dystrybucji szkolenia lub wymiany danych z zachowaniem prywatności, a nie obsługi aktywnych żądań inferencyjnych.

Ponieważ szkolenie jest o wiele bardziej wymagające niż inferencja, jakiekolwiek sieci, które udowodnią, że mogą rozdzielić takie obciążenie skutecznie, mogą zyskać nieproporcjonalnie duże zainteresowanie hobbystów i firm w przyszłości.

Podsumowanie

Ponieważ wiele technologii w Dolinie Krzemowej było dziką wymysłem, nie wiemy, czy PiedPiper był naprawdę sterowany przez hashe (tj. dzielił i dystrybuował dane w stylu torrentowym), czy też “rozwiązał” zadanie lub sesję na dowolnym węźle w dowolnym momencie, co to robi DarkBloom.

Jednakże obecny pośpiech, aby dostarczyć sprzęt szkoleniowy i inferencyjny na poziomie centrów danych, wskazuje, że sektor dostawców albo spodziewa się obsłużyć wszystkich, w stylu RunPod, albo przygotowuje się do najbardziej lukratywnego poziomu przedsiębiorstw, co jest kuszącą perspektywą podkopaną przez ogólny brak fos w wdrożeniu AI.

Jeśli sieć inferencyjna stanie się rzeczywistością, jest rozsądnie oczekiwać, że wśród pierwszych prób wykorzystania jej będą najwięksi gracze, tacy jak OpenAI i Anthropic, którzy albo wdrożą dedykowane systemy w ramach ogromnej bazy zainstalowanych aplikacji, albo współpracują z otwartymi systemami, które są łatwe do zainstalowania (ponieważ firmy o tym rozmiarze i zasięgu mają pieniądze i motywację, aby uproszczać trudne instalacje tego typu).

Co do tego, czy bardziej demokratyczna, użytkownikowa sieć siatkowa może się wyłonić, prawdziwy odpowiednik AI dla BitTorrentu – kilka czynników jest skierowanych przeciwko niemu.

Po pierwsze, obecny globalny trend przeciwko szyfrowaniu i anonimowości może usunąć lub podważyć wiele mechanizmów, które sprawiają, że systemy takie jak BitTorrent są anonimowe, takie jak szyfrowanie end-to-end i VPN. Gdy “generyczne” zaszyfrowane strumienie ukrywające takie protokoły będą otwarte do inspekcji, nowe warstwy nadzoru i prohibicji staną się możliwe, i to może podważyć atrakcyjność systemu w stylu DarkBloom.

Po drugie, pojawiające się lub proponowane regulacje przeciwko “nadużyciom” AI lub przeciwko anonimowemu działaniu otwartych frameworków oznaczają, że koszt zgodności – trywialny na poziomie przedsiębiorstw – prawdopodobnie usunie mniejszych graczy z rynku.

W końcu – siła dużego gracza, aby objąć, rozszerzyć i wyeliminować (EEE, jak to zrobiły Facebook i Twitter z bardziej ad hoc społecznościami internetowymi), oznacza, że obecni główni gracze mogą operacjonalizować i uproszczać model siatkowy do własnej korzyści, na rynku, gdzie użytkownicy końcowi są prawie całkowicie nietolerancyjni wobec jakiegokolwiek tarcia w przyjęciu.

Pierwotnie opublikowane w czwartek, 16 kwietnia 2026