PiedPiper-Style Децентралізовані Служби Інференції для Штучного Інтелекту?

Чи є ‘BitTorrent для Штучного Інтелекту’ близькою можливістю?

Опінія Відразу після того, як вчора закінчив перегляд розважального і гострого сатиричного серіалу Майка Джаджа Долина Кремнієва – в якому група соціально-непритаманних геніальних геїв намагається створити ‘новий інтернет’ під назвою PiedPiper, через мережу-меш, встановлену на всіх мобільних телефонах – мене цікавило побачити, як спільнота HN взаємодіє з новою пропозицією подібного характеру.

Eigen Labs’ DarkBloom знаходиться десь між рівноправною ідеєю децентралізованої мережі-меш для інференції штучного інтелекту та мотивами криптовалютного майнінгу, дозволяючи власникам систем Apple Silicon Mac перетворити свої пристрої на вузол інференції:

З розділу ‘Доходи’ сайту DarkBloom користувачі можуть вибрати, яке обладнання вони бажають орендувати, та які моделі штучного інтелекту вони бажають підтримувати. Джерело

Система зараз зосереджується на текстових моделях, таких як агентська Trinity Mini (3B) і Cohere Transcribe, хоча також пропонує різноманітні моделі генерації зображень, такі як FLUX 2 Klein 4B:

Асортимент моделей, з яких ‘ландлорд’ може вибрати для оренди, разом з передбачуваними щомісячними прибутками.

Користувачі, які беруть участь у схемі, можуть, як кажуть, заробити достатньо грошей за місяць надання інференції, щоб регулярно додавати новий Mac до все зростаючої ланцюга, поки, в теорії, вони не зможуть заробити повноцінну ферму інференції.

Ефективно, схема такого типу, яка справді набула б популярності (вона має проблему холодного старту зараз) могла б повернути ентузіастів-користувачів до пошуку апаратного забезпечення, як під час останнього великого буму криптовалют (і пізнішого краху).

Не Так Швидко

Однак, для малих хлопців, той корабель може вже пливти. Окрім апокаліптичної потреби штучного інтелекту в оперативній пам’яті, попит на глобальне обладнання центрів даних, оснащених штучним інтелектом, продовжує збільшувати вартість обладнання та послуг для звичайного споживача, який раніше міг монополізувати оперативну пам’ять для криптовалютного майнінгу через периферійний характер діяльності, а також через регуляторну нестачу, яка утримувала бізнес-інтереси обережними щодо криптовалют.

Хоча надзвичайно дешевий MacBook Neo з’явився як альтернатива для побиття апаратного забезпечення, його мобільний чіп A18 і 8 ГБ відеопам’яті не ставлять його в серйозну конкуренцію як машину інференції.

Але навіть якщо кінцевий користувач не намагається створити повноцінну ферму інференції, а просто хоче орендувати свою поточну незайману потужність M[n], потенційні прибутки здаються суттєвими, якщо проблема холодного старту швидко вирішиться, і якщо платформа починає рекламувати себе як щось більше, ніж цікавий експеримент у потенційному попиті.

Інферувати Інакше

Хоча низка коментаторів визнала демократію типу PiedPiper/Torrent у схемі DarkBloom, завдання інференції не так легко дільні, як фрагментація файлу фільму на кілька хешованих скиб, щоб пізніше зібрати його в клієнті торрента.

Модель DarkBloom не пропонує, щоб процесор M[n] учасника обробляв x% завдання інференції. У загальному використанні лише кілька фреймворків або методологій можуть досягти такого типу використання декількох GPU на одному завданні інференції, включаючи TensorRT LLM від NVIDIA, який використовує паралелізм конвеєра; і шардну інференцію DeepSpeed, яка використовує паралелізм моделі (MP).

Натомість ваш Mac, активований DarkBloom, завантажить і запустить одну з перерахованих моделей і виконає 100% інференції для платних користувачів, з кінцевим шифруванням, і з запитами, розшифрованими лише на апаратних атестованих вузлах, що означає, що постачальники не зможуть прочитати дані під час виконання. Сама робоча нагрузка складатиметься з одного або декількох текстових інференцій, або принаймні однієї повної зображення.

Неясно, наскільки об’ємною буде одна сесія користувача; оскільки зараз ентузіасти штучного інтелекту звикли забезпечувати GPU через ферми інференції, такі як RunPod; хоча це може зайняти деякий час, щоб забезпечити бажаний GPU на піку використання, користувач отримує можливість монополізувати його, поки сесія не закінчиться.

Юридичний Надзор?

Можливо, найбільшою проблемою для ‘демократичного’ рішення такого типу є закритий характер запропонованого процесу; уряди світу зараз зайняті новими законодавчими актами, які більш-менш закінчать інтернет-анонімність там, де вони будуть прийняті, і явно не знаходяться в про-privacy настрої в цей період.

Отже, перспектива випадкової інференції штучного інтелекту, виконуваної без фільтрів, перевірок чи балансів, по розподіленій мережі (якщо ви можете назвати DarkBloom такою – це більше ринку інференції) здається, іронічно, віддаленою.

Можливо, DarkBloom або інші наступні схеми інференції-меші повинні погодитися на бекдори, які ефективно обмежують приватність для хоста, який не зможе бачити завдання клієнтів; натомість повернуті дані інференції будуть доступні через структури уряду-між посередником (MiTM), роблячи всю інференцію аудитуємою.

Принаймні, якщо нові закони пропонують перевірки ідентифікації на рівні операційної системи колись набудуть широкого поширення, такі заходи можуть стати зайвими. Але без них, враховуючи поточний клімат, мережа типу DarkBloom, ймовірно, буде вважатися подібною до ‘темної мережі’ штучного інтелекту, де можуть відбуватися незаконні діяльності на основі штучного інтелекту в секреті.

Тестування Розщеплення

На сьогодні було небагато справжніх спроб зробити те, що система ‘типу PiedPiper’ припускає; сама DarkBloom знаходиться на одному кінці, розподіляючи повні завдання на окремі машини, а не намагаючись фрагментувати їх по мережі, тоді як більшість систем виробництва просто уникають цю проблему, тримаючи інференцію на одному хості.

Є, однак, кілька проєктів, які представляють щось ближче до ‘спільної виконавчої системи’.

Petals, який активно описує себе як ‘систему типу BitTorrent’, розподіляє блоки трансформера по декількох інтернет-з’єднаних вузлах, передаючи проміжні стани між ними:

Типовий робочий процес Petals, де один запит інференції маршрутизується по декількох віддалених GPU, кожен з яких містить підмножину шарів моделі; на відміну від DarkBloom, виконання фрагментується по мережі, з проміжними станами, переданими між незалежно керованими вузлами, збільшуючи затримку та вразливість на кожному хопі, наближаючись до справжньої системи-меші. Джерело

Hivemind експериментує з подібною координацією peer-to-peer і експертним маршрутизуванням, хоча на службі навчання моделей, а не інференції з вже навчених моделей; і Lattica зосереджується на підкладці мережі, необхідній для реалізації таких систем:

Схематична діаграма Lattica, що показує нижню підкладку peer-to-peer, яка обробляє NAT-траверс, розподілення контенту та координацію DHT; шардна інференція виникає лише як один можливий застосунок-шар; на відміну від DarkBloom або Petals, Lattica не визначає систему інференції сама по собі, а надає примітиви мережі та синхронізації, необхідні для побудови такої системи. Джерело –

Всі три цих моделі наближаються до ідеалу mesh, але за рахунок затримки, нестабільності та вразливості.

Натомість, exo тримає інференцію всередині локального кластера, використовуючи швидкі міжз’єднання для розподілення робочих навантажень по GPU, не покладаючись на публічний інтернет. На практиці така установка поводиться менше як розподілена мережа-меш і більше як одна розширена машина, хоча є можливість розширити цей підхід на ширшу мережу:

Вигляд кластера з exo, що показує малий кільцевий локальний Apple Silicon машини, які спільно приймають одну модель, з розподіленням шард або тензорного розподілення по вузлах; на відміну від систем WAN, exo покладається на швидкі локальні міжз’єднання, ефективно перетворюючи декілька пристроїв у одну композитну машину інференції. Джерело

Нарешті, декілька часто цитованих підходів не стосуються інференції зовсім: тепер уже старий (2016) FedAvg від Google; SplitNN від MIT (2018); і австралійська пропозиція SplitFed (2020) займаються розподіленим навчанням або обміном даних, зберігаючи приватність, а не служінням живим запитам інференції.

Оскільки навчання – це значно більш ресурсоємна перспектива, ніж інференція, будь-які мережі, які доведуть свою здатність розподілити таке навантаження ефективно по кластерах або вузлах, могли б мати непропорційно велику частку інтересу хобі та бізнесу пізніше.

Висновок

Оскільки більша частина технологій у Долині Кремнієвій була диким винаходом, ми не знаємо, чи був PiedPiper справді керований хешем (тобто, дільним і розподілом даних на шматки, типу торрента), чи чи він ‘вирішував’ завдання або навіть сесію на будь-якому вузлі в будь-який час, що робить DarkBloom.

Однак, поточна боротьба за забезпечення апаратного забезпечення та інференції на рівні центрів даних вказує на те, що сектор постачання або очікує обслужити всіх, типу RunPod, або готується до найбільш прибуткової корпоративної поставки – спокусна перспектива, підірвана загальною відсутністю захисних споруд у розгортуванні штучного інтелекту.

Якщо mesh-інференція стане реальністю, можна очікувати, що серед перших спроб використати її будуть інкубентні компанії, такі як OpenAI та Anthropic, які могли б розгорнути спеціальні системи всередині величезної існуючої бази встановлених застосунків, або ж співпрацювати над відкритими системами, які легко встановлюються (оскільки компанії такого розміру та охоплення мають гроші та мотивацію для спрощення складних установок цього типу).

Що стосується того, чи може виникнути більш демократична, користувачо-керована мережа-меш, справжній аналог BitTorrent для штучного інтелекту – ряд факторів складеться проти неї.

По-перше, поточна глобальна боротьба проти шифрування та анонімності може прибрати або підірвати багато механізмів, які роблять системи типу BitTorrent анонімними, такі як кінцеве шифрування та VPN. Як тільки ‘загальні’ зашифровані потоки, що приховують такі протоколи, будуть відкриті для інспекції, нові шари нагляду та заборони стають можливими, і це може підірвати привабливість системи типу DarkBloom.

По-друге, нові чи запропоновані регуляції проти ‘зловживання’ штучним інтелектом або проти анонімної роботи відкритих фреймворків означають, що вартість дотримання вимог – незначна на рівні підприємства –, ймовірно, видалить менших гравців з ринку.

По-третє – сила великого гравця сектору, щоб обіймати, розширювати та гасити (EEE, як Facebook і Twitter, якісно зробили з більш ад хок інтернет-спільнотами), означає, що поточні великі гравці можуть операціалізувати та оптимізувати модель-меш для своєї власної вигоди, на ринку, де кінцеві користувачі майже цілком нетерпимі до будь-якої тертя в прийнятті.

Перше опубліковано четверга, 16 квітня 2026