Стиль PiedPiper – децентралізовані сервіси інференції для ШІ?

Чи є “BitTorrent для ШІ” близькою можливістю?

Опінія Відразу після перегляду розважальної і гострої сатири Майка Джаджа Долина ШІ – в якій група соціально незручного геніальних геїв намагається створити “новий інтернет” під назвою PiedPiper через мережу-меш, встановлену на всіх мобільних телефонах – мене зацікавило побачити, як спільнота HN взаємодіє з новою пропозицією подібного характеру.

Eigen Labs’ DarkBloom знаходиться десь між рівноправною ідеєю децентралізованої мережі-меш для інференції ШІ та мотивами криптовалютного добутку, дозволяючи власникам систем Apple Silicon Mac перетворити своє обладнання на вузол інференції:

З розділу “Заробіток” веб-сайту DarkBloom користувачі можуть вибрати, яке обладнання вони бажають здати в оренду, а також які моделі ШІ вони бажають підтримувати. Джерело

Система зараз зосереджена на текстових моделях, таких як агентна Trinity Mini (3B) і Cohere Transcribe, хоча також пропонує різноманітні моделі генерації зображень, такі як FLUX 2 Klein 4B:

Асортимент моделей, з яких “ландлорд” може вибрати для здачі в оренду, разом з місячними прогнозними заробітками.

Користувачі, які беруть участь у схемі, можуть заробити достатньо грошей за місяць надання інференції, щоб регулярно додавати новий Mac до все зростаючої ланцюга, аж до того моменту, коли вони зможуть заробити повноцінну ферму інференції.

Ефективно, схема такого типу, яка справді набула б популярності (вона має проблему “холодного старту” на даний момент), могла б повернути ентузіастів-користувачів до позиції пошуку апаратного забезпечення, як під час останнього великого буму криптовалюти (і пізнішого краху).

Не так швидко

Однак для малих гравців цей корабель, можливо, вже відплив. Окрім апокаліптичної потреби ШІ у оперативній пам’яті, попит на глобальне обладнання для центрів даних, оснащених ШІ, продовжує збільшувати вартість апаратного забезпечення та послуг для звичайного споживача, який раніше міг монополізувати оперативну пам’ять для криптовалютного добутку через периферійний характер діяльності, а також через регуляторну нестачу, яка стримувала інтереси бізнесу щодо криптовалюти.

Хоча надзвичайно дешевий MacBook Neo з’явився як альтернатива, що перемагає апаратне забезпечення, його мобільний чіп A18 і 8 ГБ відеопам’яті не ставлять його в серйозну конкуренцію як машини інференції.

Але навіть якщо кінцевий користувач не намагається створити повноцінну ферму інференції, а просто хоче здати в оренду свою поточну незайняту потужність M[n], потенційні заробітки здаються суттєвими, якщо проблема “холодного старту” (початкової нестачі користувачів на початку проекту, який залежить від великої кількості учасників) швидко вирішиться, і якщо платформа починає рекламувати себе як щось більше, ніж цікавий експеримент з потенційним попитом.

Інференс інакше

Хоча деякі коментатори визнали демократію типу PiedPiper/Torrent у схемі DarkBloom, завдання інференції не так легко роздільні, як фрагментація файлу фільму на кілька хешованих скибів, щоб його можна було пізніше зібрати в клієнті Torrent.

Модель DarkBloom не пропонує, щоб вузол учасника обробляв x% завдання інференції. У загальному вживанні лише кілька каркасів або методологій можуть досягти такого типу використання кількох GPU для одного завдання інференції, включаючи TensorRT LLM від NVIDIA, який використовує конвейєрну паралельність; та розбиття інференції DeepSpeed, яке використовує паралельність моделі (MP).

Натомість ваш Mac, оснащений DarkBloom, завантажить і запустить одну з перерахованих моделей і виконає 100% інференції для платних користувачів, з кінцевим шифруванням та розшифруванням запитів тільки на апаратних вузлах, що означає, що постачальники не зможуть прочитати дані під час виконання. Саме завдання складатиметься з одного або кількох текстових інференцій або принаймні одного повного зображення.

Не зрозуміло, наскільки тривалим буде одна сесія користувача; зараз хобісти ШІ звикли отримувати GPU через ферми інференції, такі як RunPod; хоча може зайняти деякий час, щоб отримати бажаний GPU на піку використання, користувач монополізує його, поки сесія не закінчиться.

Отже, можливо, що один платний користувач може використовувати зданий Mac з можливостями ШІ серії M на дуже тривалу сесію, якщо немає логістичної або комплаєнс-переваги в перемиканні клієнтів між запитами.

Маки були вибрані для цього підходу, очевидно, через те, що існує лише обмежена кількість технічних конфігурацій для учасника, і тому легко призначити моделі відповідного розміру клієнту.

Крім того, Маки, які можуть đóng góp у мережу DarkBloom, мають апаратний безпечний анклав, який гарантує стіну між користувачем і постачальником.

Ці фактори не так легко раціоналізувати в більш загальних, саморобних налаштуваннях, і в сотнях або тисячах відомих ноутбуків і стаціонарних комп’ютерів Windows і Linux, доступних за останні 6-7 років.

Однак повинно бути очевидним, що набагато більший пул апаратного забезпечення non-Mac може задовольнити великий попит, якщо їх різноманітні характеристики можна раціоналізувати, а не – як у випадку з DarkBloom – прив’язати до обмежених специфікацій Apple, що робить бізнес-пропозицію легкою, і архітектурний підхід – відносно простим.

Правовий нагляд?

Можливо, найбільшою проблемою, з якою стикається “демократичне” рішення цього типу, є закритий характер запропонованого процесу; уряди всього світу зараз зайняті розробкою нового законодавства, яке фактично припинить анонімність інтернету там, де воно буде прийняте, і явно не знаходяться в про-privacy настрої в цей період.

Отже, перспектива випадкової інференції ШІ, проведеної без фільтрів, перевірок чи балансів, через розподілену мережу (якщо можна назвати DarkBloom так – це більше ринком інференції), здається, іронічно, віддаленою.

Можливо, DarkBloom або інші наступні схеми інференції-мешу доведеться погодитися на бекдори, які ефективно обмежать приватність до хоста, який не зможе бачити клієнтські завдання; натомість повернені дані інференції будуть доступні через структури man-in-the-middle (MiTM) урядових агентств, що дозволить зберігати всі інференції аудитуємими.

Принаймні, якщо хвиля нових законів пропонує перевірки ідентичності на рівні операційної системи колись буде широко прийнята, такі заходи можуть стати зайвими. Але без них, враховуючи поточний клімат, мережа типу DarkBloom, ймовірно, буде вважатися подібною до “темної мережі” ШІ, де можуть відбуватися незаконні діяльності на основі ШІ в секреті.

Тестування розділення

На даний момент було небагато справжніх спроб зробити те, що система типу “PiedPiper” передбачає; сама DarkBloom знаходиться на одному з крайніх полюсів, розподіляючи повні завдання на окремі машини, а не намагаючись фрагментувати їх через мережу, тоді як більшість систем виробництва просто уникають цю проблему, тримаючи інференцію на одному хості.

Є кілька проектів, які представляють щось ближче до “спільної виконавчої” діяльності.

Petals, який активно описує себе як “систему типу BitTorrent”, розподіляє блоки трансформерів через кілька інтернет-з’єднаних вузлів, передаючи проміжні стани між ними:

Типовий робочий процес Petals, де один запит інференції маршрутизується через кілька віддалених GPU, кожен з яких містить підмножину шарів моделі; на відміну від DarkBloom, виконання фрагментується через мережу, з проміжними станами, переданими між незалежно керованими вузлами, що збільшує затримку та вразливість на кожному хопі, наближаючись до справжньої системи-мешу. Джерело

Hivemind проводить експерименти з подібною координацією 点-то-точки та експертним маршрутизуванням, хоча в інтересах навчання моделей, а не інференції з вже навчених моделей; і Lattica зосереджується на нижньому рівні мережі, необхідному для того, щоб зробити такі системи життєздатними:

Схематична діаграма Lattica, що показує нижній рівень 点-то-точки, який обробляє NAT-траверс, розподілення вмісту та координацію на основі DHT, з розбитою інференцією, що виникає лише як один з можливих застосунків; на відміну від DarkBloom або Petals, Lattica не визначає саму систему інференції, а надає мережеві та синхронізаційні примітиви, необхідні для побудови її. Джерело

Всі ці моделі наближаються до ідеалу мешу, але за рахунок затримки, нестабільності та вразливості.

Натомість exo тримає інференцію всередині локального кластера, використовуючи швидкі міжключові з’єднання для розподілення навантажень через GPU, не покладаючись на публічний інтернет. На практиці таке налаштування поводиться менше як розподілена мережа-меш, а більше як одна розширена машина, хоча є можливість розширити цей підхід на ширшу мережу:

Вигляд кластера з exo, що показує малий кільцевий вигляд локальних машин Apple Silicon, які спільно приймають одну модель, з розподіленням шарів через вузли; на відміну від систем WAN, exo покладається на швидкі локальні міжключові з’єднання, ефективно перетворюючи кілька пристроїв на одну композитну машину інференції. Джерело

Нарешті, кілька часто цитованих підходів не займаються інференцією зовсім: тепер уже старий (2016) FedAvg від Google; виступ MIT 2018 року SplitNN; і австралійська пропозиція 2020 року SplitFed займаються розподіленим навчанням або обміном даними, зберігаючи приватність, а не живими запитами інференції.

Оскільки навчання – це набагато більш ресурсоємна перспектива, ніж інференція, будь-які мережі, які доведуть свою здатність розподілити таке навантаження ефективно, можуть мати непропорційно великий інтерес серед хобіністів і бізнесу пізніше.

Висновок

Оскільки більша частина технологій у Долині ШІ була дикою вигадкою, ми не знаємо, чи був PiedPiper справді керований хешем (тобто, розділив і розподілив дані на шматки, типу BitTorrent), або чи він “вирішив” завдання або сесію на будь-якому вузлі в будь-який момент часу, що робить DarkBloom.

Однак поточна боротьба за надання обладнання для навчання та інференції на рівні центрів даних свідчить про те, що сектор постачання або очікує обслужити всіх, як RunPod, або готується до найбільш прибуткової корпоративної поставки – спокусна перспектива, підірвана загальною відсутністю захистки у розгортанні ШІ.

Якщо мережа інференції-меш стане реальністю, можна очікувати, що серед перших спроб її використання будуть інкубатори, такі як OpenAI і Anthropic, які могли б розгорнути спеціальні системи всередині величезної існуючої бази встановлених додатків, або співпрацювати над відкритими системами, які легко встановлюються (оскільки компанії такого розміру і рівня мають гроші та мотивацію для спрощення складних установок цього типу).

Що стосується того, чи може виникнути більш демократична, користувачо-орієнтована мережа-меш, справжній аналог ШІ для BitTorrent – ряд факторів працює проти цього.

По-перше, поточна глобальна боротьба проти шифрування та анонімності може прибрати або підірвати багато механізмів, які роблять системи типу BitTorrent анонімними, такі як кінцеве шифрування та VPN. Як тільки “генеричні” зашифровані потоки, що приховують такі протоколи, будуть відкриті для інспекції, нові шари нагляду та заборони стають можливими, і це може підірвати привабливість системи типу DarkBloom.

По-друге, нові або запропоновані регуляції проти “зловживання” ШІ або проти анонімної роботи відкритих каркасів означають, що вартість дотримання вимог – незначна на рівні підприємства – ймовірно, виведе з ринку всіх менших гравців.

Нарешті – сила великого гравця ринку, щоб обіймати, розширювати та знищувати (EEE, як Facebook і Twitter, ймовірно, зробили з більш ад хок інтернет-спільнотами), означає, що поточні великі гравці можуть оперціоналізувати та оптимізувати модель мешу на свою користь, на ринку, де кінцеві користувачі майже повністю нетерпимі до будь-якої фрикції в прийнятті.

Перша публікація четверга, 16 квітня 2026 року