Layanan Inferensi Desentralisasi ala PiedPiper untuk AI?

Apakah ‘BitTorrent untuk AI’ merupakan kemungkinan yang akan segera terjadi?

Opini Setelah menyelesaikan ulang tontonan serial Silicon Valley karya Mike Judge – yang merupakan satir teknologi yang menghibur dan tajam, di mana sekelompok genius geek yang memiliki masalah sosial berusaha menciptakan ‘internet baru’ yang disebut PiedPiper melalui jaringan mesh-network yang dipasang pada ponsel setiap orang – saya tertarik untuk melihat komunitas HN berinteraksi dengan penawaran baru yang memiliki sifat serupa.

Eigen Labs’ DarkBloom berada di antara konsep egaliter dari jaringan mesh desentralisasi untuk inferensi AI, dan motif profit crypto-mining, yang memungkinkan pemilik sistem Mac Apple Silicon untuk mengubah peralatan mereka menjadi node inferensi:

Dari bagian Penghasilan situs web DarkBloom, pengguna dapat memilih peralatan yang ingin disewakan dan model AI yang ingin didukung. Sumber

Sistem ini saat ini berfokus pada model berbasis teks seperti Trinity Mini (3B) dan Cohere Transcribe, meskipun juga menawarkan model pembangkit gambar yang beragam seperti FLUX 2 Klein 4B:

Rentang model yang dapat dipilih oleh ‘landlord’ untuk disewakan, bersama dengan perkiraan penghasilan bulanan.

Pengguna yang berpartisipasi dalam skema ini tampaknya dapat menghasilkan uang yang cukup dalam sebulan penuh penyediaan inferensi untuk secara teratur menambahkan Mac baru ke rantai yang terus berkembang, sampai, secara teori, mereka dapat menghasilkan pertanian inferensi yang lengkap.

Secara efektif, skema semacam ini yang benar-benar mendapatkan popularitas (saat ini memiliki masalah start dingin) mungkin akan meletakkan pengguna kasual yang antusias kembali ke posisi mencari perangkat keras, seperti pada booming cryptocurrency terakhir (dan keruntuhan selanjutnya).

Jangan Terlalu Cepat

Namun, bagi pemain kecil, kapal itu mungkin telah berlayar. Selain kebutuhan AI akan RAM yang apokaliptik, permintaan akan penggunaan data center AI yang diaktifkan secara global terus menaikkan biaya perangkat keras dan layanan untuk konsumen biasa, yang sebelumnya dapat memonopoli RAM untuk crypto-mining, karena sifat peripheral dari kegiatan tersebut, serta ketidakpastian regulasi, yang membuat minat bisnis menjadi hati-hati pada crypto.

Sementara itu, MacBook Neo yang sangat murah telah muncul sebagai alternatif yang menghancurkan untuk perangkat keras yang terus meningkat, tetapi chip ponsel A18 dan 8GB VRAM tidak membuatnya menjadi pesaing serius sebagai mesin inferensi.

Tapi bahkan jika pengguna akhir tidak mencari untuk memulai pertanian inferensi penuh, dan hanya ingin menyewakan kapasitas M[n] yang tidak terpakai saat ini, potensi penghasilan tampaknya signifikan, jika masalah start dingin (kekurangan pengguna pada awal pembukaan kekhawatiran yang bergantung pada volume partisipan yang tinggi) segera terpecahkan, dan jika platform mulai memasarkan diri sebagai sesuatu yang lebih dari sekedar eksperimen potensial dalam permintaan.

Infer Berbeda

Meskipun beberapa komentator telah mengenali demokrasi gaya PiedPiper/Torrent dalam skema DarkBloom, tugas inferensi tidaklah mudah dibagi seperti membagi file movie menjadi potongan yang dihash sehingga dapat direkonstruksi kembali di klien torrent.

Model DarkBloom tidak mengusulkan bahwa chip M[n] peserta menangani x% dari tugas inferensi. Dalam penggunaan mainstream, hanya beberapa kerangka kerja atau metodologi yang dapat mencapai utilisasi cross-GPU pada tugas inferensi tunggal, termasuk TensorRT LLM NVIDIA, yang menggunakan pipeline parallelism; dan sharded inference DeepSpeed, yang memanfaatkan model parallelism (MP).

Sebaliknya, Mac DarkBloom yang diaktifkan akan mengunduh dan menjalankan salah satu model yang terdaftar dan melakukan 100% inferensi untuk pengguna yang membayar, dengan enkripsi ujung-ke-ujung, dan dengan prompt yang didekripsi hanya pada node yang diuji perangkat keras, yang berarti bahwa penyedia tidak akan dapat membaca data selama eksekusi. Beban kerja itu sendiri akan terdiri dari satu atau lebih inferensi berbasis teks, atau setidaknya satu gambar lengkap.

Tidak jelas seberapa luas sesi pengguna tunggal akan berlangsung; seperti yang ada sekarang, hobiis AI terbiasa mendapatkan GPU melalui pertanian inferensi seperti RunPod; meskipun membutuhkan waktu lama untuk mendapatkan GPU yang diinginkan pada puncak penggunaan, pengguna dapat memonopoli GPU selama sesi tidak diizinkan untuk kedaluwarsa.

Jadi, memungkinkan bahwa satu pengguna yang membayar dapat berakhir menggunakan kemampuan AI M-series Mac yang disewa untuk sesi yang sangat lama, kecuali ada keuntungan logistik atau kepatuhan yang memungkinkan klien untuk berputar antara permintaan.

Macs telah dipilih untuk pendekatan ini, tampaknya, karena hanya ada beberapa konfigurasi teknis yang mungkin untuk peserta, dan oleh karena itu mudah untuk menetapkan model yang sesuai dengan klien.

Selain itu, Macs yang dapat berkontribusi pada jaringan DarkBloom memiliki enklave aman yang menjamin dinding antara pengguna dan penyedia.

Ini semua adalah faktor yang tidak mudah untuk diterapkan pada pengaturan yang lebih generik dan khusus, dan di seluruh ratusan atau ribuan mesin laptop/desktop Windows dan Linux yang tersedia selama 6-7 tahun terakhir.

Namun, harus jelas bahwa kolam perangkat keras non-Mac yang jauh lebih besar dapat menampung permintaan besar jika karakteristik yang beragam dapat diterapkan, bukan – seperti DarkBloom – mengandalkan spesifikasi terbatas Apple, yang membuat bisnis yang mudah dan pendekatan arsitektur yang relatif mudah.

Pengawasan Hukum?

Mungkin masalah terbesar yang dihadapi oleh solusi ‘demokratis’ seperti ini adalah sifat tertutup dari proses yang diusulkan; pemerintah di seluruh dunia saat ini terlibat dalam legislasi baru yang secara efektif akan mengakhiri anonimitas internet di mana pun diberlakukan, dan jelas tidak dalam suasana pro-privasi pada periode ini.

Oleh karena itu, prospek inferensi AI acak yang dilakukan tanpa filter, pemeriksaan, atau keseimbangan, di seluruh jaringan terdistribusi (jika Anda dapat menyebut DarkBloom seperti itu – itu lebih seperti pasar inferensi) tampaknya, ironisnya, jauh.

Memungkinkan bahwa DarkBloom, atau skema inferensi mesh lainnya, akan perlu menyetujui backdoor yang secara efektif membatasi privasi ke host, yang tidak akan dapat membaca pekerjaan klien yang berjalan; sebaliknya, data inferensi yang dikembalikan akan tersedia melalui struktur man-in-the-middle (MiTM) lembaga pemerintah, menjaga semua inferensi dapat diaudit.

Presumably, jika serangkaian hukum baru yang mengusulkan pemeriksaan identitas tingkat OS pernah mencapai adopsi yang luas, langkah-langkah tersebut mungkin akan menjadi usang. Namun, tanpa mereka, mengingat iklim saat ini, jaringan gaya DarkBloom kemungkinan akan dianggap seperti ‘darknet’ AI, di mana kegiatan AI berbasis ilegal dapat terjadi secara rahasia.

Uji Pemisahan

Sampai saat ini, telah ada beberapa upaya nyata untuk melakukan apa yang sistem ‘gaya PiedPiper’ implikasikan; DarkBloom sendiri berada di ujung ekstrem, mendistribusikan pekerjaan lengkap ke mesin individual, bukan mencoba membaginya di seluruh jaringan, sementara sistem produksi sebagian besar menghindari masalah tersebut dengan menjaga inferensi pada host tunggal.

Ada, bagaimanapun, beberapa proyek yang mewakili sesuatu yang sedikit lebih dekat dengan ‘eksekusi bersama’.

Petals, yang aktif menggambarkannya sebagai jaringan ‘gaya BitTorrent’, mendistribusikan blok transformer di seluruh node internet yang terhubung, melewati negara bagian antara mereka:

Alur kerja Petals khas, di mana satu permintaan inferensi tunggal dialihkan melalui beberapa GPU jarak jauh, masing-masing memegang subset lapisan model; tidak seperti DarkBloom, eksekusi dipisahkan di seluruh jaringan, dengan negara bagian antara yang dilewati antara node yang dioperasikan secara independen, meningkatkan latensi dan paparan pada setiap lompatan sambil mendekati sistem gaya mesh yang sebenarnya. Sumber

Hivemind bereksperimen dengan koordinasi peer-to-peer dan pengaturan ahli yang serupa, meskipun dalam layanan pelatihan model daripada inferensi dari model yang sudah dilatih; dan Lattica fokus pada lapisan jaringan yang mendasari yang diperlukan untuk membuat sistem tersebut layak:

Skema Lattica, menunjukkan substrat peer-to-peer tingkat rendah yang menangani NAT traversal, distribusi konten, dan koordinasi berbasis DHT, dengan inferensi yang dipisahkan muncul hanya sebagai satu lapisan aplikasi yang mungkin; tidak seperti DarkBloom atau Petals, Lattica tidak mendefinisikan sistem inferensi itu sendiri, tetapi menyediakan primitif jaringan dan sinkronisasi yang diperlukan untuk membangunnya. Sumber –

Ketiga model ini mendekati ideal mesh, tetapi dengan biaya latensi, ketidakstabilan, dan paparan.

Sebaliknya, exo menjaga inferensi dalam cluster lokal, menggunakan interkoneksi cepat untuk membagi beban kerja di seluruh GPU, tanpa mengandalkan internet publik. Dalam prakteknya, pengaturan seperti ini berperilaku lebih seperti mesin tunggal yang diperpanjang, meskipun ada kemungkinan yang jelas untuk memperluas pendekatan ini ke jaringan yang lebih luas:

Tampilan cluster dari exo, menunjukkan cincin kecil mesin Apple Silicon lokal yang bersama-sama menghosting model tunggal, dengan pipeline atau tensor sharding yang mendistribusikan lapisan di seluruh node; tidak seperti sistem berbasis WAN, exo mengandalkan interkoneksi lokal yang cepat, secara efektif mengubah beberapa perangkat menjadi mesin inferensi komposit tunggal. Sumber

Akhirnya, beberapa pendekatan yang umum disebutkan tidak menangani inferensi sama sekali: FedAvg Google yang sudah tua (2016); SplitNN dari MIT pada 2018; dan SplitFed dari Australia pada 2020, yang berkaitan dengan distribusi pelatihan atau pertukaran data yang menjaga privasi, bukan penyajian permintaan inferensi langsung.

Karena pelatihan adalah prospek yang jauh lebih intensif sumber daya daripada inferensi, jaringan mana pun yang terbukti dapat mendistribusikan beban tersebut secara efektif, di seluruh cluster atau node, dapat memiliki bagian yang tidak proporsional dari minat hobiis dan bisnis nanti.

Kesimpulan

Karena sebagian besar teknologi di Silicon Valley adalah penemuan liar, kita tidak tahu apakah PiedPiper benar-benar didorong hash (yaitu, membagi dan mendistribusikan data menjadi potongan, gaya torrent), atau apakah itu ‘menetap’ tugas atau bahkan sesi pada node tertentu pada waktu tertentu, yang dilakukan oleh DarkBloom.

Namun, keributan saat ini untuk menyediakan perangkat keras pelatihan dan inferensi pada tingkat pusat data menunjukkan bahwa sektor penyediaan EITHER berharap untuk melayani semua orang, gaya RunPod, OR sedang mempersiapkan diri untuk tingkat perusahaan yang paling menguntungkan – prospek yang menggiurkan yang diancam oleh kurangnya benteng dalam penerapan AI.

Jika mesh-inferensi menjadi kenyataan, masuk akal untuk mengharapkan bahwa di antara upaya pertama untuk memanfaatkannya akan datang dari pemain yang sudah ada, seperti OpenAI dan Anthropic, yang dapat mengirimkan sistem khusus dalam basis instalasi aplikasi yang besar, atau bekerja sama pada sistem sumber terbuka yang mudah dipasang (karena perusahaan dengan ukuran dan jangkauan ini memiliki uang dan motif untuk menyederhanakan instalasi yang sulit dari jenis ini).

Menurut apakah jaringan mesh pengguna yang lebih demokratis dapat muncul, sebuah ekivalen AI yang sebenarnya untuk BitTorrent – beberapa faktor berbaris melawannya.

Pertama, dorongan global saat ini melawan enkripsi dan anonimitas dapat menghapus atau melemahkan banyak mekanisme yang membuat sistem seperti BitTorrent anonim, seperti enkripsi ujung-ke-ujung dan VPN. Setelah aliran enkripsi ‘generik’ yang menyembunyikan protokol tersebut terbuka untuk inspeksi, lapisan pengawasan dan pelarangan baru menjadi memungkinkan, dan ini mungkin melemahkan daya tarik sistem gaya DarkBloom.

Kedua, regulasi yang muncul atau diusulkan melawan ‘penyalahgunaan’ AI, atau melawan operasi anonim kerangka kerja sumber terbuka, berarti bahwa biaya kepatuhan – yang sepele pada tingkat perusahaan – kemungkinan akan mengeluarkan pemain yang lebih kecil dari pasar.

Akhirnya – kekuatan pemain utama sektor untuk Mengadopsi, Memperluas, dan Menghancurkan (EEE, seperti yang dilakukan Facebook dan Twitter dengan komunitas internet ad hoc), berarti bahwa pemain utama saat ini dapat mengoperasionalkan dan menyederhanakan model mesh untuk keuntungan mereka sendiri, di pasar di mana pengguna akhir hampir tidak toleran terhadap gesekan dalam adopsi.

Dipublikasikan pertama kali pada hari Kamis, 16 April 2026