PiedPiper Tarzında Merkezden Bağymsız AI Hizmetleri?

‘AI için BitTorrent’ yakın bir olasılık mı?

Görüş Mike Judge’ın keyifli ve asitli teknoloji-bro satiri Silicon Valley‘yi dün yeniden izledikten sonra – burada bir grup sosyal olarak zorlanabilir geek dehaları, herkesin cep telefonunda bir mesh ağ kurarak ‘yeni bir internet’ oluşturmak için çalışıyorlar – HN topluluğunun benzer bir naturedeki yeni bir teklifle ilgilenmesini görmek ilgimi çekti.

Eigen Labs’in DarkBloom sistemi, AI çıkarımı için eşitlikçi bir merkezden bağymsız mesh ağ kavramı ile kripto madencilik kar motiveleri arasında bir yerde duruyor ve Apple Silicon Mac sistemlerinin sahiplerine ekipmanlarını bir çıkarım düğümü haline getirmelerine izin veriyor:

DarkBloom web sitesinin Kazançlar bölümünden, kullanıcılar kiralamak istedikleri ekipmanı ve desteklemek istedikleri AI modellerini seçebilir. Kaynak

Sistem şu anda metin tabanlı modellere odaklanıyor, Örneğin agentic Trinity Mini (3B) ve Cohere Transcribe, ancak aynı zamanda FLUX 2 Klein 4B gibi çeşitli görüntü oluşturma modelleri de sunuyor:

Kiralama yapabileceği modellerin ve aylık dựlen kazançların listesi.

Şemaya katılan kullanıcılar, apparently, bir aylık çıkarım sağlama karşılığında yeterli para kazanabilirler ve böylece düzenli olarak zincire yeni bir Mac ekleyebilirler, teoride bir çıkarım çiftliği oluşturabilirler.

Aslında, gerçekten popüler hale gelen böyle bir şema, (şu anda soğuk başlangıç sorunu var) coşkulu casual kullanıcıları, son büyük kripto para patlaması (ve sonraki çöküş) gibi donanıma yönlendirebilir.

Şimdilik Bekleyin

Ancak küçük oyuncular için bu gemi possibly sudah geçmiş olabilir. AI’ın apokaliptik RAM ihtiyacı dışında, küresel AI destekli veri merkezi donatımı talebi, donanım ve hizmet maliyetlerini yükseltmeye devam ediyor ve bu da normal tüketicinin, kripto madenciliği için RAM’ı tekelleştirmesini engelliyor.

Süper ucuz MacBook Neo, sürekli artan donanıma karşı bir çözüm olarak ortaya çıktı, ancak A18 mobil telefon çipi ve 8GB’lik VRAM’i, onu ciddi bir çıkarım makinesi haline getirmiyor.

Ancak son kullanıcı, tam bir çıkarım çiftliği kurmak istemiyor ve sadece boşta olan M[n] kapasitesini kiralama istiyor ise, potansiyel kazançlar önemli görünüyor, eğer soğuk başlangıç sorunu hızla çözülürse ve platform kendisini sadece bir deneysel talep olarak değil, daha geniş bir şey olarak tanıtırsa.

Farklı Çıkarım

Birçok yorumcu, DarkBloom’un şemasında PiedPiper/Torrent tarzı bir demokrasi gördü, ancak çıkarım görevleri, bir film dosyasını multiple hashed parçalara böldüğünüz gibi kolayca bölünmüyor, böylece daha sonra bir torrent istemcisinde yeniden birleştirilebilir.

DarkBloom modeli, bir katılımcının M[n] çipi bir çıkarım görevinin x%’sini işleyeceği önerisini sunmuyor. Ana akım kullanımda, sadece birkaç çerçeve veya metodoloji, NVIDIA’nın TensorRT LLM‘sini kullanıyor, bu da pipeline paralellik‘ini kullanıyor; ve DeepSpeed’in parçalı çıkarım‘ı, model paralellik‘ini (MP) kullanıyor.

Bunun yerine, DarkBloom etkinleştirilmiş Mac’iniz, listeden bir modeli indirip çalıştırır ve 100% çıkarım işlemini, uçtan uca şifreleme ile ve sadece donanım tarafından doğrulanan düğümlerde, sağlayıcıların veri işleme sırasında okuyamayacağı şekilde gerçekleştirir. İş yükü, bir veya daha fazla metin tabanlı çıkarım veya en az bir tam görüntü oluşturur.

Tek bir kullanıcı oturumunun ne kadar süreceği belli değil; AI hobiistleri, genellikle RunPod gibi çıkarım çiftliklerinden bir GPU elde etmeye alışkınlar; zirve kullanımında bir GPU elde etmek biraz zaman alabilir, ancak kullanıcı, oturum süresince GPU’ya tam erişim sağlar.

Bu nedenle, bir ödeme yapan kullanıcı, tek bir DarkBloom Mac’in M-serisi AI kapasitesini çok uzun bir oturum için kullanabilir, eğer istemci arasında bazı lojistik veya uyum avantajı yoksa.

Yasal Denetim

Bu tür bir ‘demokratik’ çözümün karşılaştığı en büyük sorun, önerilen sürecin kapalı doğası; dünya çapındaki hükümetler, şu anda internet anonimliğini nerede kurumlaştırdılarsa sonlandırabilecek yeni yasalar üzerinde çalışıyorlar ve bu dönemde gizlilik yanlısı bir zihniyete sahip değiller.

Bu nedenle, dağıtılmış bir ağ (eğer DarkBloom’u böyle adlandırabilirsek – daha çok bir çıkarım pazarı) boyunca filtreler, kontroller veya dengeler olmadan gerçekleştirilen rastgele AI çıkarımı olasılığı, ironik olarak uzak görünüyor.

DarkBloom veya sonraki mesh çıkarım şemalarının, host‘a gizliliği kısıtlayacak arka kapılar oluşturmaya razı olmaları gerekebilir; böylece host, istemci işlemlerini göremeyecek, ancak döndürülen çıkarım verileri, hükümet ajansları tarafından oluşturulan ara estructürler aracılığıyla erişilebilir hale getirilecektir.

Parça Testleri

Şimdiye kadar, ‘PiedPiper-style’ sistemin ima ettiği şeyi gerçekten yapmak için çok az gerçek girişimler oldu; DarkBloom, işleri bireysel makinelere dağıtmak yerine, işleri tek bir makineye atayan bir uçta duruyor.

Ancak, birkaç proje, ‘paylaşılan yürütme’ye biraz daha yakın bir şey temsil ediyor.

Petals, kendisini ‘BitTorrent tarzı’ bir ağ olarak tanımlıyor, transformer bloklarını internete bağlı düğümler arasında dağıtıyor ve ara durumları birbirlerine geçiriyor:

Petals iş akışı, bir çıkarım isteğinin birden fazla uzak GPU’ya yönlendirildiği ve her bir GPU’nun model katmanlarının bir alt kümesini tuttuğu; DarkBloom’dan farklı olarak, yürütme ağı boyunca parçalanıyor ve ara durumlar bağımsız olarak işletilen düğümler arasında geçiriliyor, bu da gecikme ve maruz kalma artırıyor ve gerçek bir mesh tarzı sistemini taklit ediyor. Kaynak

Hivemind, benzer peer-to-peer koordinasyon ve uzman yönlendirme ile deneysel çalışmalarda bulunuyor, ancak bunlar eğitim modelleri yerine önceden eğitilmiş modellerden çıkarım için kullanılıyor; ve Lattica ise, böyle sistemlerin uygulanabilir olmasını sağlayan alt düzey ağ katmanına odaklanıyor:

Lattica şeması, NAT geçişini, içerik dağıtımını ve DHT tabanlı koordinasyonu işleyen bir peer-to-peer altyapısını gösteriyor; parçalı çıkarım, yalnızca bir uygulama katmanı olarak ortaya çıkıyor; DarkBloom veya Petals’tan farklı olarak, Lattica kendisi bir çıkarım sistemi tanımlamıyor, ancak böyle bir sistemi oluşturmak için gerekli ağ ve senkronizasyon ilkelerini sağlıyor. Kaynak –

Bu modeller, mesh idealine yaklaşıyor, ancak gecikme, kararsızlık ve maruz kalma pahasına.

Sonuç

Silicon Valley dizisindeki teknoloji wild invention olduğundan, PiedPiper’ın gerçekten hash-driven (yani, verilerin parçalara bölünerek dağıtılması) olup olmadığını veya bir görevi veya bir oturumu herhangi bir düğümde gerçekleştirdiğini bilmiyoruz.

Ancak, veri merkezi düzeyinde eğitim ve çıkarım donanımının sunulması, sektörün herkesi RunPod tarzı bir şekilde hizmet vermeye veya kurumsal düzeyde hizmet sunmaya hazırlanıyor gibi görünüyor – bu, AI dağıtımında genel olarak hiçbir engel olmaması nedeniyle cezbedici bir perspektif.

Eğer mesh-çıkarım bir gerçeklik haline gelirse, ilk denemelerin, OpenAI ve Anthropic gibi mevcut oyuncular tarafından yapılacağı makul görünüyor; bunlar, büyük bir uygulama kurulumu içinde adanmış sistemler dağıtabilir veya açık kaynak sistemleri üzerinde işbirliği yapabilirler.

Ancak, daha demokratik, kullanıcı odaklı bir mesh ağı ortaya çıkıp, gerçek bir AI eşdeğeri BitTorrent oluşturup oluşturamayacağı konusunda several faktörler var.

İlk olarak, şifreleme ve anonimlik karşıtı küresel hareket, böyle sistemlerin anonimliklerini sağlayan birçok mekanizmayı ortadan kaldırabilir veya zayıflatabilir.

İkincisi, ‘kötüye kullanım’a karşı çıkan veya açık kaynak çerçevelerin anonim çalışmasına karşı çıkan yeni veya önerilen düzenlemeler, küçük oyuncuların piyasadan çıkmasına neden olabilir.

Son olarak, büyük bir sektör oyuncusunun, Embrace, Extend and Extinguish (EEE, Facebook ve Twitter’ın daha ad hoc internet topluluklarına yaptıkları gibi) mesh modelini kendi avantajına dönüştürme gücü, bu oyuncuların mesh modelini benimsemelerine ve kullanıcıların benimsemeye karşı gösterdikleri herhangi bir sürtüşmeyi azaltmalarına neden olabilir.