PiedPiper-Style Dezentrale Inferenzdienste für KI?

Ist ‘BitTorrent für KI’ eine baldige Möglichkeit?

Meinung Nachdem ich gestern Mike Judges unterhaltsame und scharfe Tech-Bro-Satire Silicon Valley noch einmal angesehen habe – in der eine Gruppe sozial gestörter Geek-Genies versucht, ein ‘neues Internet’ namens PiedPiper über ein Mesh-Netzwerk auf jedem Mobiltelefon zu erstellen – war ich interessiert, die HN-Community mit einem neuen Angebot dieser Art zu sehen.

Eigen Labs’ DarkBloom liegt irgendwo zwischen der egalitären Vorstellung eines dezentralen Mesh-Netzwerks für KI-Inferenz und den Profitmotiven des Krypto-Minings, wodurch die Besitzer von Apple-Silicon-Mac-Systemen ihre Ausrüstung in einen Inferenzknoten umwandeln können:

Aus dem Earnings-Bereich der DarkBloom-Website können Benutzer auswählen, welche Ausrüstung sie vermieten möchten und welche KI-Modelle sie unterstützen möchten. Quelle

Das System konzentriert sich derzeit auf textbasierte Modelle wie das agente Trinity Mini (3B) und Cohere Transcribe, bietet aber auch diverse Bildgenerierungsmodelle wie FLUX 2 Klein 4B an:

Die Palette an Modellen, aus denen der ‘Vermieter’ auswählen kann, zusammen mit den monatlichen prognostizierten Einnahmen.

Benutzer, die am Schema teilnehmen, können offensichtlich genug Geld in einem soliden Monat der Inferenzbereitstellung verdienen, um regelmäßig ein neues Mac hinzuzufügen, bis sie theoretisch eine vollständige Inferenzfarm verdienen können.

Effektiv könnte ein Schema dieser Art, das tatsächlich an Popularität gewinnt (es hat derzeit ein Kaltstartproblem), begeisterte Casual-Benutzer wieder in eine Hardware-suchende Haltung versetzen, wie in der letzten großen Kryptowährungs-Blase (und nachfolgendem Crash).

Stopp

Für die kleinen Spieler ist das Boot jedoch möglicherweise bereits abgefahren. Abgesehen von der apokalyptischen Notwendigkeit von RAM für KI, erhöhen die Nachfrage nach globalen KI-fähigen Rechenzentren und die Kosten für Hardware und Dienstleistungen für den durchschnittlichen Verbraucher, der zuvor in der Lage war, RAM für Krypto-Mining zu monopolisieren, aufgrund der peripheren Natur der Aktivität sowie der regulatorischen Unsicherheit, die Geschäftsinteressen vorsichtig auf Krypto hielt.

Während das sehr günstige MacBook Neo als crunch-beatende Alternative zu immer steigenden Hardwarekosten aufgetaucht ist, bringt sein A18-Mobiltelefon-Chip und 8 GB VRAM es nicht in ernsthafte Konkurrenz als Inferenzmaschine.

Aber selbst wenn der Endbenutzer nicht vorhat, eine vollständige Inferenzfarm zu starten und nur seine derzeit nicht genutzte M[n]-Kapazität vermieten möchte, scheinen die potenziellen Einnahmen erheblich, wenn das Kaltstartproblem schnell gelöst wird und die Plattform beginnt, sich als mehr als ein kurioses Experiment in potenzieller Nachfrage zu bewerben.

Inferenz anders

Obwohl einige Kommentatoren eine PiedPiper/Torrent-ähnliche Demokratie in DarkBlooms Schema erkannt haben, sind Inferenzaufgaben nicht so leicht teilbar wie die Fragmentierung einer Filmdatei in mehrere gehashte Slices, damit sie später in einem Torrent-Client wieder zusammengefügt werden kann.

Das DarkBloom-Modell schlägt nicht vor, dass ein Teilnehmers M[n]-Chip x% einer Inferenzaufgabe bearbeitet. In der Hauptanwendung kann nur eine kleine Anzahl von Frameworks oder Methoden diese Art von Cross-GPU-Nutzung auf einer einzelnen Inferenzaufgabe erreichen, einschließlich NVIDIAs TensorRT LLM, das Pipeline-Parallelismus verwendet; und DeepSpeeds sharded Inference, das Modell-Parallelismus (MP) nutzt.

Stattdessen würde Ihr DarkBloom-aktivierter Mac eines der aufgelisteten Modelle herunterladen und 100 % der Inferenz für zahlende Benutzer durchführen, mit End-to-End-Verschlüsselung und mit Prompts, die nur auf hardware-attestierte Knoten entschlüsselt werden, was bedeutet, dass Anbieter die Daten während der Ausführung nicht lesen könnten. Die Arbeitslast selbst würde eine oder mehrere textbasierte Inferenzen oder mindestens ein vollständiges Bild umfassen.

Es ist nicht klar, wie umfangreich eine einzelne Benutzersitzung wäre; wie es derzeit steht, sind KI-Hobbyisten daran gewöhnt, über Inferenzfarmen wie RunPod eine GPU zu sichern; obwohl es eine Weile dauern kann, die gewünschte GPU bei Spitzenauslastung zu sichern, kann der Benutzer sie so lange monopolisieren, wie die Sitzung nicht abläuft.

Es ist also möglich, dass ein einzelner zahlender Benutzer ein einzelnes gemietetes DarkBloom-Mac mit M-Serie-KI-Fähigkeiten für eine sehr lange Sitzung nutzen könnte, es sei denn, es gibt einen logistischen oder compliance-bezogenen Vorteil, die Clients zwischen den Anfragen zu wechseln.

Macs wurden offensichtlich für diesen Ansatz ausgewählt, weil es nur eine begrenzte Anzahl möglicher technischer Konfigurationen für einen Teilnehmer gibt und es daher einfach ist, Modelle einer bestimmten Größe einem Client zuzuweisen.

Zusätzlich haben Macs, die in der Lage sind, zu einem DarkBloom-Netzwerk beizutragen, eine Hardware-sichere Enklave, die eine Wand zwischen dem Benutzer und dem Anbieter garantiert.

Das sind alles Faktoren, die nicht so leicht über mehr generische, benutzerdefinierte Einrichtungen und über die Hunderte oder Tausende von bekannten Laptop- und Desktop-Windows- und Linux-Maschinen, die in den letzten 6-7 Jahren verfügbar sind, zu rationalisieren sind.

Jedoch muss offensichtlich sein, dass der viel größere Nicht-Mac-Hardware-Pool enorme Nachfrage aufnehmen könnte, wenn seine vielfältigen Eigenschaften rationalisiert werden könnten, anstatt – wie bei DarkBloom – auf Apples begrenzte Spezifikationen zu setzen, was ein einfaches Geschäftsangebot und einen (vermutlich) viel einfacheren architektonischen Ansatz darstellt.

Rechtliche Aufsicht?

Vielleicht ist das größte Problem, das einem ‘demokratischen’ Lösungsansatz dieser Art gegenübersteht, die geschlossene Natur des vorgeschlagenen Prozesses; Regierungen auf der ganzen Welt sind derzeit mit neuen Gesetzen beschäftigt, die wirksam die Anonymität im Internet beenden würden, wo immer sie erlassen werden, und sind offensichtlich nicht in einer pro-Privatsphäre-Einstellung in dieser Zeit.

Daher erscheint die Aussicht auf zufällige KI-Inferenz, die ohne Filter, Kontrollen oder Ausgleich über ein verteiltes Netzwerk (wenn man DarkBloom als solches bezeichnen kann – es ist mehr ein Inferenz-Marktplatz) durchgeführt wird, ironischerweise fern.

Es ist möglich, dass DarkBloom oder andere nachfolgende Mesh-Inferenz-Schemata zustimmen müssen, Hintertüren zu öffnen, die die Privatsphäre effektiv auf den Host beschränken, der nicht in der Lage sein wird, Client-Jobs auszuführen; stattdessen würde die zurückgegebene Inferenz-Daten über Regierungsagentur-Man-in-the-Middle-(MiTM)-Strukturen verfügbar gemacht, um alle Inferenzen überprüfbar zu halten.

Vermutlich werden, wenn die Welle neuer Gesetze vorschlägt, OS-ebene-Identitätsprüfungen jemals weithin angenommen, solche Maßnahmen möglicherweise überflüssig. Aber ohne sie würde ein DarkBloom-ähnliches Netzwerk wahrscheinlich als KI-‘Dunkelnetz’ angesehen, in dem illegale KI-basierte Aktivitäten im Geheimen stattfinden könnten.

Split-Tests

Bisher gab es erstaunlich wenige echte Versuche, das zu tun, was ein ‘PiedPiper-Style’-System impliziert; DarkBloom befindet sich selbst an einem Extrem, indem es komplette Jobs an einzelne Maschinen verteilt, anstatt zu versuchen, sie über ein Netzwerk zu fragmentieren, während die meisten Produktions-Systeme das Problem einfach vermeiden, indem sie die Inferenz auf einem einzelnen Host behalten.

Es gibt jedoch eine Handvoll Projekte, die etwas näher an ‘geteilte Ausführung’ herankommen.

Petals, das sich selbst als ‘BitTorrent-ähnliches’ Netzwerk beschreibt, verteilt Transformer-Blöcke über mehrere internetverbundene Knoten, wobei Zwischenzustände zwischen ihnen übertragen werden:

Ein typischer Petals-Workflow, bei dem eine einzelne Inferenzanfrage über mehrere Remote-GPUs geroutet wird, von denen jede einen Teil der Modellschichten enthält; im Gegensatz zu DarkBloom wird die Ausführung über das Netzwerk fragmentiert, wobei Zwischenzustände zwischen unabhängig betriebenen Knoten übertragen werden, was die Latenz und die Exposition bei jedem Hop erhöht, während es ein wahres Mesh-System approximiert. Quelle

Hivemind experimentiert mit ähnlicher Peer-to-Peer-Koordination und Experten-Routing, jedoch im Dienste des Trainings von Modellen und nicht der Inferenz aus bereits trainierten Modellen; und Lattica konzentriert sich auf die zugrunde liegende Netzwerkschicht, die erforderlich ist, um solche Systeme lebensfähig zu machen:

Ein Schematische von Lattica, das eine untergeordnete Peer-to-Peer-Substrat zeigt, das NAT-Traversal, Content-Verteilung und DHT-basierte Koordination (Distributed Hash Table) behandelt, wobei sharded Inference nur als eine mögliche Anwendungsebene auftritt; im Gegensatz zu DarkBloom oder Petals definiert Lattica kein Inferenzsystem selbst, sondern bietet die Netzwerk- und Synchronisationsprimitiven, die erforderlich sind, um eines zu bauen. Quelle

Alle drei dieser Modelle nähern sich dem Mesh-Ideal, aber auf Kosten von Latenz, Instabilität und Exposition.

Im Gegensatz dazu hält exo die Inferenz innerhalb eines lokalen Clusters, wobei schnelle Interconnects verwendet werden, um die Arbeitslasten über GPUs zu verteilen, ohne auf das öffentliche Internet zurückzugreifen. In der Praxis verhält sich ein solches Setup weniger wie ein verteiltes Mesh und mehr wie eine einzelne erweiterte Maschine, obwohl es eine klare Möglichkeit gibt, diesen Ansatz über ein breiteres Netzwerk auszudehnen:

Ein Clusteransicht von exo, die einen kleinen Ring von lokalen Apple-Silicon-Maschinen zeigt, die gemeinsam ein einzelnes Modell hosten, wobei Pipeline- oder Tensor-Sharding die Schichten über die Knoten verteilt; im Gegensatz zu WAN-basierten Systemen verlässt sich exo auf schnelle lokale Interconnects, wodurch mehrere Geräte effektiv in eine einzelne Zusammengesetzte Inferenzmaschine umgewandelt werden. Quelle

Schließlich befassen sich einige häufig zitierte Ansätze nicht mit Inferenz: Das inzwischen traditionsreiche (2016) Google FedAvg; MITs 2018er SplitNN; und das australische Angebot von 2020 SplitFed befassen sich mit der Verteilung von Trainingsdaten oder dem Austausch von Daten mit Datenschutz, anstatt Live-Inferenzanfragen zu bearbeiten.

Da das Training ein viel ressourcenintensiveres Vorhaben ist als die Inferenz, könnten Netzwerke, die eine solche Last effektiv über Cluster oder Knoten verteilen, ein unverhältnismäßig großes Interesse von Hobbyisten und Unternehmen haben.

Schlussfolgerung

Da viel von der Technologie in Silicon Valley wilde Erfindung war, wissen wir nicht, ob PiedPiper wirklich hash-getrieben war (d. h. Daten in Chunks aufgeteilt und verteilt, torrent-ähnlich) oder ob es eine Aufgabe oder eine Sitzung auf einem bestimmten Knoten zu einem bestimmten Zeitpunkt ‘abgeschlossen’ hat, was DarkBloom tut.

Die derzeitige Hetze, Trainings- und Inferenz-Hardware auf Datenebene bereitzustellen, deutet darauf hin, dass der Bereitstellungssektor entweder vorhat, jeden zu bedienen, oder sich auf die lukrativste Unternehmensebene vorbereitet – ein verlockendes Vorhaben, das durch den allgemeinen Mangel an Schutzmaßnahmen in der KI-Bereitstellung untergraben wird.

Wenn Mesh-Inferenz Realität wird, ist es vernünftig anzunehmen, dass die ersten Versuche, sie auszunutzen, von den etablierten Unternehmen wie OpenAI und Anthropic kommen werden, die entweder dedizierte Systeme innerhalb einer bestehenden App-Installationsbasis bereitstellen oder sich auf Open-Source-Systeme einlassen können, die leicht zu installieren sind (da Unternehmen dieser Größe und Reichweite das Geld und den Anreiz haben, schwierige Installationen dieser Art zu straffen).

Was die Frage angeht, ob ein demokratischer, benutzergetriebener Mesh-Netzwerk entstehen kann, ein wahrer KI-Äquivalent zu BitTorrent – eine Reihe von Faktoren sind dagegen:

Erstens könnte die derzeitige globale Kampagne gegen Verschlüsselung und Anonymität die Mechanismen, die Systeme wie BitTorrent anonym machen, wie End-to-End-Verschlüsselung und VPNs, beseitigen oder untergraben, sobald die ‘generischen’ verschlüsselten Streams, die diese Protokolle verbergen, für die Inspektion geöffnet werden, und neue Schichten der Aufsicht und des Verbots möglich werden, was den Reiz eines DarkBloom-ähnlichen Systems untergraben könnte.

Zweitens bedeuten die aufkommenden oder vorgeschlagenen Vorschriften gegen ‘Missbrauch’ von KI oder gegen anonymen Betrieb von Open-Source-Frameworks, dass die Kosten für die Einhaltung – trivial auf Unternehmensebene – wahrscheinlich kleinere Spieler vom Markt nehmen würden.

Schließlich – die Macht eines großen Branchenakteurs, Embrace, Extend und Extinguish (EEE, wie Facebook und Twitter mit mehr ad-hoc-Internet-Communities argumentieren könnten), bedeutet, dass die aktuellen großen Spieler das Mesh-Modell zu ihrem eigenen Vorteil operationalisieren und straffen können, in einem Markt, in dem Endbenutzer fast völlig intolerant gegenüber Reibung bei der Übernahme sind.

Erstveröffentlichung: Donnerstag, 16. April 2026