PiedPiper-tyyliset hajautetut päätelmiin perustuvat palvelut tekoälylle?

Onko “BitTorrent tekoälylle” lähellä?

Mielipide Olen juuri ehtinyt katsomaan uudelleen Mike Judgen viihdyttävän ja kitkerän teknologiaa käsittelevän satiirin Silicon Valley – jossa joukko sosiaalisesti haasteellisia neropipoja yrittää luoda “uusi internet” nimeltä PiedPiper mesh-verkon avulla, joka on asennettu jokaisen matkapuhelimen sisään – ja olin kiinnostunut nähdessäni HN-yhteisön keskustelevan uudesta tarjonnasta, joka on samankaltainen.

Eigen Labsin DarkBloom sijoittuu jonnekin välimaastoon, jossa on tasa-arvoinen käsite hajautetusta mesh-verkosta tekoälypäätelmiin ja kryptovaluutan kaivamisen motiiveista, jolloin Apple Silicon Mac -järjestelmien omistajat voivat muuttaa laitteensa päätelmäsolmuksi:

DarkBloomin verkkosivun tulossivulta käyttäjät voivat valita, mitä laitteita he haluavat vuokrata ja mitä tekoälymalleja he haluavat tukea. Lähde

Järjestelmä keskittyy tällä hetkellä tekstipohjaisiin malleihin, kuten agenteille Trinity Mini (3B) ja Cohere Transcribe, vaikka se tarjoaa myös erilaisia kuvien luomismalleja, kuten FLUX 2 Klein 4B:

Mallit, joista “vuokranantaja” voi valita, mitä hän vuokraa, sekä kuukausittaiset ennustetut tulot.

Käyttäjät, jotka osallistuvat järjestelmään, voivat ilmeisesti ansaita tarpeeksi rahaa yhden vahvan kuukauden päätelmien toimittamisesta, jotta he voivat säännöllisesti lisätä uuden Macin kasvavaan ketjuun, kunnes teoriassa he voivat ansaita täysimittaisen päätelmäfarmarin.

Tällaisen järjestelmän, joka todella saisi suosiota (se on tällä hetkellä kylmä käynnistysongelma), voi asettaa innostuneet harrastajakäyttäjät takaisin laitteiston etsintäasenteeseen, kuten viime suuressa kryptovaluutan buumissa (ja myöhemmässä romahduksessa).

Älä niin nopeasti

Pienille toimijoille tämä vene on kuitenkin jo lähtenyt. Tekoälyn apokalyptinen tarve RAM-muistille, maailmanlaajuinen kysyntä tekoälykäytössä olevien tietokeskuksien varustelu jatkuu korkeampiin laitteiden ja palvelujen kustannuksiin tavallisille kuluttajille, jotka aiemmin pystyivät monopolisoimaan RAM-muistin kryptovaluutan kaivamiseen, sen sivullisen luonteen vuoksi, sekä sääntelyn epävarmuuden vuoksi, joka pitänyt liiketoimintakiinnostuksen varovaisena kryptovaluuttaa kohtaan.

Siitä huolimatta, että superhalpa MacBook Neo on nyt ilmestynyt voittamaan laskennan, sen A18-matkapuhelinpiiri ja 8 Gt VRAM-ei laita sitä vakavasti kilpailemaan päätelmäkoneena.

Mutta vaikka loppukäyttäjä ei pyri aloittamaan täysimittaista päätelmäfarmia, vaan ainoastaan vuokrata nykyistä käyttämätöntä M[n]-kapasiteettiaan, potentiaaliset tulot näyttävät merkittäviltä, jos kylmä käynnistysongelma (alkuvaiheen käyttäjien puute) ratkaistaan nopeasti, ja jos alusta alkaa mainostaa itseään enemmän kuin vain mielenkiintoinen kokeilu potentiaalisen kysynnän suhteen.

Päättele eri tavalla

Vaikka useat kommentoijat ovat tunnistaneet PiedPiper/Torrent-tyyppisen demokratian DarkBloomin järjestelmässä, päätelmätehtävät eivät ole yhtä helposti jaettavissa kuin elokuvatiedoston jakaminen useisiin hajautettuihin osiin, jotta se voidaan myöhemmin koota uudelleen torrent-asiakkaassa.

DarkBloom-malli ei ehdota, että osallistujan M[n]-piiri käsittelee x %:a päätelmätehtävästä. Yleisessä käytössä vain muutamalla kehyksellä tai metodologialla voidaan saavuttaa tällainen ristinomaisen GPU:n hyödyntäminen yhdellä päätelmätehtävällä, mukaan lukien Nvidian TensorRT LLM, joka käyttää putkiparalleeliutta; ja DeepSpeedin sharded inference, joka hyödyntää mallin rinnakkaisuutta (MP).

Pienemmän sijaan DarkBloom-käyttöön kytketty Mac lataa ja käynnistää yhden listatun mallin ja suorittaa 100 %:n päätelmätehtävää maksaville käyttäjille, loppupään salaamisen kanssa, ja salaus puretaan vain laitteiston todennetussa solmussa, mikä tarkoittaa, että tarjoajat eivät voi lukea tietoja suorittamisen aikana. Työkuorma itsessään muodostaisi yhden tai useamman tekstipohjaisen päätelmän tai vähintään yhden valmiin kuvan.

Ei ole selvää, kuinka laaja yksittäinen käyttäjäsessio olisi; nykyisin tekoälyharrastajat ovat tottuneet saamaan GPU:n haltuunsa päätelmäfarmeista, kuten RunPod; vaikka se voi kestää jonkin aikaa saada haluttu GPU huipputehokkuuden aikana, käyttäjä saa monopolisoida sen niin kauan kuin sessio ei ole vanhentunut.

On mahdollista, että yksittäinen maksava käyttäjä voisi lopulta käyttää yhtä vuokrattua DarkBloom-Mac-päätelmäkapasiteettia hyvin pitkäksi sessioksi, ellette ole logistista tai noudattamisen etua asiakkaiden välillä.

Macit on valittu tähän lähestymistapaan, ilmeisesti, koska niiden teknisiä konfiguraatioita on vain rajoitettu määrä, ja se on helppo määritellä sopivan kokoisia malleja asiakkaalle.

Lisäksi Macit, jotka pystyvät osallistumaan DarkBloom-verkkoon, ovat laitteiston turvallinen erillisyys, joka takaa esteen käyttäjän ja toimittajan välillä.

Nämä ovat kaikki tekijöitä, jotka eivät ole niin helppoja rationalisoida yleisemmille, mukautetuille asetuksille ja sadoille tai tuhansille tunnetuille kannettaville ja pöytätietokoneille, jotka on ollut saatavilla viimeisen 6-7 vuoden ajan.

Kuitenkin on selvää, että paljon suurempi ei-Mac-laitteistopooli voisi tarjota valtavan kysynnän, jos niiden erilaiset ominaisuudet voitaisiin rationalisoida, sen sijaan, että DarkBloomissa riippuisi Apple-laitteiden rajoitetuista määrityksistä, mikä tekee siitä helpon liiketoimintatarjouksen ja (oletettavasti) paljon helpomman arkkitehtonisen lähestymistavan.

Oikeudellinen valvonta?

Ehkä suurin ongelma, jota “demokraattinen” ratkaisu tällaisessa muodossa kohtaa, on ehdotetun prosessin suljettu luonne; hallitukset ympäri maailmaa ovat parhaillaan mukana uudessa lainsäädännössä, joka vaikuttaa lopettavan internet-anonyymiuden kaikkialla, missä se on voimassa, ja he eivät ole pro-privacy-asenteessa tällä hetkellä.

Tämän vuoksi mahdollisuus satunnaisen tekoälypäätelmän suorittamiselle ilman suodattimia, tarkastuksia tai tasapainoa, hajautetun verkon yli (jos voit kutsua DarkBloomia sellaiseksi – se on enemmän päätelmämarkkinapaikka) näyttää ironisesti etäiseltä.

On mahdollista, että DarkBloom tai muut myöhemmät mesh-päätelmäjärjestelmät tarvitsevat takaportteja, jotka rajoittavat todennäköisesti yksityisyyden isännälle, joka ei voi nähdä asiakastöitä suoritettaessa; sen sijaan palautettu päätelmätieto olisi saatavilla hallituksen viranomaisten välittäjästruktuureiden kautta, pitäen kaikki päätelmät auditoinnin alaisina.

Oletettavasti, jos uusien lakien ehdotus operaatiivisista tarkastuksista saavuttaa laajan hyväksynnän, tällaiset toimenpiteet saattavat muodostua tarpeettomiksi. Mutta ilman niitä, ottaen nykyisen ilmapiirin huomioon, DarkBloom-tyyppinen verkko todennäköisesti katsottaisiin tekoäly-“pimeäverkoksi”, jossa laitonta tekoälytoimintaa voisi tapahtua salassa.

Jakotestit

Tähän asti on ollut yllättävän vähän oikeasti yrityksiä tehdä sitä, mitä “PiedPiper-tyyppinen” järjestelmä viittaa; itsessään DarkBloom sijaitsee yhdessä ääripäässä, jakamalla täydellisiä tehtäviä yksittäisille koneille sen sijaan, että se yrittäisi jakaa ne verkoston yli, kun taas useimmat tuotantojärjestelmät välttävät ongelman kokonaan pitämällä päätelmän yhdellä isännällä.

On kuitenkin joukko projekteja, jotka edustavat jotain, mikä on lähempänä “jaettua suoritusta”.

Petals, joka kuvailee itsensä “BitTorrent-tyyliseksi” verkoksi, jakaa transformaattorin lohkot useiden internet-yhteyden omistavien solmujen yli, välittäen välimuotoisia tiloja niiden välillä:

Tyypillinen Petals-työkulku, jossa yksittäinen päätelmäpyyntö ohjataan useiden etä-GPUjen yli, joista kunkin omistaa osan mallikerroksista; toisin kuin DarkBloom, suoritus jakautuu verkoston yli, ja välimuotoiset tilat välitetään itsenäisesti toimivien solmujen välillä, lisäten viiveitä ja altistusta kussakin hyppäyksessä, ja pyrkien oikeaan mesh-tyyppiseen järjestelmään. Lähde

Hivemind kokeilee samankaltaista vertaiskoordinaatiota ja asiantuntijareititystä, vaikka se on koulutusmallien sijaan johtopäätöksistä; ja Lattica keskittyy verkon alustaan, joka tarvitaan tällaisten järjestelmien toteuttamiseksi:

Lattican skeema, jossa on alimmalla tasolla vertaisverkko, joka käsittelee NAT-traversaalia, sisällön jakoa ja DHT-pohjaista koordinaatiota, ja sharded inference tulee esiin vain yhtenä sovelluskerroksen sovelluksena; toisin kuin DarkBloom tai Petals, Lattica ei määrittele itse päätelmäjärjestelmää, vaan tarjoaa verkon ja synkronoinnin primitiivit, joita voidaan käyttää sen rakentamiseen. Lähde

Kaikki kolme näistä malleista lähestyvät mesh-ihannetta, mutta viiveen, epävakauden ja altistuksen kustannuksella.

Exo pitää päätelmän paikallisessa klusterissa, käyttäen nopeita lokalisia yhteyksiä jakamaan työkuormaa GPUjen yli, ilman riippuvuutta julkisesta internetistä. Käytännössä tämä asettuu enemmän yhden laajennetun koneen kaltaiseksi kuin hajautetun mesh-verkon kaltaiseksi:

Exon klusterinäkymä, jossa on pieni rengas paikallisia Apple Silicon -koneita, jotka yhdessä isännöivät yhtä mallia, ja putki- tai tensor-sharding jakaa kerrokset solmujen välillä; toisin kuin WAN-pohjaiset järjestelmät, exo riippuu nopeista paikallisista yhteyksistä, muuttaen useita laitteita yhdeksi yhdistetyksi johtopäätöskoneeksi. Lähde

Lopulta joitakin yleisesti mainittuja lähestymistapoja ei käsitellä johtopäätöksiä lainkaan: vanha (2016) Google FedAvg; MIT:n 2018 ilmestynyt SplitNN; ja Australian 2020 tarjonta SplitFed keskittyvät jakautuneen koulutuksen tai yksityisyyden suojaavan tietojen vaihtoon, eikä live-päätelmäpyyntöjen palveluun.

Koska koulutus on paljon resursseja vaativampi asia kuin johtopäätelmä, mikä tahansa verkko, joka pystyy jakamaan tämän kuorman tehokkaasti, klustereiden tai solmujen yli, voisi olla harrastajien ja liiketoiminnan kiinnostuksen kohteena myöhemmin.

Johtopäätös

Koska suurin osa Silicon Valley -sarjan teknologiasta oli villihyttystä, emme tiedä, oliko PiedPiper todella hajautettu (ts. jakautunut ja jaettu tietoihin, Torrent-tyylisesti) vai asettiiko se tehtävän tai istunnon yhdelle solmulle kerran; tämä on sitä, mitä DarkBloom tekee.

Kuitenkin nykyinen kiirehdintä tarjota koulutus- ja johtopäätelmäkalustoa tietokeskuksissa osoittaa, että toimittajasektori odottaa joko palvelevan kaikki RunPod-tyylisesti tai valmistautuu tarjoamaan eniten tuottavaa yritystason tarjoamista.

Jos mesh-johtopäätelmä tulee todelliseksi, on kohtuullista odottaa, että ensimmäiset yritykset hyödyntää sitä tulevat olla suurten toimijoiden, kuten OpenAI:n ja Anthropicin, joilla on varaa käyttää omia järjestelmiä massiivisessa sovellusasennuksessa tai yhteistyössä avoimen lähdekoodin järjestelmien kanssa, jotka ovat helppoja asentaa (koska yritykset tämän kokoluokan ja ulottuvuuden kanssa ovat rahoittaneet ja motivoineet suorittamaan hankalat asennukset tällaisia järjestelmiä).

Onko mahdollista, että enemmän demokraattinen, käyttäjien ohjattu mesh-verkko voisi syntyä, oikea tekoälyvastine BitTorrentille – joukko tekijöitä on asettunut sitä vastaan.

Ensinnäkin, maailmanlaajuinen kampanja salausta ja anonyymiutta vastaan voi poistaa tai heikentää monia mekanismeja, jotka tekevät järjestelmistä kuten BitTorrent anonyymejä, kuten loppupään salaamisen ja VPN:t. Kun “yleiset” salatut virrat, jotka piilottavat tällaiset protokollat, ovat avoimia tarkastelulle, uudet valvontatason ja kieltämiset tulevat mahdollisiksi, ja tämä voi heikentää DarkBloom-tyyppisen järjestelmän vetovoimaa.

Toiseksi, nousevat tai ehdotetut säännökset “tekoälyn väärinkäytöstä” tai anonyymien avoimen lähdekoodin kehyksien toiminnasta tarkoittavat, että noudattamisen kustannukset – jotka ovat vähäisiä yritystasolla – todennäköisesti poistavat pienemmät toimijat markkinasta.

Lopulta – suuren toimijan valta “omaksua, laajentaa ja sammuttaa” (EEE, kuten Facebook ja Twitter ovat tehneet enemmän ad hoc internet-yhteisöjen kanssa), tarkoittaa, että nykyiset suuret toimijat voivat käyttää mesh-mallia omaksi edukseen markkinassa, jossa loppukäyttäjät ovat lähes täysin intolerantteja minkäänlaisia kitkauksia omaksumisessa.

Julkaistu torstaina, 16. huhtikuuta 2026