Clairvoyance de la Stardock adaugă Hivemind pentru a partaja resursele GPU neutilizate în vederea utilizării IA locale

Clairvoyance de la Stardock adaugă o modalitate prin care echipele pot folosi calculatoarele inactive pentru inferența IA. Managerul său de modele locale, Locama, include Hivemind, o funcție care partajează capacitatea locală de inferență între calculatoarele unei companii, precum și un test de performanță menit să arate cât de bine rulează IA pe anumite componente hardware.

Lansarea din 5 noiembrie prezintă Clairvoyance 0.90 ca pe un mediu desktop pentru utilizarea împreună a modelelor locale și cloud. Locama gestionează instalarea, rularea și orchestrarea modelelor locale pe Windows, macOS și Linux; Hivemind extinde această idee de la un singur calculator la calculatoarele disponibile ale unei echipe.

Stardock vizează activități de rutină, cu volum mare, în domenii precum achizițiile, lanțurile de aprovizionare, operațiunile juridice și finanțele. Argumentul companiei este că unele dintre aceste sarcini pot fi executate pe echipamente pe care organizația le deține deja, reducând nevoia de a trimite fiecare solicitare către un serviciu cloud tarifat în funcție de utilizare.

Hivemind transformă calculatoarele neutilizate în capacitate partajată de inferență

Hivemind le permite membrilor echipei să ruleze sarcini de IA folosind GPU-urile neutilizate ale calculatoarelor companiei. Acest lucru ar putea fi deosebit de util în afara programului normal de lucru, când calculatoarele capabile să ruleze modele locale ar putea rămâne nefolosite.

„Majoritatea companiilor au în fiecare noapte calculatoare performante care stau nefolosite, iar Hivemind le permite să le grupeze și să le pună la lucru”, a declarat Brad Wardell, CEO al Stardock Software.

În terminologia tehnică a companiei, Hivemind este descris ca inferență locală partajată între sisteme conectate. Separat, Locama este identificat drept gazda de inferență, iar o componentă de rutare numită Concierge este responsabilă de alegerea unui model și a unui calculator pentru fiecare rundă de interacțiune.

Este important să distingem acest lucru de presupunerea că mai multe calculatoare devin un singur accelerator de mari dimensiuni. Partajarea sarcinilor între calculatoarele disponibile poate crește capacitatea utilizabilă, însă anunțul nu precizează dacă se folosește execuția paralelă pe tensori, dacă memoria GPU este combinată sau cum ar fi împărțit între sisteme un model prea mare pentru un singur calculator.

Pentru o echipă care decide unde să ruleze o sarcină, întrebările utile sunt dacă modelul încape pe echipamentele disponibile, dacă oferă rezultate acceptabile și dacă rutarea sarcinii către un alt calculator adaugă mai multă întârziere decât economisește. Valoarea Hivemind va depinde de această combinație, nu doar de disponibilitatea GPU-urilor.

Modele locale și cloud în același spațiu de lucru

Clairvoyance organizează asistenții IA sub forma unor membri ai personalului cu nume proprii, numiți Staff, care lucrează cu fișierele utilizatorului și creează documente și alte materiale. Documentația sa descrie atribuirea unor furnizori diferiți sau a unor modele locale membrilor Staff, ceea ce permite combinarea mai multor opțiuni de calcul într-un spațiu de lucru.

Deosebirea dintre aceste opțiuni este importantă. Un model local rulează pe echipamente controlate de utilizator sau de organizație. Conectarea la un instrument al unui furnizor cloud oferă acces prin contul și sistemul de autentificare al acelui furnizor; instalarea Clairvoyance nu include automat acces nelimitat la fiecare model comercial acceptat.

Documentația menționează, de asemenea, că modelele locale diferă în ceea ce privește capacitatea de a utiliza instrumente. Un model care poate răspunde la întrebări nu este neapărat capabil să execute fluxul de lucru autonom de care are nevoie o echipă. Prin urmare, alegerea unui model local mai mic este o decizie specifică sarcinii, care ține cont atât de capabilități, cât și de viteză.

Astfel, produsul îndeplinește un rol practic între un angajat și mediile de execuție ale modelelor de bază. În loc să folosească același sistem de procesare pentru fiecare sarcină, mediul poate permite alegeri diferite în funcție de activitate. Lansarea nu prezintă reduceri ale costurilor cloud măsurate independent în urma implementării Hivemind.

Un test de performanță pentru echipamentele pe care oamenii le dețin efectiv

Locama include și Clairvoyance Local AI Benchmark. Stardock descrie indicatorul său principal, Viteza modelului, ca reunind timpul de care are nevoie un model local pentru a procesa o solicitare și a furniza un răspuns complet. Rezultatele publice sunt disponibile la clairvoyanceai.com/benchmark, iar utilizatorii Professional pot efectua teste pe propriile echipamente.

Notele de lansare ale produsului descriu măsurători precum preprocesarea promptului, decodarea, timpul până la primul token și memoria, alături de teste axate pe sarcini. Preprocesarea promptului înseamnă procesarea unui prompt de intrare și a contextului său; decodarea este generarea răspunsului. Aceste etape pot solicita echipamentele în moduri diferite.

Un prim token generat rapid poate face ca interfața să pară receptivă, în timp ce durata totală de finalizare contează pentru o sarcină procesată în lot sau pentru o sarcină mai lungă a unui agent. Afișarea acestor măsurători face testul de performanță mai util decât bazarea pe o singură specificație hardware.

Pagina cu rezultate precizează că înregistrările provin de la utilizatori Clairvoyance și reflectă echipamentele și setările acestora. Prin urmare, baza de date oferă dovezi specifice anumitor configurații, nu un clasament independent realizat în condiții controlate. Pentru comparații relevante, trebuie luate în considerare în continuare modelul, precizia, contextul, sarcina și mediul de execuție folosit.

Integrarea cu Qualcomm adaugă o altă opțiune de calcul local

Activitatea Clairvoyance alături de Qualcomm a început înainte de această lansare. Un articol pentru dezvoltatori publicat de Qualcomm pe 23 septembrie documentează integrarea GenieX, mediul de execuție pentru IA generativă pe dispozitiv al producătorului de cipuri, cu NPU-ul Hexagon din PC-urile din seria Snapdragon X.

Această integrare extinde inferența locală dincolo de GPU-urile desktop convenționale. Qualcomm descrie selectarea modelelor și a resurselor de calcul în funcție de cerințele sarcinii, cu suport pentru fluxuri de lucru agentice locale. Acest lucru nu demonstrează că orice model local poate înlocui un model cloud de ultimă generație pentru orice sarcină.

Relevanța pentru Hivemind ține de strategia hardware mai amplă: utilizarea resurselor de calcul existente printr-un singur mediu de lucru. Diferite mașini pot oferi capacități de model, lățimi de bandă și accelerări diferite, așa că software-ul trebuie să adapteze sarcina la resursele disponibile.

Prețuri și economia reutilizării hardware-ului

Clairvoyance 0.90 este lansat pentru Windows, macOS și Linux. Pagina cu prețuri prezintă un nivel gratuit pentru uz personal și necomercial, în timp ce Professional costă 20 USD pe lună și include licență comercială, Hivemind, funcționalități pentru echipe, sincronizare în cloud și un pachet de tokenuri IA. Enterprise este oferit la prețul de 100 USD per utilizator, pe lună, cu funcționalități organizaționale suplimentare și opțiuni pentru volume mari.

Inferența locală poate reduce cheltuielile cu serviciile cloud calculate în funcție de utilizare, dar implică în continuare costuri: energie, uzura hardware-ului, administrare și costul de oportunitate al ocupării unei mașini. O comparație a costurilor trebuie să țină cont și de calitatea rezultatelor, precum și de munca necesară pentru verificarea sau corectarea acestora.

Stardock mizează pe faptul că suficiente sarcini recurente pot fi realizate conform acestor cerințe pe echipamentele deja disponibile în apropiere. Hivemind le oferă echipelor o modalitate de a explora această posibilitate, iar benchmarkul oferă un punct de plecare pentru a măsura ce modele și mașini sunt potrivite pentru fiecare sarcină.