Clairvoyance od Stardocku přidává Hivemind pro sdílení nevyužívaných GPU při lokálním zpracování AI

Clairvoyance od Stardocku přináší týmům možnost využít nečinné počítače k inferenčním výpočtům AI. Jeho správce lokálních modelů Locama zahrnuje funkci Hivemind, která sdílí kapacitu pro lokální inferenci mezi počítači ve firmě. Součástí je také benchmark určený k vyhodnocení toho, jak dobře konkrétní hardware zvládá AI.

Verze Clairvoyance 0.90, vydaná 5. listopadu, je představena jako desktopové prostředí pro společné používání lokálních a cloudových modelů. Locama spravuje instalaci, spouštění a orchestraci lokálních modelů ve Windows, macOS a Linuxu; Hivemind tuto možnost rozšiřuje z jednoho počítače na dostupné počítače celého týmu.

Stardock cílí na běžné firemní úlohy s vysokým objemem práce v oblastech, jako jsou nákup, dodavatelské řetězce, právní agenda a finance. Podle společnosti lze některé z těchto úloh zpracovávat na hardwaru, který organizace již vlastní, a omezit tak potřebu odesílat každý požadavek do zpoplatněné cloudové služby.

Hivemind mění nevyužívané počítače ve sdílenou inferenční kapacitu

Hivemind umožňuje členům týmu zpracovávat úlohy AI pomocí nečinných GPU v počítačích firmy. To může být obzvlášť užitečné mimo běžnou pracovní dobu, kdy počítače schopné spouštět lokální modely jinak nemusí být využité.

„Ve většině podniků každou noc nečinně stojí výkonné počítače a Hivemind jim umožňuje tyto stroje propojit a využít,“ uvedl Brad Wardell, generální ředitel společnosti Stardock Software.

Společnost ve své technické terminologii popisuje Hivemind jako sdílenou lokální inferenci mezi uzly. Zvlášť označuje Locama za hostitele inference a směrovací komponentu Concierge za nástroj, který pro daný požadavek vybírá model a počítač.

To je důležitý rozdíl oproti představě, že se z několika počítačů stane jeden velký akcelerátor. Sdílení práce mezi dostupnými počítači může zvýšit využitelnou kapacitu, oznámení však neuvádí, zda se používá paralelní zpracování tensorů, zda se spojuje paměť GPU ani jak by se jeden příliš velký model rozdělil mezi jednotlivé uzly.

Tým, který rozhoduje, kde bude úlohu zpracovávat, by měl zvážit, zda se model vejde na dostupný hardware, zda poskytuje přijatelné výsledky a zda směrování úlohy na jiný počítač nezpůsobí větší zpoždění, než kolik času ušetří. Přínos Hivemindu bude záviset na souhře těchto faktorů, nejen na dostupnosti GPU.

Lokální a cloudové modely v jednom pracovním prostředí

Clairvoyance organizuje asistenty AI jako pojmenované pracovníky, kteří pracují se soubory uživatele a vytvářejí dokumenty i další výstupy. Jeho dokumentace popisuje přiřazování různých poskytovatelů nebo lokálních modelů jednotlivým pracovníkům, takže lze v jednom pracovním prostředí kombinovat různé možnosti výpočtů.

Rozdíl mezi těmito možnostmi je důležitý. Lokální model běží na hardwaru, který má pod kontrolou uživatel nebo organizace. Připojení nástroje cloudového poskytovatele umožňuje přístup prostřednictvím jeho účtu a ověřování; samotná instalace Clairvoyance automaticky nezahrnuje neomezený přístup ke všem komerčním modelům, které podporuje.

Dokumentace také upozorňuje, že možnosti používání nástrojů se u jednotlivých lokálních modelů liší. Model, který dokáže odpovídat na otázky, nemusí nutně zvládnout agentní pracovní postup, který tým potřebuje. Výběr menšího lokálního modelu je proto rozhodnutím závislým na konkrétní úloze, při němž je třeba zohlednit schopnosti modelu i jeho rychlost.

Produkt tak plní praktickou roli mezi zaměstnancem a běhovými prostředími samotných modelů. Místo toho, aby každá úloha využívala stejné zázemí, může prostředí nabídnout různé možnosti pro různé druhy práce. Vydání neuvádí nezávisle naměřené snížení cloudových nákladů při nasazení Hivemindu.

Benchmark pro hardware, který lidé skutečně vlastní

Locama obsahuje také benchmark Clairvoyance Local AI Benchmark. Stardock uvádí, že hlavní metrika Model Speed kombinuje dobu, kterou lokální model potřebuje ke zpracování požadavku a vrácení úplné odpovědi. Veřejné výsledky jsou dostupné na adrese clairvoyanceai.com/benchmark a uživatelé tarifu Professional mohou testy spouštět na vlastním hardwaru.

Poznámky k vydání produktu popisují měřené ukazatele, mezi něž patří předzpracování vstupu, generování odpovědi, čas do prvního tokenu a využití paměti, i testy zaměřené na konkrétní úlohy. Předzpracování vstupu spočívá ve zpracování vstupního promptu a jeho kontextu; generování odpovědi je tvorba výstupu. Každá z těchto fází může hardware zatěžovat jiným způsobem.

Rychlé vygenerování prvního tokenu může způsobit, že rozhraní působí svižně, zatímco u dávkové úlohy nebo delšího úkolu agenta záleží na celkové době dokončení. Díky tomu, že jsou tyto ukazatele zobrazené samostatně, je benchmark užitečnější než spoléhání na jedinou hardwarovou specifikaci.

Stránka s výsledky označuje příspěvky jako příspěvky uživatelů Clairvoyance a uvádí, že odrážejí jejich hardware a nastavení. Databáze tak nabízí důkazy specifické pro jednotlivé konfigurace, nikoli kontrolovaný nezávislý žebříček. Pro smysluplné srovnání je nadále třeba zohlednit použitý model, přesnost, kontext, úlohu i běhové prostředí.

Integrace Qualcomm přidává další možnost lokálních výpočtů

Spolupráce Clairvoyance se společností Qualcomm začala ještě před tímto vydáním. Článek společnosti Qualcomm určený vývojářům z 23. září popisuje integraci GenieX, generativního běhového prostředí výrobce čipů pro zařízení, s jednotkou NPU Hexagon v počítačích řady Snapdragon X.

Tato integrace rozšiřuje možnosti lokálního odvozování nad rámec běžných grafických procesorů pro stolní počítače. Qualcomm popisuje výběr modelů a výpočetních zdrojů podle požadavků konkrétního úkolu a podporu lokálních agentních pracovních postupů. Nedokládá však, že každý lokální model dokáže nahradit špičkový cloudový model při řešení každého úkolu.

Význam pro Hivemind spočívá v širší hardwarové strategii: zpřístupnit stávající výpočetní zdroje prostřednictvím jednotného pracovního prostředí. Různé počítače mohou nabízet různou kapacitu pro modely, šířku pásma i možnosti akcelerace, takže software musí přizpůsobit úlohu tomu, co je k dispozici.

Ceny a ekonomika opětovného využití hardwaru

Verze Clairvoyance 0.90 vychází pro Windows, macOS a Linux. Na její stránce s cenami je uvedena bezplatná verze pro osobní a nekomerční použití, zatímco tarif Professional stojí 20 $ měsíčně a zahrnuje komerční licenci, Hivemind, funkce pro týmovou spolupráci, synchronizaci s cloudem a balíček tokenů AI. Tarif Enterprise je uveden za 100 $ za uživatele měsíčně a nabízí další funkce pro organizace a množstevní cenové podmínky.

Lokální odvozování může snížit výdaje za cloudové služby účtované podle využití, ale stále s sebou nese náklady: spotřebu energie, opotřebení hardwaru, správu a náklady obětované příležitosti spojené s využíváním počítače. Při porovnávání nákladů je třeba zohlednit také kvalitu výstupu a veškerou práci nutnou k jeho kontrole nebo opravě.

Stardock sází na to, že dostatek opakujících se úloh lze zvládnout na hardwaru, který už je k dispozici. Hivemind dává týmům možnost tuto možnost prozkoumat a benchmark nabízí výchozí bod pro posouzení, které modely a počítače se pro danou úlohu hodí.