Clairvoyance od Stardock dodaje Hivemind, który umożliwia współdzielenie nieużywanych układów GPU na potrzeby lokalnej AI

Clairvoyance od Stardock wprowadza rozwiązanie, dzięki któremu zespoły mogą wykorzystywać nieużywane komputery do wnioskowania AI. Menedżer modeli lokalnych Locama obejmuje funkcję Hivemind, która pozwala współdzielić zasoby lokalnego wnioskowania między komputerami w firmie, a także benchmark służący do oceny wydajności AI na konkretnym sprzęcie.

Wydana 5 listopada wersja Clairvoyance 0.90 przedstawia aplikację desktopową jako środowisko do jednoczesnego korzystania z modeli lokalnych i chmurowych. Locama zarządza instalacją, uruchamianiem i orkiestracją modeli lokalnych w systemach Windows, macOS i Linux; Hivemind rozszerza tę koncepcję, umożliwiając wykorzystanie komputerów dostępnych w zespole, a nie tylko jednego urządzenia.

Stardock kieruje swoje rozwiązanie do rutynowych, realizowanych na dużą skalę zadań biznesowych z takich obszarów jak zaopatrzenie, łańcuchy dostaw, obsługa prawna i finanse. Firma argumentuje, że część tych zadań można wykonywać na sprzęcie, który organizacja już posiada, ograniczając potrzebę kierowania każdego zapytania do rozliczanej za użycie usługi chmurowej.

Hivemind przekształca nieużywane komputery we współdzielone zasoby do wnioskowania

Hivemind pozwala członkom zespołu wykorzystywać nieużywane układy GPU w komputerach firmowych do zadań związanych z AI. Może to być szczególnie przydatne poza standardowymi godzinami pracy, gdy komputery zdolne do uruchamiania modeli lokalnych mogłyby w przeciwnym razie pozostawać niewykorzystane.

„Większość przedsiębiorstw ma wydajne komputery, które każdej nocy stoją bezczynnie. Hivemind pozwala połączyć ich zasoby i wykorzystać je do pracy” — powiedział Brad Wardell, dyrektor generalny Stardock Software.

W terminologii technicznej firmy Hivemind to współdzielone lokalne wnioskowanie między równorzędnymi urządzeniami. Osobno określa ona Locamę jako hosta wnioskowania, a komponentowi routującemu o nazwie Concierge przypisuje wybór modelu i komputera na potrzeby danej tury.

Należy odróżnić to rozwiązanie od założenia, że kilka komputerów staje się jednym dużym akceleratorem. Współdzielenie zadań między dostępnymi maszynami może zwiększyć użyteczną moc obliczeniową, ale w ogłoszeniu nie podano, czy możliwe jest wykonywanie obliczeń z podziałem tensorów, łączenie pamięci GPU ani dzielenie jednego zbyt dużego modelu między urządzenia równorzędne.

Zespół decydujący, gdzie uruchomić dane zadanie, powinien ustalić, czy model mieści się w dostępnej pamięci sprzętu, czy generuje zadowalające wyniki oraz czy przekierowanie zadania na inny komputer nie powoduje większych opóźnień, niż pozwala zaoszczędzić. Przydatność Hivemind zależy od tych wszystkich czynników, a nie wyłącznie od dostępności układów GPU.

Modele lokalne i chmurowe w jednym środowisku pracy

Clairvoyance organizuje asystentów AI w nazwane Staff, które pracują z plikami użytkownika i tworzą dokumenty oraz inne materiały. W dokumentacji opisano możliwość przypisywania różnych dostawców lub modeli lokalnych do poszczególnych Staff, dzięki czemu w jednym środowisku pracy można łączyć różne opcje obliczeniowe.

Różnica między tymi opcjami ma znaczenie. Model lokalny działa na sprzęcie kontrolowanym przez użytkownika lub organizację. Połączenie z narzędziem dostawcy usług chmurowych zapewnia dostęp za pośrednictwem jego konta i mechanizmu uwierzytelniania; sama instalacja Clairvoyance nie zapewnia automatycznie nieograniczonego dostępu do wszystkich obsługiwanych przez nią modeli komercyjnych.

Dokumentacja zwraca też uwagę, że możliwości korzystania z narzędzi różnią się w zależności od modelu lokalnego. Model potrafiący odpowiadać na pytania niekoniecznie jest w stanie wykonać wymagany przez zespół przepływ pracy z udziałem agenta. Wybór mniejszego modelu lokalnego jest więc decyzją zależną od konkretnego zadania, uwzględniającą zarówno jego możliwości, jak i szybkość.

Dzięki temu produkt może pełnić praktyczną funkcję pośrednika między pracownikiem a środowiskami uruchomieniowymi modeli. Zamiast kierować każde zadanie do tego samego zaplecza, środowisko może umożliwiać dobór różnych rozwiązań do różnych prac. W informacji o wydaniu nie przedstawiono niezależnych pomiarów obniżenia kosztów usług chmurowych dzięki wdrożeniom Hivemind.

Benchmark dla sprzętu, który użytkownicy rzeczywiście mają

Locama obejmuje również Clairvoyance Local AI Benchmark. Stardock opisuje główny wskaźnik benchmarku, Model Speed, jako połączenie czasu potrzebnego modelowi lokalnemu na przetworzenie zapytania i wygenerowanie kompletnej odpowiedzi. Publiczne wyniki są dostępne pod adresem clairvoyanceai.com/benchmark, a użytkownicy wersji Professional mogą przeprowadzać testy na własnym sprzęcie.

Informacje o wydaniu produktu opisują pomiary obejmujące przetwarzanie wstępne (prefill), dekodowanie, czas do wygenerowania pierwszego tokenu i zużycie pamięci, a także testy związane z konkretnymi zadaniami. Prefill polega na przetwarzaniu promptu wejściowego i jego kontekstu, a dekodowanie — na generowaniu odpowiedzi. Te etapy mogą w różny sposób obciążać sprzęt.

Szybkie wygenerowanie pierwszego tokenu może sprawić, że interfejs będzie wydawał się responsywny, natomiast w przypadku zadania wsadowego lub dłuższego zadania agenta istotny jest całkowity czas jego wykonania. Uwzględnienie tych wskaźników sprawia, że benchmark jest bardziej przydatny niż ocena oparta na jednej specyfikacji sprzętu.

Na stronie z wynikami zaznaczono, że zgłoszenia pochodzą od użytkowników Clairvoyance i odzwierciedlają używany przez nich sprzęt oraz ustawienia. Baza stanowi więc źródło danych dotyczących konkretnych konfiguracji, a nie niezależny ranking uzyskany w kontrolowanych warunkach. Rzetelne porównania nadal wymagają uwzględnienia użytego modelu, precyzji, kontekstu, zadania i środowiska uruchomieniowego.

Integracja z Qualcomm zapewnia kolejną opcję lokalnego przetwarzania

Clairvoyance współpracuje z Qualcomm już przed tą premierą. Artykuł dla deweloperów Qualcomm z 23 września opisuje integrację GenieX, działającego na urządzeniu środowiska wykonawczego generatywnej sztucznej inteligencji producenta układów, z jednostką NPU Hexagon w komputerach z serii Snapdragon X.

Ta integracja rozszerza możliwości lokalnego wnioskowania poza tradycyjne karty graficzne do komputerów stacjonarnych. Qualcomm opisuje dobór modeli i zasobów obliczeniowych do wymagań danego zadania, z obsługą lokalnych przepływów pracy opartych na agentach. Nie dowodzi to, że każdy model lokalny może zastąpić w każdym zadaniu czołowy model działający w chmurze.

Znaczenie tej integracji dla Hivemind wynika z szerszej strategii sprzętowej: udostępnić istniejące zasoby obliczeniowe w jednym środowisku pracy. Różne maszyny mogą oferować różną pojemność pamięci modeli, przepustowość i możliwości akceleracji, dlatego oprogramowanie musi dopasowywać zadanie do dostępnych zasobów.

Cennik i ekonomika ponownego wykorzystania sprzętu

Clairvoyance 0.90 jest udostępniane na systemy Windows, macOS i Linux. Strona z cennikiem wymienia bezpłatny plan do użytku osobistego i niekomercyjnego, natomiast plan Professional kosztuje 20 USD miesięcznie i obejmuje licencję komercyjną, Hivemind, funkcje dla zespołów, synchronizację z chmurą oraz pakiet tokenów AI. Plan Enterprise jest oferowany w cenie 100 USD za stanowisko miesięcznie i obejmuje dodatkowe funkcje dla organizacji oraz warunki dla większych zamówień.

Lokalne wnioskowanie może ograniczyć wydatki na usługi chmurowe rozliczane według zużycia, ale nadal wiąże się z kosztami: zużyciem energii, eksploatacją sprzętu, administracją i kosztem alternatywnym związanym z zajęciem maszyny. Porównanie kosztów powinno uwzględniać również jakość wyników oraz nakład pracy potrzebny do ich sprawdzenia lub poprawienia.

Stardock zakłada, że wystarczająco dużo powtarzalnych zadań można wykonywać na sprzęcie, który już znajduje się w pobliżu. Hivemind pozwala zespołom sprawdzić tę koncepcję, a benchmark stanowi punkt wyjścia do oceny, które modele i maszyny nadają się do danego zadania.