Clairvoyance від Stardock додає Hivemind, щоб об’єднувати незадіяні GPU для локального ШІ

Clairvoyance від Stardock дає змогу командам залучати незадіяні комп’ютери до виконання інференції ШІ. Менеджер локальних моделей Locama містить Hivemind — функцію, яка об’єднує потужності для локального інференсу на комп’ютерах компанії, — а також бенчмарк, покликаний показати, наскільки добре конкретне обладнання виконує завдання ШІ.

Випуск від 5 листопада представляє Clairvoyance 0.90 як настільне середовище для спільного використання локальних і хмарних моделей. Locama керує встановленням, запуском та оркестрацією локальних моделей у Windows, macOS і Linux; Hivemind поширює цю концепцію з одного комп’ютера на доступні команді пристрої.

Stardock орієнтується на типові бізнес-завдання з великим обсягом роботи у сферах закупівель, ланцюгів постачання, юридичних операцій і фінансів. Компанія стверджує, що частину таких завдань можна виконувати на обладнанні, яке організація вже має, зменшуючи потребу надсилати кожен запит до хмарного сервісу з оплатою за використання.

Hivemind перетворює вільні комп’ютери на спільний ресурс для інференсу

Hivemind дає змогу членам команди виконувати завдання ШІ, використовуючи незадіяні GPU на комп’ютерах компанії. Це може бути особливо доречним поза звичайним робочим часом, коли комп’ютери, здатні запускати локальні моделі, інакше простоювали б.

«У більшості підприємств щоночі простоюють потужні комп’ютери, а Hivemind дає змогу об’єднати їх і залучити до роботи», — сказав Бред Варделл, генеральний директор Stardock Software.

У технічній термінології компанії Hivemind описано як спільний локальний інференс між рівноправними вузлами. Окремо Locama визначено як середовище для інференсу, а компонент маршрутизації Concierge відповідає за вибір моделі й комп’ютера для чергового ходу.

Важливо не плутати це з перетворенням кількох комп’ютерів на один великий прискорювач. Розподіл роботи між доступними пристроями може збільшити корисну обчислювальну потужність, однак в анонсі не уточнюється, чи підтримується тензорний паралелізм, об’єднання пам’яті GPU або розподіл однієї завеликої моделі між рівноправними вузлами.

Команді, яка вирішує, де виконувати робоче навантаження, варто з’ясувати, чи вміщується модель у доступне обладнання, чи дає вона прийнятні результати та чи не створює маршрутизація завдань на інший комп’ютер більше затримок, ніж заощаджує часу. Цінність Hivemind залежатиме від сукупності цих чинників, а не лише від доступності GPU.

Локальні й хмарні моделі в одному робочому просторі

У Clairvoyance помічники ШІ представлені як іменовані Staff, які працюють із файлами користувача та створюють документи й інші матеріали. У документації описано, як призначати учасникам Staff різних постачальників або локальні моделі, щоб поєднувати в одному робочому просторі різні обчислювальні можливості.

Різниця між цими варіантами має значення. Локальна модель виконується на обладнанні, яке контролює користувач або організація. Підключення інструмента хмарного постачальника дає доступ через обліковий запис і механізм автентифікації цього постачальника; саме встановлення Clairvoyance автоматично не надає необмеженого доступу до всіх комерційних моделей, які вона підтримує.

У документації також зазначено, що можливості локальних моделей щодо використання інструментів різняться. Модель, здатна відповідати на запитання, не обов’язково може виконати агентний робочий процес, потрібний команді. Тому вибір меншої локальної моделі залежить від конкретного завдання й має враховувати не лише швидкість, а й можливості.

Завдяки цьому продукт може виконувати практичну роль посередника між працівником і базовими середовищами виконання моделей. Замість того щоб використовувати для всіх завдань одну й ту саму серверну систему, середовище дає змогу обирати різні варіанти для різних робіт. У випуску не наведено незалежно виміряного зниження витрат на хмарні сервіси завдяки розгортанню Hivemind.

Бенчмарк для обладнання, яке люди справді мають

Locama також містить Clairvoyance Local AI Benchmark. За описом Stardock, основний показник бенчмарку — «Швидкість моделі» — поєднує час, потрібний локальній моделі, щоб обробити запит і повернути повну відповідь. Публічні результати доступні на clairvoyanceai.com/benchmark, а користувачі Professional можуть проводити тести на власному обладнанні.

У примітках до випуску продукту описано такі вимірювання, як префіл, декодування, час до появи першого токена та використання пам’яті, а також перевірки, орієнтовані на виконання завдань. Префіл — це обробка вхідного промпту та його контексту; декодування — генерування відповіді. Ці етапи можуть по-різному навантажувати обладнання.

Швидка поява першого токена може зробити інтерфейс чутливішим, тоді як для пакетного завдання або тривалішої роботи агента важливий загальний час виконання. Якщо ці показники наведено окремо, бенчмарк корисніший, ніж оцінювання лише за однією характеристикою обладнання.

На сторінці результатів зазначено, що дані надіслали користувачі Clairvoyance і що вони відображають їхнє обладнання та налаштування. Отже, база даних є джерелом даних для конкретних конфігурацій, а не результатом контрольованого незалежного рейтингу. Для змістовного порівняння й надалі потрібно враховувати модель, точність, контекст, завдання та середовище виконання.

Інтеграція з Qualcomm додає ще один варіант локальних обчислень

Співпраця Clairvoyance з Qualcomm розпочалася ще до цього випуску. У статті для розробників Qualcomm від 23 вересня описано інтеграцію GenieX — локального середовища виконання генеративного ШІ від виробника чипів — із Hexagon NPU у ПК серії Snapdragon X.

Ця інтеграція розширює можливості локального інференсу за межі звичайних настільних графічних процесорів. Qualcomm описує вибір моделей і обчислювальних ресурсів відповідно до вимог завдання, а також підтримку локальних агентних робочих процесів. Це не доводить, що будь-яка локальна модель може замінити передову хмарну модель для будь-якого завдання.

Для Hivemind важливіша загальна стратегія роботи з апаратним забезпеченням: зробити наявні обчислювальні ресурси доступними в єдиному робочому середовищі. Різні пристрої можуть відрізнятися обсягом моделей, які здатні запускати, пропускною здатністю та можливостями прискорення, тож програмне забезпечення має добирати ресурси відповідно до завдання.

Ціни та економічна доцільність повторного використання обладнання

Clairvoyance 0.90 виходить для Windows, macOS і Linux. На сторінці з цінами вказано безкоштовний тариф для особистого й некомерційного використання, тоді як тариф Professional коштує $20 на місяць і додає комерційну ліцензію, Hivemind, функції для командної роботи, синхронізацію з хмарою та пакет токенів ШІ, що входить у вартість. Тариф Enterprise коштує $100 за користувача на місяць і передбачає додаткові функції для організацій та умови для великих обсягів.

Локальний інференс може скоротити витрати на хмарні сервіси, що залежать від обсягу використання, але він також має свою ціну: електроенергія, зношування обладнання, адміністрування та втрачена вигода від зайнятої машини. Для порівняння витрат також потрібно враховувати якість результату та роботу, необхідну для його перевірки або виправлення.

Stardock робить ставку на те, що достатньо регулярних завдань можна виконувати на обладнанні, яке вже є поруч. Hivemind дає командам змогу перевірити цю ідею на практиці, а бенчмарк — відправну точку для оцінювання того, які моделі й машини найкраще підходять для конкретних завдань.