Clairvoyance от Stardock добавляет Hivemind: неиспользуемые графические процессоры можно задействовать для локального ИИ

Clairvoyance от Stardock позволяет командам задействовать простаивающие компьютеры для инференса ИИ. В менеджер локальных моделей Locama входит Hivemind — функция, которая распределяет мощности локального инференса между компьютерами компании; кроме того, в программу включен тест производительности, призванный показать, насколько хорошо конкретное оборудование справляется с задачами ИИ.

Выпуск от 5 ноября представляет Clairvoyance 0.90 как настольную среду для совместной работы с локальными и облачными моделями. Locama управляет установкой, запуском и оркестрацией локальных моделей в Windows, macOS и Linux; Hivemind расширяет эту концепцию, позволяя задействовать не один компьютер, а доступные команде машины.

Stardock ориентируется на регулярные бизнес-задачи с большим объемом работы в таких областях, как закупки, цепочки поставок, юридическое сопровождение и финансы. Компания утверждает, что некоторые из этих задач можно выполнять на уже имеющемся у организации оборудовании, уменьшая необходимость отправлять каждый запрос в облачный сервис с оплатой по факту использования.

Hivemind превращает простаивающие компьютеры в общий ресурс для инференса

Hivemind позволяет участникам команды выполнять задачи ИИ, используя простаивающие графические процессоры на компьютерах компании. Это может быть особенно актуально за пределами обычного рабочего времени, когда способные запускать локальные модели машины в противном случае могут оставаться незадействованными.

«У большинства компаний каждую ночь простаивают мощные компьютеры, и Hivemind позволяет объединить их и пустить в дело», — сказал Брэд Уорделл, генеральный директор Stardock Software.

В технической терминологии компании Hivemind описывается как совместный локальный инференс между узлами. Отдельно Locama названа средой для инференса, а компонент маршрутизации Concierge отвечает за выбор модели и компьютера для каждого запроса.

Важно не считать, что несколько компьютеров превращаются в один большой ускоритель. Распределение работы между доступными машинами может увеличить полезную вычислительную мощность, однако в объявлении не уточняется, поддерживается ли тензорный параллелизм, объединение памяти графических процессоров или распределение одной слишком большой модели между узлами.

Команде, решающей, где выполнять рабочую нагрузку, стоит выяснить, помещается ли модель на доступном оборудовании, дает ли она приемлемые результаты и не приводит ли перенаправление работы на другой компьютер к большей задержке, чем выигрышу. Польза Hivemind будет зависеть от совокупности этих факторов, а не только от наличия графических процессоров.

Локальные и облачные модели в одной рабочей среде

Clairvoyance представляет ИИ-помощников как именованных сотрудников Staff, которые работают с файлами пользователя и создают документы и другие материалы. В документации описана возможность назначать участникам Staff разных поставщиков или локальные модели, сочетая в одной рабочей среде различные вычислительные ресурсы.

Различие между этими вариантами имеет значение. Локальная модель работает на оборудовании, контролируемом пользователем или организацией. Подключение инструмента облачного поставщика обеспечивает доступ через его учетную запись и систему аутентификации; установка Clairvoyance не дает автоматически неограниченного доступа ко всем поддерживаемым коммерческим моделям.

В документации также отмечается, что возможности локальных моделей по работе с инструментами различаются. Модель, способная отвечать на вопросы, не обязательно сможет выполнить необходимый команде агентный рабочий процесс. Поэтому выбор более компактной локальной модели зависит от конкретной задачи и должен учитывать не только скорость, но и функциональные возможности.

Благодаря этому продукт занимает практическое место между сотрудником и лежащими в его основе средами выполнения моделей. Вместо того чтобы использовать для каждой задачи одну и ту же серверную часть, рабочая среда позволяет подбирать разные варианты для разных видов работы. В выпуске не приводятся независимые измерения сокращения расходов на облачные сервисы при развертывании Hivemind.

Тест производительности для оборудования, которое уже есть у пользователей

В Locama также входит Clairvoyance Local AI Benchmark. По описанию Stardock, основная метрика Model Speed объединяет время, необходимое локальной модели для обработки запроса и выдачи полного ответа. Общедоступные результаты опубликованы на clairvoyanceai.com/benchmark, а пользователи Professional могут запускать тесты на собственном оборудовании.

В примечаниях к выпуску продукта описаны такие показатели, как предварительная обработка входных данных, декодирование, время до появления первого токена и использование памяти, а также проверки, ориентированные на выполнение задач. Предварительная обработка — это обработка входного запроса и его контекста; декодирование — генерация ответа. Эти этапы могут по-разному нагружать оборудование.

Быстрое появление первого токена помогает интерфейсу казаться отзывчивым, тогда как для пакетного задания или продолжительной работы агента важно общее время выполнения. Если эти показатели представлены отдельно, тест производительности полезнее, чем одна лишь характеристика оборудования.

На странице результатов указано, что данные предоставили пользователи Clairvoyance и что они отражают их оборудование и настройки. Поэтому база служит источником сведений для конкретных конфигураций, а не результатом контролируемого независимого рейтинга. Для содержательного сравнения по-прежнему необходимо учитывать модель, точность, контекст, задачу и используемую среду выполнения.

Интеграция с Qualcomm расширяет выбор локальных вычислительных решений

Работа Clairvoyance с Qualcomm началась ещё до этого выпуска. В статье Qualcomm для разработчиков от 23 сентября описана интеграция GenieX — разработанной производителем чипов среды выполнения генеративного ИИ непосредственно на устройстве — с NPU Hexagon в компьютерах серии Snapdragon X.

Эта интеграция расширяет возможности локального вывода за пределы обычных настольных графических процессоров. Qualcomm рассказывает о выборе моделей и вычислительных ресурсов в зависимости от требований задачи, а также о поддержке локальных агентных процессов. Однако это не доказывает, что любая локальная модель может заменить передовую облачную модель для решения любой задачи.

Для Hivemind важна более широкая стратегия работы с оборудованием: сделать доступные вычислительные ресурсы пригодными для использования в единой рабочей среде. Разные машины могут отличаться возможностями запуска моделей, пропускной способностью и аппаратным ускорением, поэтому программное обеспечение должно подбирать инструмент для задачи с учётом доступных ресурсов.

Цены и экономика повторного использования оборудования

Clairvoyance 0.90 выпускается для Windows, macOS и Linux. На странице с тарифами указана бесплатная версия для личного и некоммерческого использования. Тариф Professional стоит 20 долларов в месяц и включает коммерческую лицензию, Hivemind, функции для командной работы, синхронизацию с облаком и пакет токенов ИИ. Тариф Enterprise стоит 100 долларов за рабочее место в месяц и включает дополнительные функции для организаций и специальные условия при большом объёме.

Локальный вывод может снизить расходы на облачные сервисы с оплатой по факту использования, но он тоже сопряжён с затратами: на электроэнергию, износ оборудования и администрирование, а также с альтернативными издержками из-за занятости компьютера. При сравнении расходов необходимо учитывать и качество результата, и затраты на его проверку или исправление.

Ставка Stardock состоит в том, что достаточно много регулярно выполняемых задач можно решать на уже имеющемся поблизости оборудовании, соблюдая необходимые требования. Hivemind позволяет командам проверить эту идею на практике, а результаты тестирования дают отправную точку для определения того, какие модели и машины подходят для конкретных задач.