Stardock의 Clairvoyance, 유휴 GPU를 공유해 로컬 AI에 활용하는 Hivemind 추가

Stardock의 Clairvoyance에 팀이 유휴 컴퓨터를 AI 추론에 활용할 수 있는 기능이 추가된다. 로컬 모델 관리자인 Locama에는 회사 내 여러 컴퓨터의 로컬 추론 용량을 공유하는 Hivemind와 특정 하드웨어에서 AI가 얼마나 잘 실행되는지 확인할 수 있는 벤치마크가 포함된다.

11월 5일 출시된 Clairvoyance 0.90은 로컬 모델과 클라우드 모델을 함께 사용하는 데스크톱 환경으로 자리매김했다. Locama는 Windows, macOS, Linux에서 로컬 모델의 설치와 실행, 오케스트레이션을 관리하며, Hivemind는 한 대의 컴퓨터에 국한되던 활용 범위를 팀이 사용할 수 있는 여러 컴퓨터로 확장한다.

Stardock은 조달, 공급망, 법무 운영, 재무 등의 분야에서 반복적으로 대량 처리하는 업무를 겨냥하고 있다. 회사 측은 이러한 업무 중 일부를 조직이 이미 보유한 하드웨어에서 실행하면 모든 요청을 사용량 기반 클라우드 서비스로 보낼 필요가 줄어든다고 설명한다.

Hivemind, 유휴 컴퓨터를 공유 추론 용량으로 전환

Hivemind를 사용하면 팀원들이 회사 컴퓨터 중 유휴 상태인 GPU로 AI 작업을 실행할 수 있다. 로컬 모델을 실행할 수 있는 컴퓨터가 사용되지 않을 수 있는 일반적인 근무 시간 외에 특히 유용할 수 있다.

Stardock Software의 CEO인 Brad Wardell은 “대부분의 기업에는 매일 밤 유휴 상태로 놓여 있는 성능 좋은 컴퓨터가 있으며, Hivemind를 사용하면 이 컴퓨터들을 한데 모아 업무에 활용할 수 있습니다”라고 말했다.

회사가 사용하는 기술 용어에서 Hivemind는 피어 간에 로컬 추론을 공유하는 기능이다. 회사는 Locama를 추론 호스트로, Concierge라는 라우팅 구성 요소를 특정 작업 차례에 사용할 모델과 컴퓨터를 선택하는 구성 요소로 각각 설명한다.

여러 컴퓨터가 하나의 대형 가속기로 합쳐진다고 여기는 것과는 중요한 차이가 있다. 사용 가능한 여러 컴퓨터에 작업을 분산하면 활용 가능한 용량이 늘어날 수 있지만, 이번 발표에는 텐서 병렬 실행이나 GPU 메모리 통합, 또는 용량을 초과하는 단일 모델을 피어 간에 어떻게 나눌지에 대한 설명이 없다.

팀이 작업을 어디에서 실행할지 결정할 때는 모델이 사용 가능한 하드웨어에서 실행될 수 있는지, 결과가 만족스러운지, 다른 컴퓨터로 작업을 라우팅할 때 절약되는 시간보다 지연이 더 커지지는 않는지 살펴봐야 한다. Hivemind의 가치는 GPU를 사용할 수 있는지 여부만이 아니라 이 요소들의 조합에 따라 달라진다.

하나의 작업 공간에서 로컬 모델과 클라우드 모델 사용하기

Clairvoyance에서는 AI 어시스턴트를 이름이 지정된 Staff로 구성하며, 이들은 사용자의 파일을 바탕으로 문서와 기타 결과물을 만든다. 문서에는 Staff 구성원마다 서로 다른 공급자나 로컬 모델을 지정하는 방법이 설명되어 있어, 하나의 작업 공간에서 여러 컴퓨팅 방식을 함께 사용할 수 있다.

이러한 선택지의 차이는 중요하다. 로컬 모델은 사용자나 조직이 제어하는 하드웨어에서 실행된다. 클라우드 공급자의 도구를 연결하면 해당 공급자의 계정과 인증을 통해 이용할 수 있으며, Clairvoyance를 설치했다고 해서 지원되는 모든 상용 모델을 무제한으로 이용할 수 있는 것은 아니다.

문서에서는 로컬 모델마다 도구 사용 기능이 다르다는 점도 언급한다. 질문에 답할 수 있는 모델이라고 해서 팀에 필요한 에이전트 워크플로를 실행할 수 있는 것은 아니다. 따라서 더 작은 로컬 모델을 선택할지는 속도뿐 아니라 기능도 고려하는 작업별 판단이 필요하다.

이로써 제품은 직원과 그 이면에서 작동하는 모델 실행 환경 사이에서 실용적인 역할을 한다. 모든 작업에 같은 백엔드를 적용하는 대신, 작업별로 다른 선택지를 지원할 수 있다. 이번 출시 자료에는 Hivemind 배포로 클라우드 비용이 얼마나 줄어드는지 독립적으로 측정한 결과가 제시되지 않았다.

실제 보유 하드웨어를 평가하는 벤치마크

Locama에는 Clairvoyance Local AI Benchmark도 포함된다. Stardock은 핵심 지표인 모델 속도를 로컬 모델이 요청을 처리하고 완전한 응답을 반환하는 데 걸리는 시간을 합산해 측정한다고 설명한다. 공개 결과는 clairvoyanceai.com/benchmark에서 확인할 수 있으며, Professional 사용자는 자신의 하드웨어에서 테스트를 실행할 수 있다.

제품의 출시 노트에는 프리필, 디코딩, 첫 토큰 생성 시간, 메모리 사용량 등의 측정 항목과 작업별 점검 항목이 설명되어 있다. 프리필은 입력 프롬프트와 그 맥락을 처리하는 단계이고, 디코딩은 응답을 생성하는 단계다. 이 두 단계는 하드웨어에 서로 다른 부하를 줄 수 있다.

첫 토큰이 빠르게 생성되면 인터페이스가 더 즉각적으로 반응하는 것처럼 느껴질 수 있지만, 일괄 작업이나 더 긴 에이전트 작업에서는 완료까지 걸리는 전체 시간이 중요하다. 이러한 측정값을 함께 표시하면 단일 하드웨어 사양에 의존하는 것보다 벤치마크의 유용성이 높아진다.

결과 페이지에는 각 제출 결과가 Clairvoyance 사용자에게서 나온 것이며, 해당 사용자의 하드웨어와 설정을 반영한다고 표시되어 있다. 따라서 이 데이터베이스는 통제된 독립 순위가 아니라 특정 구성에 따른 근거 자료다. 의미 있는 비교를 하려면 사용된 모델, 정밀도, 컨텍스트, 작업, 실행 환경도 고려해야 한다.

Qualcomm 통합으로 로컬 컴퓨팅 선택지 확대

Clairvoyance는 이번 출시 이전부터 Qualcomm과 협력해 왔습니다. 9월 23일에 게시된 Qualcomm 개발자용 기사에는 칩 제조사의 온디바이스 생성형 AI 런타임인 GenieX를 Snapdragon X Series PC의 Hexagon NPU와 통합한 내용이 소개되어 있습니다.

이 통합으로 로컬 추론은 기존 데스크톱 GPU를 넘어 더 다양한 하드웨어에서 가능해집니다. Qualcomm은 작업 요구 사항에 따라 모델과 컴퓨팅 리소스를 선택할 수 있으며, 로컬 에이전트형 워크플로도 지원한다고 설명합니다. 그렇다고 모든 로컬 모델이 모든 작업에서 최첨단 클라우드 모델을 대체할 수 있다는 뜻은 아닙니다.

Hivemind와 관련해 중요한 점은 더 폭넓은 하드웨어 전략입니다. 기존 컴퓨팅 리소스를 하나의 작업 환경에서 활용할 수 있게 하는 것입니다. 기기마다 모델 처리 용량, 대역폭, 가속 성능이 다를 수 있으므로 소프트웨어는 작업에 맞춰 사용 가능한 리소스를 배정해야 합니다.

하드웨어 재활용의 가격과 경제성

Clairvoyance 0.90은 Windows, macOS, Linux용으로 출시됩니다. 가격 안내 페이지에는 개인 및 비상업적 용도로 이용할 수 있는 무료 요금제가 나와 있습니다. Professional 요금제는 월 $20이며, 상업용 라이선스, Hivemind, 팀 중심 기능, 클라우드 동기화, 기본 제공 AI 토큰 패키지를 포함합니다. Enterprise 요금제는 사용자당 월 $100이며, 추가 조직 기능과 대량 구매 옵션이 제공됩니다.

로컬 추론은 사용량에 따라 청구되는 클라우드 비용을 줄일 수 있지만, 전력 소비, 하드웨어 마모, 관리 비용, 기기를 점유하는 데 따른 기회비용이 발생합니다. 비용을 비교할 때는 결과물의 품질과 이를 검토하거나 수정하는 데 필요한 작업도 고려해야 합니다.

Stardock은 주변에 이미 있는 하드웨어로 반복적인 작업을 충분히 처리할 수 있다는 데 기대를 걸고 있습니다. Hivemind는 팀이 이 가능성을 살펴볼 방법을 제공하며, 벤치마크는 어떤 모델과 기기가 해당 작업에 적합한지 측정하는 출발점이 됩니다.