Tether, 개인 기기에서 도구를 사용하는 AI를 위한 QVAC BotPsy 출시

Tether AI Research는 2026년 11월 11일 QVAC BotPsy-0.8B 출시를 발표했으며, 개인 기기에서 도구를 호출하도록 설계된 가중치 공개형 8억 매개변수 모델이라고 밝혔다. 또한 에이전트형 AI 벤치마크 6종에서 최대 12억 매개변수 규모의 테스트 모델을 모두 앞섰다고 보고했다.

Alibaba의 Qwen3.5-0.8B를 기반으로 한 BotPsy는 로컬 배포를 위한 함수 호출과 다단계 에이전트 워크플로에 특화되어 있다. 주요 작업 분야는 일정 관리, 메시지 전송, 파일 관리, 기기 설정, 웹 조사, 여행, 상거래, 고객 서비스 운영이며, 난도가 낮거나 중간인 작업에 가장 적합한 것으로 확인됐다. 서비스 연결, 권한 및 실행 제어는 주변 애플리케이션이 제공한다.

Tether의 ACEBench 사례에서는 Wi-Fi가 꺼져 있고 받은 편지함이 가득 차 메시지 전송에 실패했다. BotPsy는 메시지를 보내기 전에 Wi-Fi를 켜고 받은 편지함의 공간을 확보했지만, 기반 모델은 실패한 동작을 반복했다. 또한 BotPsy는 사용 가능한 도구 중 요청에 적합한 것이 하나도 없을 때 이를 알아챌 수 있다. 이는 실제 애플리케이션 안에서 작동하는 어시스턴트에게 중요한 동작이다.

특화된 학습이 벤치마크 성능 향상을 이끌다

Tether의 모델 카드 평가에서 BFCL v4 점수는 Qwen3.5-0.8B-Think 기반 모델의 23.4에서 BotPsy의 44.0으로 올랐고, ACEBench는 30.1에서 58.7로, ToolSandbox는 30.5에서 64.6으로 상승했다. BotPsy는 에이전트형 AI 벤치마크 6종 중 5종에서 Qwen3.5-2B-Think도 앞섰다. 더 큰 모델은 Claw-Eval에서 48.9 대 46.5로 우위를 보였다. 다섯 모델 모두 동일한 평가 도구를 사용해 추론 모드에서 평가했으며, 점수는 백분율이다.

가장 큰 향상은 여러 차례의 대화에 걸친 연속성에서 나타났다. Tether에 따르면 BFCL v4 다중 턴 점수는 BotPsy가 46.1로, 기반 모델의 7.5와 Qwen3.5-2B-Think의 23.8보다 높았다. 이 테스트는 새로운 정보가 들어오는 동안 에이전트가 작업을 이어갈 수 있는지를 측정한다. 예를 들어 예약 가능 여부를 확인하고, 일정 충돌을 처리한 다음, 달력을 업데이트하는 능력을 평가한다. BotPsy의 BFCL 환각 테스트 점수 86.1은 별개의 요건, 즉 사용할 수 있는 도구 중 요청에 맞는 것이 없을 때 도구 호출을 자제하는 능력을 측정한다.

Tether가 공개한 더 폭넓은 평가 결과만으로 BotPsy가 전반적으로 우수하다고 볼 수는 없다. BotPsy의 GPQA Diamond 및 MMLU-Pro 점수는 각각 38.1과 48.9로, 2B 모델의 59.9와 65.5에 크게 못 미친다. BotPsy의 BrowseComp-Plus 점수 4.5는 다섯 모델 가운데 가장 높았지만 절대적인 점수는 여전히 낮아, 개방형 조사 성능이 취약함을 드러낸다. 따라서 BotPsy는 모르는 사실을 도구 호출로 확인하도록 설계됐다.

학습 과정과 기기 내 배포

기술 문서에는 지도 미세 조정, 여러 교사 모델을 활용한 온폴리시 증류, 두 차례의 강화 학습으로 구성된 사후 학습 단계 네 가지가 설명되어 있다. 증류 과정에서는 도구 사용, 일반 추론, 지시 수행을 각각 담당하는 세 개의 특화된 Qwen3.5-4B 교사 모델을 사용했다. 강화 학습 단계에서는 규칙 기반 보상과 검증 가능한 보상을 활용했다. 첫 단계에서는 도구 호출을 중점적으로 학습했고, 다음 단계에서는 수학, 코드, 지식 및 구조화된 출력 작업을 추가했다. 이번 배포에는 학습 코드와 학습 데이터가 포함되지 않았다.

이렇게 만들어진 모델은 기반 모델보다 추론 과정도 짧다. 다섯 모델이 모두 정답을 맞힌 GPQA Diamond 문항에서 Tether가 측정한 BotPsy의 추론 토큰 수는 3,690개로, 기반 모델의 11,563개보다 적었다. MMLU-Pro에서는 각각 1,912개와 5,105개였다. 모든 모델이 해당 문항을 풀었으므로, 이 비교는 문항 난도가 아니라 추론 길이의 차이를 보여준다. 따라서 로컬 추론의 효율성을 가늠하는 유용한 지표가 된다.

GGUF 배포판에는 llama.cpp 및 QVAC SDK용 파일 세 개가 포함된다. BF16은 약 1.52GB, Q8_0은 약 0.81GB, Q4_K_M은 약 0.53GB다. Tether는 10개 벤치마크에서 평균 50.7점을 기록한 Q8_0을 권장한다. 파일 크기는 약 절반이지만, BF16 GGUF의 평균 점수 50.4에 근접한 성능이다. Q4_K_M의 평균 점수는 48.9이며, 메모리 예산이 더 빠듯한 환경을 겨냥한다. 기본 저장소에는 Apache 2.0 라이선스가 적용된 BF16 safetensors 가중치가 제공된다.

안전성의 한계와 QVAC의 계획

모델 카드에 명시된 사용 범위에는 상당한 제약이 있다. BotPsy는 주로 영어로 학습하고 테스트했으며, 권장 언어도 영어다. 7개 언어를 추가로 다룬 Multi-IF 평가에서는 힌디어와 러시아어의 지시 수행 결과가 훨씬 낮았다. BotPsy는 실수할 수 있으며, 안전이 중요하거나 결과의 위험성이 큰 자동화 의사 결정, 또는 금전, 개인정보, 건강 및 기타 민감한 주제를 다루는 애플리케이션에는 적합하지 않다.

Tether가 유해성 범주 6개에 걸쳐 자동화 레드팀 평가를 진행한 결과, BotPsy는 21%의 경우 안전하지 않은 응답을 생성했다. 기반 모델의 비율은 36%였다. 신뢰할 수 없는 도구 출력을 읽는 에이전트에 특히 우려되는 프롬프트 인젝션 공격에서는 안전하지 않은 응답 비율이 각각 31%와 46%로 보고됐다. 소형 모델인 BotPsy는 두 테스트에서 모두 개선됐지만, 여전히 안전하지 않은 응답을 생성했다.

BotPsy는 QVAC의 비전, 음성, 헬스 및 번역 모델에 합류한다. 향후에는 이들 모델의 특화된 기능을 결합하는 것을 목표로 한다. Tether CEO Paolo Ardoino는 “사용자는 어시스턴트가 무엇에 접근할 수 있는지, 어떤 외부 서비스에 연결할 수 있는지를 직접 결정해야 합니다”라고 말했다.

Tether의 장기 설계에서는 일상적인 상호작용에 Android 또는 iPhone 인터페이스를 사용하고, 까다로운 작업은 가정용 PC나 신뢰할 수 있는 피어 투 피어 노드에 맡기며, 웹 검색은 암호화된 피어 투 피어 연결을 통해 처리합니다. 이는 명시된 비전이며, 현재 공개 버전에서는 모델과 배포 파일을 제공합니다.

문서에 설명된 BotPsy의 강점은 일상적인 작업을 처리하는 데 특화된 로컬 동작 계층입니다. BotPsy가 유용한 개인 비서가 될지는 애플리케이션 수준의 권한과 실행 제어에 달려 있으며, Tether가 계획 중인 통합과 하드웨어 위임을 통해 이번 공개 버전에 명시된 연구·복잡성·안전상의 한계를 해결할 수 있는지에도 달려 있습니다.