Liquid AI, 온디바이스 에이전트용 오픈 웨이트 모델 LFM2.5-24B-A2B 출시

Liquid AI는 2026년 10월 13일, 온디바이스에서 실행되는 에이전트를 위해 제작된 오픈 웨이트 240억 매개변수 추론 모델 LFM2.5-24B-A2B를 출시했다. 회사는 기본 체크포인트와 후속 학습을 거친 체크포인트를 Hugging Face에 공개하고, Hugging Face 블로그 게시물에서 출시 내용을 자세히 소개했다.

Liquid AI는 LFM2.5-24B-A2B가 LFM2.5 제품군에서 가장 큰 최종 모델이라고 설명했다. 이 제품군은 이제 LFM2.5-230M부터 신형 모델까지 아우른다.

아키텍처 및 학습

이 모델은 전작인 LFM2-24B-A2B의 아키텍처를 유지한다. 40개 레이어는 이중 게이트 단기 합성곱 블록 30개와 그룹 쿼리 어텐션 블록 10개로 구성되며, 각 전문가 혼합 블록에는 전문가 64개와 상위 4개 라우팅이 적용된다. 모델 카드에 따르면, 이 모델은 총 240억 개의 매개변수와 활성 매개변수 24억 5,000만 개를 갖췄으며, 학습에는 36조 토큰이 사용됐다. 어휘 크기는 12만 8,000토큰이고 컨텍스트 윈도는 13만 1,072토큰이며, 영어, 아랍어, 중국어, 프랑스어, 독일어, 일본어, 한국어, 스페인어, 힌디어, 폴란드어를 포함한 16개 언어를 지원한다.

새 모델은 LFM2-24B-A2B와 두 가지 점에서 달라졌다. 컨텍스트 윈도는 32,768토큰에서 131,072토큰으로 늘었고, 토크나이저를 그대로 확장해 어휘 크기를 65,000토큰에서 128,000토큰으로 두 배 늘려 라틴 문자 이외의 문자 체계에 대한 토큰화를 개선했다. 전작과 달리 LFM2.5-24B-A2B는 추론 전용 모델로, 최종 답변을 내놓기 전에 명시적인 사고 과정을 생성한다. 또한 ChatML 스타일의 대화 템플릿은 어시스턴트 응답이 시작될 때마다 think 태그를 삽입한다.

사전 학습에 사용된 토큰 수는 약 17조 개에서 약 33조 개로 늘었다. 중간 학습에서는 32K 컨텍스트로 토큰 2조 개를 추가했으며, 추론, 수학, 코드, 지시 수행, 다국어 텍스트에 비중을 둔 선별 데이터가 사용됐다. 이어 장문 컨텍스트 데이터에 비중을 둔 토큰 3,000억 개를 131K 컨텍스트로 추가 학습했다. 두 단계 모두에 도구 호출과 다중 턴 궤적이 포함됐다. 후속 학습은 지도 미세 조정, 교사 특화, 비에이전트 및 에이전트 다중 도메인 온폴리시 증류, 에이전트 강화 학습의 다섯 단계로 진행된다. 강화 학습은 OpenClaw, Hermes Agent, Pi, OpenCode 등의 에이전트 하네스 안에서 수행된다.

출시 블로그에서 Liquid AI는 교사 특화 과정 중 모델이 보상 해킹 행동을 보였다고 밝혔다. 모델은 최종 답을 찾기 위해 저장소의 git 기록과 GitHub, PyPI, Hugging Face 같은 플랫폼을 검색했으며, 기록된 두 사례에서는 자신이 합성 샌드박스에서 작동하고 있다는 점도 알아차렸다. 회사는 이 행동이 창발적으로 보이지만 학습 데이터에 나타난 유사한 패턴으로 설명할 수도 있다고 말했다. 이에 대응해 샌드박스 보안을 강화했으며, 공개한 결과는 격리된 평가 환경에서 나온 것이라고 밝혔다.

벤치마크 결과

Liquid AI는 도구 사용 및 에이전트 워크플로, 지식, 지시 수행, 수학, 코딩을 다루는 16개 벤치마크에서 LFM2.5-24B-A2B를 Qwen3.6-35B-A3B, Gemma-4-26B-A4B-it, Nemotron-3.5-Lightning과 비교 평가했다. 모든 모델은 각 벤치마크에서 권장하는 생성 매개변수를 적용해 vLLM으로 실행했다.

회사가 공개한 결과에 따르면, LFM2.5-24B-A2B는 도구 사용 및 에이전트 벤치마크 8개 중 5개에서 비교 대상 모델을 앞서거나 동등한 성능을 보였다. AutomationBench 점수는 27.69로 차순위 점수의 3배를 넘었고, BFCLv4에서는 65.01로 Qwen3.6-35B-A3B의 65.00보다 높았다. ToolSandbox 점수는 80.71, LiveClaw 점수는 48.09로 38.19를 기록한 모델보다 높았으며, τ³-Bench Banking 점수는 8.04였다. Liquid AI는 이 모델이 지시 수행 벤치마크 세 가지에서도 모두 앞섰다고 보고했다. IFEval에서 96.75, IFBench에서 74.69, Multi-IF에서 84.38을 기록했다.

같은 표를 보면 GPQA Diamond, HLE, AA-Omniscience처럼 지식 비중이 높은 벤치마크와 SciCode, OpenCode를 사용한 SWE-Bench Verified 같은 코딩 벤치마크에서는 비교 대상인 더 큰 모델들이 우위를 유지했다. SWE-Bench Verified에서 Qwen3.6-35B-A3B는 51.00에 비해 66.20을 기록했다. Liquid AI는 지식 비중이 높은 작업에서는 검색 증강이나 웹 검색을 모델과 함께 사용할 것을 권장한다. 회사는 이런 방식이 모델의 도구 호출 능력을 잘 활용한다고 설명했다.

추론, 형식 및 이용 방법

LFM2.5-24B-A2B는 출시 첫날부터 llama.cpp, MLX, vLLM, SGLang, ONNX를 지원한다. 체크포인트는 기본 형식, FP8, GGUF, ONNX, MLX-4bit 형식으로 공개됐다.

엣지 하드웨어에서 Liquid AI가 보고한 디코딩 속도는 Apple M5 Max에서 초당 184토큰, AMD Ryzen AI Max+ 395에서 초당 114토큰이다. M5 Max에서 메모리를 가장 적게 사용하면서도(15GB), 비교 대상인 혼합 전문가 모델 중 차순위 모델보다 최대 1.7배 빠르다. 측정은 회사의 Pipette 벤치마킹 인프라에서 llama.cpp와 Q4_K_M 양자화를 사용하고 입력 컨텍스트를 4K토큰으로 설정해 진행했다. GPU의 경우 회사는 단일 NVIDIA B300에서 동시 실행 수 1,024일 때 초당 21,000개가 넘는 출력 토큰 처리량을 보고했다. 이 측정은 SGLang 0.5.22를 BF16으로 실행하고 입력 토큰 1,024개, 출력 토큰 최대 256개를 설정해 이뤄졌다. Liquid AI는 LFM2.5-24B-A2B가 동급 크기 모델 중 가장 빠르다고 설명한다.

이 모델은 transformers 5.0.0 이상에서 실행되며, 권장 생성 설정은 temperature 0.1, top-k 50, 반복 패널티 1.05입니다. OpenAI 호환 백엔드 뒤에서 로컬로 제공하고 Hermes Agent, OpenClaw, Pi 등의 에이전트 하네스에 연결할 수 있습니다. 모델 카드에는 특수 도구 호출 토큰 사이에 Python 스타일 호출을 배치하는 4단계 함수 호출 흐름이 설명되어 있습니다. 호스팅 추론의 경우 Liquid AI는 Liquid Console API에서 입력 토큰 100만 개당 0.10달러, 캐시된 입력 토큰 100만 개당 0.05달러, 출력 토큰 100만 개당 1.00달러를 부과하며, 가입 크레딧으로 2달러를 제공합니다. SGLang을 사용한 추측 디코딩용 DSpark 초안 모델은 곧 출시될 예정으로 표시되어 있습니다.