Liquid AI, 오픈 웨이트 2B급 모델 6종으로 구성된 LFM3 제품군 출시

Liquid AI는 2026년 10월 27일 LFM3를 발표했다. 텍스트, 비전, 오디오, 옴니, 의사결정 모델을 하나의 공통 백본에 통합한 새로운 세대의 오픈 웨이트 Liquid Foundation Models다. Hugging Face 블로그 게시물에 자세히 소개된 첫 출시 제품군에는 2B 매개변수 규모의 모델 6종이 포함된다.

하나의 공통 백본을 공유하는 모델 6종

모든 LFM3 모델은 동일한 LFM3-1.7B-Base를 기반으로 한다. LFM3-1.7B는 텍스트를 입력받아 텍스트를 출력한다. LFM3-VL-2B는 텍스트, 이미지, 동영상을 입력받아 텍스트를 출력하며, LFM3-Audio-2B는 텍스트나 오디오를 입력받아 텍스트 또는 음성으로 응답한다. Liquid AI가 자사의 첫 옴니 모델이라고 설명하는 LFM3-Omni-2B는 텍스트, 이미지, 동영상, 오디오를 입력받아 텍스트와 음성을 생성한다. 비전 모델과 옴니 모델을 각각 특화한 의사결정 모델 d1-2B와 d1-omni-2B는 생성된 텍스트 대신 보정된 답변을 반환한다.

LFM3-1.7B 모델 카드에 따르면 텍스트 모델은 매개변수 1.73B, 컨텍스트 길이 256K 토큰, 어휘 수 128,000토큰을 갖추고 16개 언어를 지원하며, LFM Open License v1.0에 따라 제공된다. 기본 모델과 후처리 학습 모델은 오픈 웨이트로 제공되며 Hugging Face, Liquid AI Playground, Liquid AI API에서 이용할 수 있다.

Liquid AI의 출시 발표 게시물에는 출시 첫날부터 참여하는 파트너로 Ambarella, AMD, Arm, OpenVINO를 통한 Intel, NVIDIA, OpenRouter, Qualcomm AI Hub와 GenieX를 통한 Qualcomm, Vercel이 명시되어 있다. 또한 Mercedes-Benz와 Shopify가 사전 출시 테스트 및 평가에 협력했다고 밝혔다.

삼중 하이브리드 아키텍처와 학습

LFM3-1.7B-Base는 24개 레이어로 구성된다. 게이트형 단기 컨볼루션 13개, 윈도 크기가 256토큰인 슬라이딩 윈도 어텐션 레이어 5개, 전역 어텐션 레이어 6개다. 컨볼루션의 커널 크기는 7로, LFM2의 3보다 커졌다. 백본을 규정하는 추가 변경 사항은 세 가지다. 첫째, 헤드별 게이트 어텐션은 시그모이드 게이트로 각 어텐션 헤드의 출력을 조정하며, 양자화 성능을 저하시키는 활성값 이상치를 억제할 수 있다. 둘째, 부분 RoPE에서는 전역 어텐션 레이어가 각 헤드에서 주파수가 가장 높은 절반에만 회전을 적용하고, 슬라이딩 윈도 레이어는 전체 RoPE를 유지한다. 셋째, 샌드위치 정규화는 각 블록의 입력과 출력을 정규화한다.

이 설계는 Liquid AI가 하드웨어를 실제로 활용하는 아키텍처 탐색을 통해 도출했다. LFM3에서는 이를 확장해 기기와 백엔드 조합을 14개로 늘렸으며, 휴대전화(Samsung Galaxy S26 Ultra 및 OnePlus 15), Raspberry Pi 5, 노트북(Apple M4 Max 및 AMD Ryzen AI), Arm 및 x86 클라우드 CPU, GPU, Qualcomm Hexagon NPU가 포함된다.

LFM3-1.7B-Base는 22T 토큰으로 사전 학습됐다. 이 가운데 마지막 3.5T 토큰은 선별된 데이터로 진행한 중간 학습 단계에 사용됐으며, 이 단계에서는 에이전트형 추론 기록과 도구 호출의 비중을 늘리는 동시에 컨텍스트 윈도를 256K 토큰으로 확장했다. 후처리 학습은 네 단계로 진행됐다. 1.75T 토큰을 사용한 지도 미세 조정, 혼합 강화 학습, 6개의 전문 강화 학습 교사 모델을 활용한 다중 도메인 온폴리시 증류, 실제 에이전트 하네스 내에서 수행한 에이전트형 강화 학습이다.

Liquid AI는 새로운 아키텍처를 적용한 LFM3-1.7B가 이전 모델인 LFM2.5-2.6B보다 매개변수가 35% 적으면서도 더 뛰어난 성능을 낸다고 밝혔다. 또한 짧은 프롬프트에서는 매개변수당 성능이 LFM2-1.2B와 비슷하고, 컨텍스트에 8K 토큰이 있을 때는 약 25% 더 빠르게 실행된다고 설명했다. 회사에 따르면 텍스트 모델은 4비트 정밀도에서 메모리를 약 1GB 사용한다.

회사가 공개한 성능 및 모델별 특화

Liquid AI에 따르면 LFM3-1.7B는 WebArena-Verified에서 38.42점을 기록해 LFM2.5-2.6B의 3.02점을 앞섰으며, 가장 큰 성능 향상은 에이전트형 작업에서 나타났다. 다만 모델 카드에는 크기가 작다는 이유로 에이전트형 코딩이나 복잡한 다단계 추론에는 이 모델을 권장하지 않는다고 명시되어 있다.

Liquid AI는 LFM3-VL-2B가 동영상 입력을 지원하는 최초의 LFM 비전 모델이라고 밝혔다. 회사에 따르면 이 모델은 비전 벤치마크 62개의 평균 점수를 LFM2.5-VL-3B의 57.6점에서 71.4점으로 끌어올리면서도 매개변수는 3.1B가 아닌 1.9B만 사용해, 크기가 6배 이상 큰 Gemma 4 12B와 대등한 수준을 보인다. 회사 측 측정 결과, 새로 개발한 매개변수 164M의 자체 비전 인코더는 이전 LFM VL 모델에 쓰인 SigLIP2 인코더보다 연산량이 3배 적으면서도 Qwen3.5-2B 비전 인코더와 같은 정확도를 내고 FLOPs는 2.2배 적다.

LFM3-Audio-2B는 18개 언어를 지원한다. Liquid AI에 따르면 이 모델의 음성 품질 점수는 UTMOSv2에서 3.83으로, LFM2.5-Audio-1.5B의 3.22보다 높다. 또한 완전 인과적 오디오 인코더의 첫 토큰 생성 시간은 최저 50ms이며, LiquidCodec 토크나이저는 Apple M4 Max에서 단일 CPU 스레드로 실시간보다 약 87배 빠르게 음성을 생성한다. 회사는 매개변수 2.2B의 LFM3-Omni-2B가 Daily-Omni, WorldSense, AV-SpeakerBench 오디오·비주얼 이해 벤치마크에서 Qwen2.5-Omni-7B를 포함해 매개변수가 최대 10.7B인 모델보다 뛰어난 성능을 보인다고 밝혔다.

의사결정 모델은 한 번의 순전파로 질문 목록에 답하며, 각 답변에는 보정된 확률을 제시한다. 또한 객체를 가리키고, 문서에서 값을 읽고, 범위를 포함해 수치를 추정하고, 해당하는 선택지를 모두 고르는 자료형 지정 답변도 제공한다. Liquid AI는 d1-2B가 d1-3B보다 매개변수가 3분의 1 적으면서 ImajevBench에서 64.0점이 아닌 75.5점을 기록한다고 밝혔다.

모든 LFM3 모델은 단일 GPU에서 미세 조정할 수 있으며, Liquid AI는 텍스트, 비전, 오디오 및 옴니 모델을 위한 지도 미세 조정, DPO, GRPO, 지속적 사전 학습을 다루는 노트북을 공개했다. 한 기업 사례에서는 LFM3-VL-2B를 공개된 풍력 터빈 블레이드 사진 약 3,000장으로 단일 A100에서 몇 시간 동안 미세 조정했다. 그 결과, 별도로 보류한 사진에서 결함 분류 정확도는 67%로 높아졌고 탐지 F1 점수는 0.003에서 0.11로 상승했다.

Liquid AI는 LFM3-VL-2B를 오케스트레이션, 내비게이션, 조작을 위한 로보틱스 모델 세 가지로도 개조했다. 회사 측은 15개 구현체에 걸쳐 학습한 조작용 비전-언어-행동 모델이 LIBERO의 네 가지 테스트 모음 전체에서 평균 성공률 96.2%를 기록했고, RoboCasa-GR1의 탁상 작업에서는 45.7%를 달성했다고 밝혔다. 이 모델은 TensorRT FP16을 사용하는 Jetson AGX Orin에서 50ms 미만의 시간에 동작 청크를 생성했다.

처리량과 관련해 Liquid AI는 LFM3-1.7B가 단일 NVIDIA B300에서 동시 요청 1,024건을 처리하며 하루에 36억 개의 토큰을 생성할 수 있다고 밝혔다. 이 모델들은 Apple, AMD, NVIDIA, Qualcomm 하드웨어에서 llama.cpp, MLX, vLLM을 기본 지원하며, 체크포인트는 BF16, FP8, NVFP4, GGUF, MLX, ONNX 등 다양한 형식으로 제공된다.