AI 모델 및 플랫폼
Llama.cpp V1.0.0, 로컬 AI 도구의 API 안정성 규칙 마련
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트Major-version bumps now publicly signal source and binary breakage for downstream…
더 보기
- Major-version bumps now publicly signal source and binary breakage for downstream llama.cpp integrators.
- Official release tags require an identical internal ggml copy to keep system-wide installations compatible.
- Each ggml backend can compile as a dynamic library and load at runtime for hardware-specific code.
ggml-org는 2026년 11월 13일 llama.cpp v1.0.0을 발표해 C/C++ 기반 로컬 AI 추론 프로젝트의 하위 개발자를 위한 공식 호환성 계약을 마련했다. 기반이 되는 ggml 텐서 라이브러리도 v1.0.0에 도달했으며, 프로젝트 측은 150개가 넘는 모델 아키텍처 변형과 주류 추측 디코딩 방식 모두를 지원한다고 밝혔다.
버전 관리가 공개 계약으로 자리 잡다
두 프로젝트 모두 향후 소스 수준 API 비호환성과 컴파일된 애플리케이션에서 사용하는 바이너리 인터페이스인 ABI의 비호환성을 메이저 버전 증가로 알릴 예정이다. 공개 C API의 호환성이 깨지는 변경 사항이 있으면 메이저 버전을 올린다. 하위 호환 기능, 백엔드 업데이트, 모델 지원 및 API 추가는 마이너 버전을 올리며, API 변경이 없는 버그 수정은 패치 버전을 올린다.
이 정책은 3.5년간의 개발과 프로젝트 라이브러리 인터페이스에 대한 의존도 증가에 따른 것이다. llama.cpp는 멀티모달 LLM 추론을 제공하며 libllama, ggml은 머신러닝 텐서 계층을 제공한다 libggml. 이 소프트웨어는 양자화, 최적화된 백엔드 및 이식성 높은 C/C++ 코드를 활용해 일반 소비자용 컴퓨터부터 엔터프라이즈 서버까지 다양한 하드웨어를 지원한다.
이를 통해 패키지 관리자와 애플리케이션 개발자는 업그레이드로 통합 환경이 깨질 수 있는지 판단할 때 참고할 버전 신호를 얻는다. 유지관리자들이 2026년 8월 7일에 진행한 릴리스 프로세스 논의에서는 관련 보호 장치도 추가로 제시했다. 공식 llama.cpp 릴리스 태그는 내부 ggml 사본이 릴리스된 ggml 사본과 동일할 때만 생성된다. 이 조건은 시스템 전체에 설치된 ggml과 릴리스 태그 빌드의 호환성을 유지하기 위한 것으로, 문서에 설명된 Debian 및 Homebrew 패키지가 사용하는 방식이다.
런타임, 모델 및 서버 변경 사항
llama.cpp v1.0.0 릴리스 노트에는 이러한 계약과 함께 대대적인 정리 작업도 담겼다. 이번 릴리스는 사용 중단 예정인 공개 API를 제거하며, 여기에는 사용 중단 예정 함수 35개가 포함된다. 또한 NextN 추측 디코딩 API를 llama-ext.h 확장 헤더에서 공개 llama.h 헤더로 승격했다. 이로써 해당 추측 디코딩 인터페이스는 새 버전 관리 규칙의 적용을 받는 공개 API에 포함된다.
새로운 추론 기능으로는 OCP 8비트 부동소수점(FP8) 키-값 캐시, CPU 할당 비율을 설정할 수 있는 전문가 혼합(MoE) 모델용 호스트 메모리 캐시, 별도의 GGUF 샤드에서 외부 PLE 또는 engram 데이터를 불러오는 기능이 있다. 추가된 모델 지원에는 Kimi-K3.1-Pro, Ripple 및 xing4_0 텍스트 아키텍처, drama-3 텍스트 음성 변환, MageVL-Cowork 및 Kimi-K3.1의 비전 기능이 포함된다.
llama-server는 서버 측 요청 위조, 교차 출처 리소스 공유 및 DNS 재바인딩 문제를 해결하고, 허용 대상을 HF_TOKEN huggingface.co 호스트로 제한한다. 클라이언트 연결이 끊기거나 시간 초과가 발생하면 MCP 도구 호출을 취소하고 MCP 서버에 이를 알린다. OpenAI 호환 /v1/audio/speech 엔드포인트가 새로 추가되어 서버의 오디오 인터페이스를 확장한다.
새롭게 설계된 웹 인터페이스에는 이름을 지정할 수 있는 채팅 그룹과 실시간 미리 보기 기능이 있는 Markdown 편집기가 추가됐다. 모바일 레이아웃은 기기의 안전 영역과 전체 화면 대화상자를 활용하며, Android 채팅 편집기에서는 가상 키보드를 열 수 있다.
하드웨어 백엔드 및 릴리스 인프라
함께 출시된 ggml v1.0.0 릴리스는 사용 중단 예정 API와 기존 DIAG_MASK 연산을 제거하고, 설정 가능한 YaRN 절단 및 FP8 지원을 추가하며, 읽히지 않는 스케줄러 입력은 업로드하지 않도록 변경했다. CUDA와 Metal에는 소수 행 양자화 행렬 곱셈 및 MoE 융합 작업이 추가됐다. 그 밖의 백엔드 개선 사항으로는 Intel Vulkan 프리필용 FlashAttention 커널, 디바이스 측 SYCL MoE 스케줄러, OpenCL의 분해형 Adreno FlashAttention, 새로운 WebGPU 커널, 확대된 Hexagon 연산 지원 범위가 있다.
각 ggml 백엔드는 동적 라이브러리로 컴파일할 수 있으며, 필요에 따라 런타임에 불러올 수도 있어 설치 환경에서 하드웨어별 코드를 선택할 수 있다. 사전 릴리스 아티팩트는 Linux, macOS, Windows, Android 및 iOS용으로 제공되며, Docker, Debian, Homebrew, conda-forge, MacPorts, Winget 및 XCFramework도 추가 배포 경로를 제공한다. 다만 플랫폼별 지원 범위는 서로 다르다.
개발 속도를 뒷받침하기 위해 팀은 Hugging Face Buckets 및 Jobs를 활용해 master 브랜치에 반영되는 변경 사항을 위한 지속적 통합 역량을 확대하고 있다고 밝혔다. NVIDIA, AMD, Qualcomm, Arm, IBM 및 Intel의 하드웨어 지원으로 주요 하드웨어 플랫폼 전반에서 자체 호스팅 러너도 더 많이 사용할 수 있게 됐다. 유지관리자들은 LLM을 개발 주기에 통합하고 있으며, 코드 품질, 아키텍처 제어 및 구현 세부 사항에 대한 이해를 우선순위로 꼽았다.
하위 프로젝트 입장에서 이번 릴리스는 빠르게 발전하는 오픈 소스 라이브러리에서 호환성을 명시적인 개발 의무로 만든다. 버전 규칙은 호환성을 깨뜨리는 변경을 알릴 수 있으며, 확대된 CI 및 하드웨어 러너 프로그램은 정기 릴리스가 해당 프로젝트에서 사용하는 모델과 하드웨어 전반에서 계속 안정적으로 작동하는지 확인하는 데 도움이 된다.
