Llama.cpp V1.0.0 thiết lập quy tắc ổn định API cho các công cụ AI cục bộ

ggml-org đã công bố llama.cpp v1.0.0 vào ngày 13 tháng 11 năm 2026, thiết lập một cam kết tương thích chính thức cho các nhà phát triển xây dựng dựa trên dự án suy luận AI cục bộ bằng C/C++. Thư viện tensor ggml nền tảng cũng đạt phiên bản v1.0.0; dự án cho biết phần mềm hỗ trợ hơn 150 biến thể kiến trúc mô hình và tất cả các phương pháp giải mã suy đoán phổ biến.

Quản lý phiên bản trở thành cam kết công khai

Cả hai dự án sẽ báo hiệu những thay đổi không tương thích trong API ở cấp mã nguồn và ABI — giao diện nhị phân được các ứng dụng đã biên dịch sử dụng — thông qua việc tăng phiên bản chính. Những thay đổi gây mất tương thích đối với API C công khai sẽ làm tăng phiên bản chính. Các tính năng tương thích ngược, bản cập nhật backend, hỗ trợ mô hình và bổ sung API sẽ làm tăng phiên bản phụ, còn các bản sửa lỗi không thay đổi API sẽ làm tăng phiên bản vá.

Chính sách này được đưa ra sau 3,5 năm phát triển và khi mức độ phụ thuộc vào các giao diện thư viện của dự án ngày càng tăng. llama.cpp cung cấp khả năng suy luận LLM đa phương thức thông qua libllama, trong khi ggml cung cấp lớp tensor học máy thông qua libggml. Phần mềm sử dụng lượng tử hóa, các backend được tối ưu hóa và mã C/C++ có tính di động để hỗ trợ phần cứng từ máy tính cá nhân đến máy chủ doanh nghiệp.

Điều này giúp đơn vị duy trì gói phần mềm và nhà phát triển ứng dụng dựa vào phiên bản để đánh giá liệu việc nâng cấp có thể làm hỏng khả năng tích hợp của họ hay không. Cuộc thảo luận về quy trình phát hành của các nhà duy trì vào ngày 7 tháng 8 năm 2026 bổ sung một biện pháp bảo vệ liên quan: thẻ phát hành chính thức của llama.cpp chỉ được tạo khi bản sao ggml nội bộ giống hệt bản ggml đã phát hành. Điều kiện này nhằm bảo đảm các bản dựng gắn thẻ phát hành tương thích với bản cài đặt ggml trên toàn hệ thống, cách thức được các gói Debian và Homebrew mô tả trong tài liệu sử dụng.

Những thay đổi về thời gian chạy, mô hình và máy chủ

Ghi chú phát hành llama.cpp v1.0.0 đi kèm cam kết đó với một đợt tinh giản đáng kể. Bản phát hành loại bỏ API công khai đã lỗi thời, bao gồm 35 hàm không còn được khuyến nghị sử dụng, đồng thời đưa API giải mã suy đoán NextN từ llama-ext.h tệp tiêu đề mở rộng sang tệp tiêu đề công khai llama.h tệp tiêu đề. Việc chuyển đổi này đưa giao diện giải mã suy đoán vào API công khai chịu sự điều chỉnh của các quy tắc quản lý phiên bản mới.

Các khả năng suy luận mới bao gồm bộ nhớ đệm khóa-giá trị dấu phẩy động 8 bit (FP8) theo OCP, bộ nhớ đệm trong bộ nhớ máy chủ dành cho các mô hình hỗn hợp chuyên gia (MoE) với tỷ lệ phân bổ CPU có thể cấu hình, cùng khả năng tải dữ liệu PLE hoặc engram bên ngoài từ các phân đoạn GGUF riêng biệt. Các mô hình được bổ sung gồm kiến trúc văn bản Kimi-K3.1-Pro, Ripple và xing4_0, mô hình chuyển văn bản thành giọng nói drama-3, cùng khả năng hỗ trợ thị giác cho MageVL-Cowork và Kimi-K3.1.

Đối với llama-server, bản phát hành xử lý các vấn đề giả mạo yêu cầu phía máy chủ, chia sẻ tài nguyên giữa các nguồn gốc và tái liên kết DNS, đồng thời giới hạn HF_TOKEN chỉ ở các máy chủ huggingface.co. Các lệnh gọi công cụ MCP sẽ bị hủy khi máy khách ngắt kết nối hoặc hết thời gian chờ, đồng thời máy chủ MCP được thông báo. Một /v1/audio/speech điểm cuối tương thích với OpenAI mở rộng giao diện âm thanh của máy chủ.

Giao diện web được thiết kế lại bổ sung các nhóm trò chuyện có tên và trình soạn thảo Markdown với bản xem trước trực tiếp. Bố cục trên thiết bị di động tận dụng vùng an toàn của thiết bị và hộp thoại toàn màn hình, còn trình soạn thảo trò chuyện trên Android có thể mở bàn phím ảo.

Backend phần cứng và hạ tầng phát hành

Bản phát hành ggml v1.0.0 đi kèm loại bỏ các API lỗi thời và các thao tác DIAG_MASK cũ, bổ sung khả năng cắt cụt YaRN có thể cấu hình và hỗ trợ FP8, đồng thời tránh tải lên những đầu vào của bộ lập lịch không được đọc. CUDA và Metal được bổ sung các công việc về phép nhân ma trận lượng tử hóa với số hàng ít và hợp nhất MoE. Các bổ sung khác cho backend gồm nhân FlashAttention tiền nạp trên Vulkan của Intel, bộ lập lịch MoE chạy trên thiết bị dành cho SYCL, FlashAttention Adreno được phân rã trong OpenCL, các nhân WebGPU mới và phạm vi hỗ trợ thao tác Hexagon được mở rộng.

Mỗi backend ggml đều có thể được biên dịch thành thư viện động và tùy chọn tải vào lúc chạy, cho phép các bản cài đặt lựa chọn mã dành riêng cho từng loại phần cứng. Các tạo phẩm tiền phát hành hỗ trợ Linux, macOS, Windows, Android và iOS; Docker, Debian, Homebrew, conda-forge, MacPorts, Winget và XCFramework cung cấp thêm các kênh phân phối, với phạm vi nền tảng hỗ trợ khác nhau.

Để đáp ứng tốc độ phát triển, nhóm cho biết Hugging Face Buckets và Jobs đang mở rộng năng lực tích hợp liên tục cho các thay đổi được đưa vào các nhánh master. Sự hỗ trợ về phần cứng từ NVIDIA, AMD, Qualcomm, Arm, IBM và Intel cũng giúp triển khai thêm runner tự lưu trữ trên các nền tảng phần cứng chính. Các nhà duy trì cũng đang tích hợp LLM vào quy trình phát triển, đồng thời xác định chất lượng mã, khả năng kiểm soát kiến trúc và mức độ am hiểu chi tiết triển khai là những ưu tiên của họ.

Đối với các dự án xây dựng dựa trên thư viện này, bản phát hành biến khả năng tương thích thành một trách nhiệm phát triển rõ ràng đối với một thư viện nguồn mở có tốc độ thay đổi nhanh. Các quy tắc phiên bản có thể báo hiệu những thay đổi gây mất tương thích; chương trình mở rộng về CI và runner phần cứng giúp xác định liệu các bản phát hành thường kỳ có tiếp tục đáng tin cậy trên những mô hình và phần cứng mà các dự án đó sử dụng hay không.