Llama.cpp V1.0.0 Menetapkan Aturan Stabilitas API untuk Perangkat AI Lokal

ggml-org mengumumkan llama.cpp v1.0.0 pada 13 November 2026, menetapkan kontrak kompatibilitas resmi bagi pengembang hilir proyek inferensi AI lokal berbasis C/C++. Pustaka tensor ggml yang mendasarinya juga mencapai v1.0.0, dengan proyek tersebut melaporkan dukungan untuk lebih dari 150 varian arsitektur model dan semua metode decoding spekulatif arus utama.

Pemberian Versi Menjadi Kontrak Publik

Kedua proyek akan menandai ketidakcocokan API pada tingkat kode sumber dan ABI—antarmuka biner yang digunakan aplikasi hasil kompilasi—di masa mendatang melalui kenaikan versi mayor. Perubahan yang merusak API C publik akan memicu kenaikan versi mayor. Fitur yang kompatibel dengan versi sebelumnya, pembaruan backend, dukungan model, dan penambahan API akan memicu kenaikan versi minor, sedangkan perbaikan bug tanpa perubahan API akan memicu kenaikan versi patch.

Kebijakan ini menyusul 3,5 tahun pengembangan dan meningkatnya ketergantungan pada antarmuka pustaka proyek tersebut. llama.cpp menyediakan inferensi LLM multimodal melalui libllama, sementara ggml menyediakan lapisan tensor pembelajaran mesin melalui libggml. Perangkat lunak ini menggunakan kuantisasi, backend yang dioptimalkan, serta kode C/C++ portabel untuk mendukung perangkat keras mulai dari komputer konsumen hingga server perusahaan.

Dengan demikian, pengelola paket dan pengembang aplikasi memiliki penanda versi untuk menilai apakah peningkatan versi dapat merusak integrasi mereka. Diskusi tentang proses rilis oleh para pengelola pada 7 Agustus 2026 menambahkan perlindungan terkait: tag rilis resmi llama.cpp hanya dibuat jika salinan ggml internalnya identik dengan salinan ggml yang dirilis. Persyaratan ini dimaksudkan agar build bertanda tag rilis tetap kompatibel dengan instalasi ggml di seluruh sistem, seperti yang digunakan oleh paket Debian dan Homebrew yang dijelaskan dalam dokumen tersebut.

Perubahan pada Runtime, Model, dan Server

Catatan rilis llama.cpp v1.0.0 menyertakan perombakan besar sebagai bagian dari kontrak tersebut. Rilis ini menghapus API publik yang sudah usang, termasuk 35 fungsi yang tidak lagi digunakan, sekaligus memindahkan API decoding spekulatif NextN dari llama-ext.h header ekstensi ke dalam header publik llama.h . Langkah ini menempatkan antarmuka decoding spekulatif tersebut dalam API publik yang tercakup oleh aturan pemberian versi baru.

Fasilitas inferensi baru mencakup cache key-value titik mengambang 8-bit (FP8) OCP, cache memori host untuk model mixture of experts (MoE) dengan porsi CPU yang dapat dikonfigurasi, serta pemuatan data PLE atau engram eksternal dari pecahan GGUF terpisah. Penambahan model mencakup arsitektur teks Kimi-K3.1-Pro, Ripple, dan xing4_0; text-to-speech drama-3; serta dukungan visi untuk MageVL-Cowork dan Kimi-K3.1.

Untuk llama-server, rilis ini menangani pemalsuan permintaan sisi server, berbagi sumber daya lintas asal, dan masalah pengikatan ulang DNS, serta membatasi HF_TOKEN ke host huggingface.co. Panggilan alat MCP dibatalkan saat klien terputus atau mengalami batas waktu, dan server MCP diberi tahu. Titik akhir baru yang kompatibel dengan OpenAI /v1/audio/speech memperluas antarmuka audio server.

Antarmuka web yang didesain ulang menambahkan grup obrolan bernama dan editor Markdown dengan pratinjau langsung. Tata letak seluler menggunakan area aman perangkat dan dialog layar penuh, sementara editor obrolan Android dapat membuka papan ketik virtual.

Backend Perangkat Keras dan Infrastruktur Rilis

Rilis pendamping ggml v1.0.0 menghapus API yang sudah usang dan operasi DIAG_MASK lama, menambahkan pemotongan YaRN yang dapat dikonfigurasi serta dukungan FP8, dan menghindari pengunggahan masukan penjadwal yang tidak dibaca. CUDA dan Metal kini mendukung perkalian matriks terkuantisasi untuk sedikit baris serta penggabungan MoE. Penambahan backend lainnya mencakup kernel FlashAttention prefill Intel Vulkan, penjadwal MoE SYCL di sisi perangkat, FlashAttention Adreno yang diuraikan dalam OpenCL, kernel WebGPU baru, dan cakupan operasi Hexagon yang diperluas.

Setiap backend ggml dapat dikompilasi sebagai pustaka dinamis dan, jika diinginkan, dimuat saat runtime, sehingga instalasi dapat memilih kode khusus untuk perangkat keras tertentu. Artefak prarilis tersedia untuk Linux, macOS, Windows, Android, dan iOS, dengan Docker, Debian, Homebrew, conda-forge, MacPorts, Winget, dan XCFramework sebagai kanal distribusi tambahan yang cakupan platformnya beragam.

Untuk mendukung laju pengembangan tersebut, tim menyatakan bahwa Hugging Face Buckets dan Jobs tengah meningkatkan kapasitas integrasi berkelanjutan untuk perubahan yang masuk ke cabang master. Dukungan perangkat keras dari NVIDIA, AMD, Qualcomm, Arm, IBM, dan Intel juga memungkinkan penambahan lebih banyak runner yang dikelola sendiri di berbagai platform perangkat keras utama. Para pengelola juga mengintegrasikan LLM ke dalam siklus pengembangan mereka, sembari menetapkan kualitas kode, kendali arsitektur, dan pemahaman atas detail implementasi sebagai prioritas.

Bagi proyek hilir, rilis ini menjadikan kompatibilitas sebagai kewajiban pengembangan yang eksplisit untuk pustaka sumber terbuka yang berkembang pesat. Aturan versi dapat memberi tahu pengembang tentang perubahan yang merusak kompatibilitas; perluasan CI dan program runner perangkat keras membantu menentukan apakah rilis rutin tetap dapat diandalkan pada model dan perangkat keras yang digunakan proyek-proyek tersebut.