Llama.cpp V1.0.0 stelt regels vast voor API-stabiliteit van lokale AI-tools

ggml-org kondigde llama.cpp v1.0.0 aan op 13 november 2026 en gaf het C/C++-project voor lokale AI-inferentie daarmee een formele compatibiliteitsafspraak voor downstreamontwikkelaars. Ook de onderliggende ggml-tensorbibliotheek bereikte versie 1.0.0. Het project meldt ondersteuning voor meer dan 150 varianten van modelarchitecturen en voor alle gangbare methoden voor speculatief decoderen.

Versiebeheer wordt een openbare afspraak

Beide projecten zullen toekomstige incompatibiliteit op API-bronniveau en ABI-incompatibiliteit — ABI is de binaire interface die gecompileerde toepassingen gebruiken — aangeven met een verhoging van het hoofdversienummer. Incompatibele wijzigingen in de openbare C-API leiden tot een verhoging van het hoofdversienummer. Achterwaarts compatibele functies, updates van backends, ondersteuning voor modellen en API-uitbreidingen leiden tot een verhoging van het subversienummer. Bugfixes zonder API-wijziging leiden tot een verhoging van het patchnummer.

Dit beleid volgt op 3,5 jaar ontwikkeling en een groeiende afhankelijkheid van de bibliotheekinterfaces van het project. llama.cpp biedt multimodale LLM-inferentie via libllama, terwijl ggml de tensorlaag voor machine learning levert via libggml. De software gebruikt kwantisering, geoptimaliseerde backends en draagbare C/C++-code om hardware aan te sturen, van consumentenapparaten tot bedrijfsservers.

Zo krijgen pakketbeheerders en applicatieontwikkelaars een versie-indicatie waarmee ze kunnen beoordelen of een upgrade hun integratie kan verstoren. De bespreking van het releaseproces door de beheerders op 7 augustus 2026 voegt een verwante waarborg toe: een officiële llama.cpp-releasetag wordt alleen aangemaakt wanneer de interne ggml-kopie identiek is aan de uitgebrachte ggml-kopie. Deze voorwaarde is bedoeld om ervoor te zorgen dat builds met een releasetag compatibel zijn met een systeembrede ggml-installatie, zoals bij de Debian- en Homebrew-pakketten die in het document worden beschreven.

Wijzigingen in runtime, modellen en server

De releaseopmerkingen voor llama.cpp v1.0.0 combineren die afspraak met een grondige opschoning. De release verwijdert de verouderde openbare API, waaronder 35 verouderde functies, en maakt de NextN-API voor speculatief decoderen openbaar; die stond voorheen in de llama-ext.h extensieheader en staat nu in de openbare llama.h header. Hierdoor valt deze interface voor speculatief decoderen onder de openbare API waarop de nieuwe versieregels van toepassing zijn.

Nieuwe inferentiemogelijkheden zijn onder meer OCP-caches met 8-bits drijvendekommagetallen (FP8) voor sleutels en waarden, een cache in het hostgeheugen voor mixture-of-experts-modellen (MoE) met een instelbaar CPU-aandeel, en het laden van externe PLE- of engramgegevens uit afzonderlijke GGUF-shards. De modeluitbreidingen omvatten de tekstarchitecturen Kimi-K3.1-Pro, Ripple en xing4_0, tekst-naar-spraak voor drama-3 en vision-ondersteuning voor MageVL-Cowork en Kimi-K3.1.

Voor llama-server pakt de release kwetsbaarheden voor request forgery aan de serverzijde, problemen met het delen van resources tussen verschillende origins en DNS-rebinding aan, en beperkt HF_TOKEN dit tot hosts op huggingface.co. MCP-toolaanroepen worden geannuleerd wanneer een client de verbinding verbreekt of een time-out krijgt, en de MCP-server ontvangt daarvan een melding. Een nieuw OpenAI-compatibel /v1/audio/speech eindpunt breidt de audio-interface van de server uit.

De vernieuwde webinterface biedt chatgroepen met een naam en een Markdown-editor met livevoorbeeld. Mobiele lay-outs houden rekening met de veilige schermzones van apparaten en gebruiken dialoogvensters op volledig scherm; de chat-editor op Android kan het virtuele toetsenbord openen.

Hardwarebackends en release-infrastructuur

De bijbehorende ggml v1.0.0-release verwijdert verouderde API’s en oude DIAG_MASK-bewerkingen, voegt instelbare YaRN-afkapping en FP8-ondersteuning toe en voorkomt dat schedulerinvoer wordt geüpload die niet wordt gelezen. CUDA en Metal krijgen ondersteuning voor gekwantiseerde matrixvermenigvuldiging met weinig rijen en werk aan MoE-fusie. Andere toevoegingen aan backends zijn een Intel Vulkan-prefillkernel voor FlashAttention, een SYCL-MoE-scheduler die op het apparaat draait, opgesplitste Adreno FlashAttention in OpenCL, nieuwe WebGPU-kernels en uitgebreidere ondersteuning voor Hexagon-bewerkingen.

Elke ggml-backend kan als dynamische bibliotheek worden gecompileerd en optioneel tijdens runtime worden geladen, zodat installaties hardware-specifieke code kunnen selecteren. Voorafgaand aan de release zijn er artefacten voor Linux, macOS, Windows, Android en iOS. Docker, Debian, Homebrew, conda-forge, MacPorts, Winget en XCFramework bieden daarnaast distributiekanalen, waarvan de platformondersteuning verschilt.

Het team zegt dat Hugging Face Buckets en Jobs de capaciteit voor continue integratie uitbreiden om het ontwikkeltempo bij te houden en wijzigingen op de masterbranches te verwerken. Dankzij hardwareondersteuning van NVIDIA, AMD, Qualcomm, Arm, IBM en Intel kunnen bovendien meer zelfgehoste runners worden ingezet op belangrijke hardwareplatforms. De beheerders nemen ook LLM’s op in hun ontwikkelcyclus. Hun prioriteiten zijn codekwaliteit, controle over de architectuur en inzicht in implementatiedetails.

Voor downstreamprojecten maakt deze release compatibiliteit tot een expliciete ontwikkelverplichting voor een snel veranderende opensourcebibliotheek. Versieregels kunnen incompatibele wijzigingen signaleren; het uitgebreide CI- en hardware-runnerprogramma helpt bepalen of reguliere releases betrouwbaar blijven op de modellen en hardware die deze projecten gebruiken.