Llama.cpp V1.0.0 fastsetter regler for API-stabilitet i lokale AI-verktøy

ggml-org kunngjorde llama.cpp v1.0.0 13. november 2026 og ga dermed C/C++-prosjektet for lokal AI-inferens en formell kompatibilitetsavtale for utviklere av avhengige prosjekter. Det underliggende ggml-tensorbiblioteket nådde også v1.0.0. Prosjektet oppgir at det støtter mer enn 150 varianter av modellarkitekturer og alle vanlige metoder for spekulativ dekoding.

Versjonering blir en offentlig avtale

Begge prosjektene vil varsle om fremtidig inkompatibilitet i API-er på kildekodenivå og i ABI-et, det binære grensesnittet som kompilerte applikasjoner bruker, ved å øke hovedversjonsnummeret. Endringer som bryter det offentlige C-API-et, utløser en økning av hovedversjonsnummeret. Bakoverkompatible funksjoner, oppdateringer av bakender, modellstøtte og tillegg til API-et utløser en økning av delversjonsnummeret, mens feilrettinger uten endringer i API-et utløser en økning av rettelsesversjonsnummeret.

Retningslinjene kommer etter 3,5 års utvikling og en økende avhengighet av prosjektets biblioteksgrensesnitt. llama.cpp tilbyr inferens med multimodale LLM-er gjennom libllama, mens ggml leverer tensorlaget for maskinlæring gjennom libggml. Programvaren bruker kvantisering, optimaliserte bakender og portabel C/C++-kode for å støtte maskinvare fra forbrukermaskiner til bedriftsservere.

Dette gir pakkevedlikeholdere og applikasjonsutviklere et versjonssignal som kan brukes til å vurdere om en oppgradering kan bryte integrasjonen deres. Vedlikeholdernes diskusjon om utgivelsesprosessen 7. august 2026 legger til et beslektet sikkerhetstiltak: En offisiell utgivelsestagg for llama.cpp opprettes bare når prosjektets interne kopi av ggml er identisk med den utgitte ggml-kopien. Vilkåret skal sørge for at bygg fra utgivelsestagger er kompatible med en systemomfattende ggml-installasjon, slik pakkene for Debian og Homebrew som omtales i dokumentet, er satt opp.

Endringer i kjøretid, modeller og server

Utgivelsesnotatene for llama.cpp v1.0.0 kombinerer denne avtalen med en omfattende opprydding. Utgivelsen fjerner det utdaterte offentlige API-et, inkludert 35 utdaterte funksjoner, samtidig som API-et for spekulativ dekoding NextN flyttes fra llama-ext.h utvidelsesheaderen til den offentlige llama.h headeren. Denne endringen gjør grensesnittet for spekulativ dekoding til en del av det offentlige API-et som omfattes av de nye versjoneringsreglene.

Nye funksjoner for inferens omfatter OCP 8-bits flyttallscacher (FP8) for nøkkel- og verdier, en hurtigbuffer i vertsminnet for modeller med blanding av eksperter (MoE) og en konfigurerbar andel CPU-bruk, samt innlasting av eksterne PLE- eller engramdata fra separate GGUF-fragmenter. Blant modellnyhetene er tekstarkitekturene Kimi-K3.1-Pro, Ripple og xing4_0, tekst-til-tale-modellen drama-3 og synsstøtte for MageVL-Cowork og Kimi-K3.1.

For llama-server håndterer utgivelsen problemer med forfalskning av forespørsler på serversiden, deling av ressurser på tvers av opphav og DNS-omdirigering, og begrenser HF_TOKEN til verter på huggingface.co. MCP-verktøykall avbrytes hvis en klient kobler fra eller får tidsavbrudd, og MCP-serveren varsles. Et nytt OpenAI-kompatibelt /v1/audio/speech endepunkt utvider serverens lydgrensesnitt.

Det redesignede nettgrensesnittet har navngitte chatte grupper og en Markdown-redigerer med direkte forhåndsvisning. Mobilvisninger bruker enhetens sikre visningsområder og dialogbokser i fullskjerm, mens chatte redigereren på Android kan åpne det virtuelle tastaturet.

Maskinvarebakender og utgivelsesinfrastruktur

Den tilhørende ggml v1.0.0-utgivelsen fjerner utdaterte API-er og eldre DIAG_MASK-operasjoner, legger til konfigurerbar YaRN-avkorting og FP8-støtte og unngår å laste opp inndata til planleggeren som ikke leses. CUDA og Metal får matrismultiplikasjon med kvantiserte verdier for noen få rader og forbedringer av MoE-fusjon. Andre tillegg til bakender omfatter en Intel Vulkan-kjerne for forhåndsutfylling med FlashAttention, en SYCL MoE-planlegger som kjører på enheten, oppdelt Adreno FlashAttention i OpenCL, nye WebGPU-kjerner og støtte for flere operasjoner på Hexagon.

Hver ggml-bakende kan kompileres som et dynamisk bibliotek og eventuelt lastes inn under kjøring, slik at installasjoner kan velge maskinvarespesifikk kode. Forhåndsutgivelsesartefakter dekker Linux, macOS, Windows, Android og iOS. Docker, Debian, Homebrew, conda-forge, MacPorts, Winget og XCFramework tilbyr flere distribusjonskanaler, med varierende plattformstøtte.

For å holde tritt med utviklingstakten opplyser teamet at Hugging Face Buckets og Jobs øker kapasiteten for kontinuerlig integrasjon av endringer som legges inn i master-grenene. Maskinvarestøtte fra NVIDIA, AMD, Qualcomm, Arm, IBM og Intel gjør det også mulig å bruke flere selvdriftede testkjørere på de viktigste maskinvareplattformene. Vedlikeholderne tar dessuten i bruk LLM-er i utviklingssyklusen og peker på kodekvalitet, arkitektonisk kontroll og forståelse av implementasjonsdetaljer som prioriteringer.

For prosjekter som bygger videre på biblioteket, gjør utgivelsen kompatibilitet til en uttrykkelig utviklingsforpliktelse for et raskt utviklende åpen kildekode-bibliotek. Versjoneringsreglene kan varsle om brudd, mens den utvidede satsingen på kontinuerlig integrasjon og maskinvarebaserte testkjørere bidrar til å fastslå om vanlige utgivelser fortsatt er pålitelige på tvers av modellene og maskinvaren prosjektene bruker.