Llama.cpp V1.0.0 fastsætter regler for API-stabilitet i lokale AI-værktøjer

ggml-org annoncerede llama.cpp v1.0.0 den 13. november 2026 og gav dermed C/C++-projektet for lokal AI-inferens en formel kompatibilitetsaftale for videreudviklere. Det underliggende ggml-tensorbibliotek nåede også v1.0.0, og projektet oplyste, at det understøtter mere end 150 varianter af modelarkitekturer og alle almindelige metoder til spekulativ afkodning.

Versionsstyring bliver en offentlig aftale

Begge projekter vil signalere fremtidige inkompatibiliteter i API’et på kildekodeniveau og i ABI’et, det binære grænsefladelag, der bruges af kompilerede programmer, ved at hæve hovedversionsnummeret. Brud på det offentlige C-API udløser en stigning i hovedversionsnummeret. Bagudkompatible funktioner, opdateringer af backend, modelunderstøttelse og tilføjelser til API’et udløser en stigning i delversionsnummeret, mens fejlrettelser uden ændringer i API’et udløser en stigning i patchversionsnummeret.

Politikken kommer efter 3,5 års udvikling og en stigende afhængighed af projektets biblioteksgrænseflader. llama.cpp leverer multimodal LLM-inferens via libllama, mens ggml leverer tensorlaget til maskinlæring via libggml. Softwaren bruger kvantisering, optimerede backends og portabel C/C++-kode til at understøtte hardware lige fra forbrugermaskiner til virksomheders servere.

Det giver pakkevedligeholdere og programudviklere et versionssignal, som kan bruges til at vurdere, om en opgradering kan ødelægge deres integration. Vedligeholdernes diskussion om udgivelsesprocessen den 7. august 2026 tilføjer en beslægtet sikkerhedsforanstaltning: Et officielt udgivelsesmærke for llama.cpp oprettes kun, når projektets interne kopi af ggml er identisk med den udgivne kopi af ggml. Betingelsen skal sikre, at builds fra udgivelsesmærket er kompatible med en systemdækkende installation af ggml, sådan som Debian- og Homebrew-pakkerne beskrevet i dokumentet er indrettet.

Ændringer i kørselsmiljø, modeller og server

Udgivelsesnoterne til llama.cpp v1.0.0 kobler denne aftale sammen med en omfattende oprydning. Udgivelsen fjerner det forældede offentlige API, herunder 35 forældede funktioner, og flytter samtidig API’et til spekulativ afkodning, NextN, fra llama-ext.h udvidelseshovedfilen til den offentlige llama.h hovedfil. Dermed bliver denne grænseflade til spekulativ afkodning en del af det offentlige API, der er omfattet af de nye regler for versionsstyring.

Nye inferensfunktioner omfatter OCP 8-bit-flydende-komma-nøgle-værdi-cacher (FP8), en cache i værtscomputerens hukommelse til mixture-of-experts-modeller (MoE) med en konfigurerbar andel af CPU-ressourcerne samt indlæsning af eksterne PLE- eller engramdata fra separate GGUF-fragmenter. Tilføjelser til modelunderstøttelsen omfatter tekstarkitekturerne Kimi-K3.1-Pro, Ripple og xing4_0, tekst-til-tale-modellen drama-3 samt visionsunderstøttelse for MageVL-Cowork og Kimi-K3.1.

For llama-server håndterer udgivelsen server-side request forgery, deling af ressourcer på tværs af oprindelser og problemer med DNS-rebinding, og begrænser HF_TOKEN til værter på huggingface.co. MCP-værktøjskald annulleres, når en klient afbryder forbindelsen eller får timeout, og MCP-serveren får besked. Et nyt OpenAI-kompatibelt /v1/audio/speech endepunkt udvider serverens lydgrænseflade.

Den redesignede webgrænseflade tilføjer navngivne chatgrupper og en Markdown-editor med liveforhåndsvisning. Mobilvisninger udnytter enhedernes sikre skærmområder og dialoger i fuld skærm, mens chateditoren på Android kan åbne det virtuelle tastatur.

Hardwarebackends og udgivelsesinfrastruktur

Den tilhørende ggml v1.0.0-udgivelse fjerner forældede API’er og ældre DIAG_MASK-operationer, tilføjer konfigurerbar YaRN-afkortning og FP8-understøttelse og undgår at overføre scheduler-input, der ikke læses. CUDA og Metal får kvantiseret matrixmultiplikation med få rækker samt forbedringer af MoE-fusion. Andre tilføjelser til backends omfatter en Intel Vulkan-kerne til FlashAttention under præfyldning, en SYCL-MoE-scheduler, der kører på enheden, opdelt Adreno FlashAttention i OpenCL, nye WebGPU-kerner og udvidet understøttelse af Hexagon-operationer.

Hver ggml-backend kan kompileres som et dynamisk bibliotek og valgfrit indlæses under kørsel, så installationer kan vælge hardwaretilpasset kode. Forudgivelsesartefakter dækker Linux, macOS, Windows, Android og iOS, mens Docker, Debian, Homebrew, conda-forge, MacPorts, Winget og XCFramework tilbyder yderligere distributionskanaler, hvis platformdækning varierer.

For at understøtte udviklingstempoet siger teamet, at Hugging Face Buckets og Jobs udvider kapaciteten til kontinuerlig integration af ændringer, der lander i master-grenene. Hardwareunderstøttelse fra NVIDIA, AMD, Qualcomm, Arm, IBM og Intel gør det også muligt at bruge flere selvhostede runners på tværs af større hardwareplatforme. Vedligeholderne integrerer også LLM’er i deres udviklingscyklus og peger på kodekvalitet, arkitektonisk kontrol og forståelse af implementeringsdetaljer som deres prioriteter.

For videreudviklere gør udgivelsen kompatibilitet til en udtrykkelig udviklingsforpligtelse for et open source-bibliotek i hastig udvikling. Versionsregler kan signalere brud, mens det udvidede CI- og hardware-runner-program hjælper med at afgøre, om løbende udgivelser fortsat er pålidelige på tværs af de modeller og den hardware, projekterne bruger.