Llama.cpp V1.0.0 inför regler för API-stabilitet i lokala AI-verktyg

ggml-org meddelade att llama.cpp v1.0.0 hade släppts den 13 november 2026 och gav därmed C/C++-projektet för lokal AI-inferens ett formellt kompatibilitetsavtal för utvecklare av nedströmsprojekt. Även det underliggande tensorbiblioteket ggml nådde version 1.0.0. Projektet uppgav att det stöder fler än 150 modellarkitekturvarianter och alla vanliga metoder för spekulativ avkodning.

Versionshantering blir ett offentligt åtagande

Båda projekten kommer att signalera framtida inkompatibilitet i API:er på källkodsnivå och i ABI, det binära gränssnitt som kompilerade program använder, genom att höja huvudversionsnumret. Inkompatibla ändringar i det publika C-API:et leder till en höjning av huvudversionsnumret. Bakåtkompatibla funktioner, uppdateringar av backend, modellstöd och tillägg till API:et leder till en höjning av delversionsnumret, medan buggfixar utan ändringar i API:et leder till en höjning av korrigeringsversionsnumret.

Policyn följer på 3,5 års utveckling och ett växande beroende av projektets biblioteksgränssnitt. llama.cpp erbjuder inferens för multimodala LLM:er genom libllama, medan ggml tillhandahåller maskininlärningens tensorlager genom libggml. Programvaran använder kvantisering, optimerade backendlösningar och portabel C/C++-kod för att fungera på allt från konsumentdatorer till företagsservrar.

Det ger paketunderhållare och applikationsutvecklare en versionssignal som hjälper dem att bedöma om en uppgradering kan orsaka problem med deras integration. Underhållarnas diskussion om utgivningsprocessen den 7 augusti 2026 lägger till en relaterad säkerhetsåtgärd: en officiell utgåvetagg för llama.cpp skapas endast när projektets interna kopia av ggml är identisk med den utgivna kopian av ggml. Villkoret är avsett att säkerställa att byggen från utgåvetaggar är kompatibla med en systemomfattande installation av ggml, vilket är den lösning som används av Debian- och Homebrew-paketen som beskrivs i dokumentet.

Ändringar i körmiljö, modeller och server

Versionsinformationen för llama.cpp v1.0.0 kombinerar det åtagandet med en omfattande upprensning. Utgåvan tar bort det föråldrade publika API:et, däribland 35 föråldrade funktioner, samtidigt som API:et för spekulativ avkodning med NextN flyttas från llama-ext.h tilläggshuvudet till det publika llama.h huvudet. Flytten innebär att detta gränssnitt för spekulativ avkodning omfattas av det publika API:et och de nya versionsreglerna.

Nya inferensfunktioner omfattar OCP-cacheminnen för nycklar och värden med 8-bitars flyttal (FP8), en cache i värdminnet för modeller med en blandning av experter (MoE) och konfigurerbar CPU-andel samt inläsning av externa PLE- eller engramdata från separata GGUF-fragment. Bland de nya modellerna finns textarkitekturerna Kimi-K3.1-Pro, Ripple och xing4_0, text-till-tal-modellen drama-3 samt visionsstöd för MageVL-Cowork och Kimi-K3.1.

För llama-server åtgärdar utgåvan problem med förfalskning av förfrågningar på serversidan, resursdelning mellan olika ursprung och DNS-omdirigering, och begränsar HF_TOKEN till värdar på huggingface.co. MCP-verktygsanrop avbryts när en klient kopplar från eller får tidsavbrott, och MCP-servern underrättas. En ny OpenAI-kompatibel /v1/audio/speech slutpunkt utökar serverns ljudgränssnitt.

Det omarbetade webbgränssnittet har namngivna chattgrupper och en Markdown-redigerare med förhandsvisning i realtid. Mobilvyer anpassas till enhetens säkra områden och använder dialogrutor i helskärmsläge, medan chattredigeraren i Android kan öppna det virtuella tangentbordet.

Hårdvarubackender och utgivningsinfrastruktur

Den kompletterande ggml-utgåvan v1.0.0 tar bort föråldrade API:er och äldre DIAG_MASK-operationer, lägger till konfigurerbar YaRN-trunkering och FP8-stöd samt undviker att ladda upp indata till schemaläggaren som inte läses. CUDA och Metal får kvantiserad matrismultiplikation för ett fåtal rader samt arbete med MoE-sammanslagning. Andra tillägg för backend omfattar en Intel Vulkan-kärna för FlashAttention vid förbehandling av indata, en SYCL-schemaläggare för MoE på enheten, uppdelad Adreno FlashAttention i OpenCL, nya WebGPU-kärnor och utökat stöd för Hexagon-operationer.

Varje ggml-backend kan kompileras som ett dynamiskt bibliotek och vid behov läsas in vid körning, så att installationer kan välja hårdvaruspecifik kod. Förhandsversionsartefakter finns för Linux, macOS, Windows, Android och iOS. Docker, Debian, Homebrew, conda-forge, MacPorts, Winget och XCFramework erbjuder ytterligare distributionskanaler, med varierande stöd för olika plattformar.

För att hålla jämna steg med utvecklingstakten uppger teamet att Hugging Face Buckets and Jobs ökar kapaciteten för kontinuerlig integration av ändringar som införs i master-grenarna. Stöd för hårdvara från NVIDIA, AMD, Qualcomm, Arm, IBM och Intel möjliggör också fler självhanterade körmiljöer på de största hårdvaruplattformarna. Underhållarna inför dessutom LLM:er i sin utvecklingscykel och anger kodkvalitet, arkitektonisk kontroll och förståelse för implementeringsdetaljer som sina prioriteringar.

För nedströmsprojekt innebär utgåvan att kompatibilitet blir ett uttryckligt utvecklingsansvar för ett snabbt föränderligt bibliotek med öppen källkod. Versionsreglerna kan signalera inkompatibla ändringar, medan den utökade satsningen på kontinuerlig integration och hårdvarubaserade körmiljöer hjälper till att avgöra om vanliga utgåvor förblir tillförlitliga på de modeller och den hårdvara som projekten använder.