Llama.cpp V1.0.0 stanovuje pravidla stability API pro lokální nástroje AI

ggml-org oznámila llama.cpp v1.0.0 13. listopadu 2026, čímž projektu pro lokální inferenci AI v jazycích C/C++ stanovila formální závazek kompatibility pro navazující vývojáře. Podkladová tenzorová knihovna ggml rovněž dosáhla verze v1.0.0 a projekt uvádí, že podporuje více než 150 variant architektur modelů a všechny běžné metody spekulativního dekódování.

Správa verzí se stává veřejným závazkem

Oba projekty budou budoucí nekompatibilitu API na úrovni zdrojového kódu i ABI, tedy binárního rozhraní používaného zkompilovanými aplikacemi, signalizovat zvýšením hlavní verze. Nekompatibilní změny veřejného API jazyka C povedou ke zvýšení hlavní verze. Zpětně kompatibilní funkce, aktualizace backendů, podpora modelů a rozšíření API povedou ke zvýšení vedlejší verze, zatímco opravy chyb bez změny API povedou ke zvýšení opravné verze.

Tato politika navazuje na 3,5 roku vývoje a rostoucí závislost na knihovních rozhraních projektu. llama.cpp poskytuje multimodální inferenci LLM prostřednictvím libllama, zatímco ggml poskytuje tenzorovou vrstvu pro strojové učení prostřednictvím libggml. Software využívá kvantizaci, optimalizované backendy a přenositelný kód v jazycích C/C++, aby podporoval hardware od běžných počítačů až po podnikové servery.

Správcům balíčků a vývojářům aplikací to poskytuje signál o verzi, podle kterého mohou posoudit, zda by aktualizace mohla narušit jejich integraci. Diskuse správců o procesu vydávání verzí ze 7. srpna 2026 přidává související pojistku: oficiální značka vydání llama.cpp se vytvoří pouze tehdy, když je interní kopie ggml totožná s vydanou kopií ggml. Tato podmínka má zajistit, aby sestavení označená jako vydání byla kompatibilní s celosystémovou instalací ggml, jakou používají balíčky Debianu a Homebrew popsané v dokumentu.

Změny běhového prostředí, modelů a serveru

Poznámky k vydání llama.cpp v1.0.0 spojují tento závazek s rozsáhlým vyčištěním. Vydání odstraňuje zastaralé veřejné API včetně 35 zastaralých funkcí a zároveň přesouvá API spekulativního dekódování NextN z llama-ext.h hlavičkového souboru rozšíření do veřejného llama.h hlavičkového souboru. Tím se toto rozhraní pro spekulativní dekódování zařazuje do veřejného API, na které se vztahují nová pravidla správy verzí.

Mezi nové možnosti inference patří mezipaměti klíč-hodnota s 8bitovou plovoucí čárkou OCP (FP8), mezipaměť v hostitelské paměti pro modely se směsí expertů (MoE) s nastavitelným podílem zátěže zpracovávaným CPU a načítání externích dat PLE nebo engram z oddělených fragmentů GGUF. Mezi nové modely patří textové architektury Kimi-K3.1-Pro, Ripple a xing4_0, převod textu na řeč drama-3 a podpora vidění pro MageVL-Cowork a Kimi-K3.1.

Vydání řeší v llama-serveru padělání požadavků na straně serveru, sdílení prostředků mezi různými doménami a problémy s opětovným navázáním DNS a omezuje HF_TOKEN na hostitele huggingface.co. Volání nástrojů MCP se ruší, když se klient odpojí nebo vyprší časový limit, a server MCP je o tom informován. Nový koncový bod kompatibilní s OpenAI /v1/audio/speech rozšiřuje zvukové rozhraní serveru.

Přepracované webové rozhraní přidává pojmenované skupiny chatů a editor Markdownu s živým náhledem. Mobilní rozvržení zohledňují bezpečné oblasti zařízení a využívají dialogová okna přes celou obrazovku, zatímco editor chatu v Androidu umožňuje otevřít virtuální klávesnici.

Hardwarové backendy a infrastruktura pro vydávání verzí

Doprovodné vydání ggml v1.0.0 odstraňuje zastaralá API a starší operace DIAG_MASK, přidává nastavitelné zkracování YaRN a podporu FP8 a vynechává nahrávání vstupů plánovače, které se nepoužívají. CUDA a Metal přidávají kvantované násobení matic s malým počtem řádků a práci na slučování MoE. Mezi další novinky v backendech patří jádro FlashAttention pro předvyplňování v Intel Vulkan, plánovač MoE pro SYCL běžící na zařízení, rozložená implementace FlashAttention pro Adreno v OpenCL, nová jádra WebGPU a rozšířená podpora operací Hexagon.

Každý backend ggml lze zkompilovat jako dynamickou knihovnu a podle potřeby načíst za běhu, takže instalace mohou zvolit kód určený pro konkrétní hardware. Artefakty předběžných vydání jsou k dispozici pro Linux, macOS, Windows, Android a iOS; další distribuční kanály představují Docker, Debian, Homebrew, conda-forge, MacPorts, Winget a XCFramework, přičemž rozsah podpory jednotlivých platforem se liší.

Tým uvádí, že pro podporu rychlého tempa vývoje rozšiřují Hugging Face Buckets a Jobs kapacitu průběžné integrace pro změny začleňované do hlavních větví. Podpora hardwaru od NVIDIA, AMD, Qualcomm, Arm, IBM a Intel také umožňuje nasazovat více vlastních běhových agentů napříč hlavními hardwarovými platformami. Správci do vývojového cyklu zapojují také LLM a jako své priority uvádějí kvalitu kódu, kontrolu nad architekturou a porozumění podrobnostem implementace.

Pro navazující projekty toto vydání mění kompatibilitu ve výslovnou vývojovou povinnost u rychle se vyvíjející knihovny s otevřeným zdrojovým kódem. Pravidla verzování mohou signalizovat nekompatibilní změny; rozšířený program CI a hardwarových běhových agentů pomáhá ověřovat, zda běžná vydání zůstávají spolehlivá napříč modely a hardwarem, které tyto projekty používají.