Llama.cpp V1.0.0 stabilește reguli de stabilitate a API-ului pentru instrumentele AI locale

ggml-org a anunțat llama.cpp v1.0.0 pe 13 noiembrie 2026, oferind proiectului de inferență AI locală în C/C++ un contract formal de compatibilitate pentru dezvoltatorii proiectelor care se bazează pe el. Biblioteca tensorială ggml de la baza proiectului a ajuns, de asemenea, la versiunea v1.0.0, proiectul raportând suport pentru peste 150 de variante de arhitectură a modelelor și pentru toate metodele uzuale de decodare speculativă.

Versionarea devine un angajament public

Ambele proiecte vor semnala incompatibilitățile viitoare ale API-ului la nivel de cod sursă și ale ABI-ului — interfața binară utilizată de aplicațiile compilate — prin creșteri ale versiunii majore. Modificările incompatibile ale API-ului public C determină o creștere a versiunii majore. Funcționalitățile compatibile cu versiunile anterioare, actualizările backendurilor, suportul pentru modele și adăugirile la API determină o creștere a versiunii minore, în timp ce remedierile de erori care nu modifică API-ul determină o creștere a versiunii de corecție.

Politica vine după 3,5 ani de dezvoltare și o dependență tot mai mare de interfețele bibliotecii proiectului. llama.cpp oferă inferență multimodală pentru LLM-uri prin libllamaîn timp ce ggml furnizează stratul tensorial de învățare automată prin libggmlSoftware-ul utilizează cuantizarea, backenduri optimizate și cod portabil în C/C++ pentru a funcționa pe echipamente de la computerele personale la serverele pentru companii.

Astfel, administratorii de pachete și dezvoltatorii de aplicații au un reper de versiune care le permite să evalueze dacă o actualizare le poate afecta integrarea. Discuția despre procesul de lansare purtată de administratori pe 7 august 2026 adaugă o măsură de protecție conexă: o etichetă oficială de lansare llama.cpp este creată numai când copia internă ggml este identică cu versiunea ggml lansată. Condiția urmărește să asigure compatibilitatea versiunilor construite pornind de la eticheta de lansare cu o instalare ggml la nivel de sistem, configurația utilizată de pachetele Debian și Homebrew descrise în document.

Modificări la runtime, modele și server

Notele de lansare pentru llama.cpp v1.0.0 însoțesc acest angajament cu o amplă curățare. Lansarea elimină API-ul public învechit, inclusiv 35 de funcții depreciate, și promovează API-ul de decodare speculativă NextN din llama-ext.h antetul extensiei în cel public llama.h antet. Astfel, această interfață de decodare speculativă devine parte a API-ului public reglementat de noile reguli de versionare.

Noile funcționalități de inferență includ cache-uri pentru chei și valori în formatul OCP cu virgulă mobilă pe 8 biți (FP8), un cache în memoria gazdă pentru modele de tip mixture-of-experts (MoE), cu o pondere configurabilă pentru procesorul central, precum și încărcarea datelor PLE sau engram externe din fragmente GGUF separate. Printre modelele adăugate se numără arhitecturile textuale Kimi-K3.1-Pro, Ripple și xing4_0, modelul drama-3 pentru sinteza vocală din text și suportul vizual pentru MageVL-Cowork și Kimi-K3.1.

Pentru llama-server, lansarea remediază problemele de falsificare a cererilor de pe server, de partajare a resurselor între origini și de rebinding DNS și limitează HF_TOKEN la gazdele huggingface.co. Apelurile instrumentelor MCP sunt anulate când clientul se deconectează sau expiră timpul alocat, iar serverul MCP este notificat. Un nou punct final compatibil cu OpenAI /v1/audio/speech extinde interfața audio a serverului.

Interfața web reproiectată adaugă grupuri de chat cu nume și un editor Markdown cu previzualizare în timp real. Aspectele pentru dispozitive mobile țin cont de zonele sigure ale dispozitivului și folosesc casete de dialog pe tot ecranul, iar editorul de chat pentru Android poate deschide tastatura virtuală.

Backenduri hardware și infrastructura de lansare

Lansarea asociată ggml v1.0.0 elimină API-urile învechite și operațiile DIAG_MASK vechi, adaugă trunchiere YaRN configurabilă și suport FP8 și evită încărcarea datelor de intrare ale planificatorului care nu sunt citite. CUDA și Metal beneficiază de înmulțirea matricelor cuantizate pentru un număr mic de rânduri și de optimizări pentru fuziunea MoE. Printre celelalte îmbunătățiri ale backendurilor se numără un nucleu FlashAttention pentru preumplere în Intel Vulkan, un planificator MoE SYCL care rulează pe dispozitiv, o implementare FlashAttention pentru Adreno, descompusă în OpenCL, noi nuclee WebGPU și o acoperire extinsă a operațiilor Hexagon.

Fiecare backend ggml poate fi compilat ca bibliotecă dinamică și încărcat opțional în timpul execuției, permițând instalărilor să selecteze cod specific echipamentului. Artefactele pre-lansare sunt disponibile pentru Linux, macOS, Windows, Android și iOS, iar Docker, Debian, Homebrew, conda-forge, MacPorts, Winget și XCFramework oferă canale suplimentare de distribuție, a căror acoperire a platformelor variază.

Pentru a susține ritmul de dezvoltare, echipa spune că Hugging Face Buckets și Jobs extind capacitatea de integrare continuă pentru modificările aduse ramurilor master. Suportul hardware din partea NVIDIA, AMD, Qualcomm, Arm, IBM și Intel permite, de asemenea, utilizarea unui număr mai mare de executori autogăzduiți pe principalele platforme hardware. Administratorii integrează și LLM-uri în ciclul de dezvoltare, acordând totodată prioritate calității codului, controlului arhitectural și înțelegerii detaliilor de implementare.

Pentru proiectele care se bazează pe el, lansarea transformă compatibilitatea într-o obligație explicită de dezvoltare pentru o bibliotecă open-source aflată într-o evoluție rapidă. Regulile de versionare pot semnala modificările incompatibile, iar extinderea integrării continue și a programului de executori hardware ajută la determinarea fiabilității lansărilor obișnuite pe modelele și echipamentele utilizate de aceste proiecte.