Llama.cpp V1.0.0 встановлює правила стабільності API для локальних інструментів ШІ

ggml-org оголосила про випуск llama.cpp v1.0.0 13 листопада 2026 року, запровадивши формальні гарантії сумісності для розробників проєктів, що використовують бібліотеку локального інференсу ШІ на C/C++. Базова тензорна бібліотека ggml також досягла версії v1.0.0; за повідомленням проєкту, вона підтримує понад 150 варіантів архітектур моделей і всі основні методи спекулятивного декодування.

Версіонування стає публічною угодою

Обидва проєкти позначатимуть несумісність майбутніх змін API на рівні вихідного коду та ABI — двійкового інтерфейсу, який використовують скомпільовані застосунки, — підвищенням основної версії. Несумісні зміни публічного API на C спричинятимуть підвищення основної версії. Функції зі зворотною сумісністю, оновлення бекендів, підтримка моделей і доповнення API спричинятимуть підвищення мінорної версії, а виправлення помилок без змін API — підвищення патч-версії.

Ця політика стала результатом 3,5 року розробки та зростання залежності від інтерфейсів бібліотеки проєкту. llama.cpp забезпечує мультимодальний інференс великих мовних моделей через libllama, тоді як ggml надає тензорний шар машинного навчання через libggml. У програмному забезпеченні використовуються квантизація, оптимізовані бекенди й переносний код на C/C++, щоб підтримувати обладнання — від споживчих пристроїв до корпоративних серверів.

Це дає супровідникам пакетів і розробникам застосунків змогу за версією оцінити, чи може оновлення порушити інтеграцію. Під час обговорення процесу випуску 7 серпня 2026 року супровідники запропонували додатковий запобіжний захід: офіційний тег випуску llama.cpp створюватимуть лише тоді, коли внутрішня копія ggml у проєкті буде ідентичною випущеній копії ggml. Ця умова має забезпечити сумісність збірок із тегами випуску із загальносистемною інсталяцією ggml — саме таку схему використовують пакети Debian і Homebrew, описані в документі.

Зміни в середовищі виконання, моделях і сервері

У примітках до випуску llama.cpp v1.0.0 ці гарантії сумісності супроводжуються масштабним упорядкуванням коду. У випуску вилучено застарілий публічний API, зокрема 35 застарілих функцій, а API спекулятивного декодування NextN перенесено з llama-ext.h заголовка розширення до публічного llama.h заголовка. Завдяки цьому цей інтерфейс спекулятивного декодування стає частиною публічного API, на який поширюються нові правила версіонування.

Серед нових можливостей інференсу — кеші ключів і значень у форматі OCP із 8-бітними числами з рухомою комою (FP8), кеш у пам’яті хоста для моделей із сумішшю експертів (MoE) із налаштовуваною часткою CPU, а також завантаження зовнішніх даних PLE або engram з окремих фрагментів GGUF. До переліку підтримуваних моделей додано текстові архітектури Kimi-K3.1-Pro, Ripple і xing4_0, синтез мовлення з тексту drama-3, а також підтримку зображень для MageVL-Cowork і Kimi-K3.1.

У llama-server усунуто вразливості підроблення запитів на боці сервера, спільного використання ресурсів між джерелами та атак із підміною DNS, а також обмежено HF_TOKEN доступ лише до вузлів huggingface.co. Виклики інструментів MCP скасовуються, якщо клієнт від’єднується або спливає час очікування; сервер MCP отримує відповідне сповіщення. Нову сумісну з OpenAI /v1/audio/speech кінцеву точку додано до аудіоінтерфейсу сервера.

Оновлений вебінтерфейс тепер має іменовані групи чатів і редактор Markdown із попереднім переглядом у реальному часі. У мобільних версіях враховано безпечні зони пристрою та передбачено повноекранні діалогові вікна, а редактор чату на Android може відкривати віртуальну клавіатуру.

Апаратні бекенди та інфраструктура випуску

У супутньому випуску ggml v1.0.0 вилучено застарілі API та застарілі операції DIAG_MASK, додано налаштовуване обрізання YaRN і підтримку FP8, а також усунуто потребу завантажувати вхідні дані планувальника, які він не читає. Для CUDA і Metal додано множення квантованих матриць із малою кількістю рядків і доопрацювання злиття MoE. Серед інших доповнень до бекендів — ядро FlashAttention для попереднього заповнення на Intel Vulkan, планувальник MoE на пристрої для SYCL, декомпоноване FlashAttention для Adreno в OpenCL, нові ядра WebGPU та розширена підтримка операцій Hexagon.

Кожен бекенд ggml можна скомпілювати як динамічну бібліотеку й за потреби завантажувати під час виконання, що дає змогу інсталяціям вибирати код для конкретного обладнання. Артефакти попередніх випусків охоплюють Linux, macOS, Windows, Android та iOS; додатковими каналами поширення є Docker, Debian, Homebrew, conda-forge, MacPorts, Winget і XCFramework, причому перелік підтримуваних платформ у них різниться.

За словами команди, щоб підтримати темп розробки, Hugging Face Buckets і Jobs нарощують потужності безперервної інтеграції для змін, що потрапляють до гілок master. Підтримка обладнання з боку NVIDIA, AMD, Qualcomm, Arm, IBM та Intel також дає змогу запускати більше раннерів на власній інфраструктурі на основних апаратних платформах. Супровідники також інтегрують великі мовні моделі у свій цикл розробки, водночас визначаючи пріоритетами якість коду, архітектурний контроль і розуміння деталей реалізації.

Для проєктів, що використовують бібліотеку, цей випуск робить сумісність чітким зобов’язанням під час розробки динамічної бібліотеки з відкритим кодом. Правила версіонування дають змогу повідомляти про несумісні зміни, а розширені можливості CI та програма підтримки апаратних раннерів допомагають з’ясувати, чи залишаються звичайні випуски надійними для моделей і обладнання, які використовують ці проєкти.