Το Llama.cpp V1.0.0 θεσπίζει κανόνες σταθερότητας API για τοπικά εργαλεία ΤΝ

Η ggml-org ανακοίνωσε την έκδοση 1.0.0 του llama.cpp στις 13 Νοεμβρίου 2026, θεσπίζοντας επίσημη σύμβαση συμβατότητας για τους προγραμματιστές που βασίζονται στο έργο τοπικής εξαγωγής συμπερασμάτων ΤΝ σε C/C++. Η υποκείμενη βιβλιοθήκη τανυστών ggml έφτασε επίσης στην έκδοση 1.0.0, με το έργο να αναφέρει υποστήριξη για περισσότερες από 150 παραλλαγές αρχιτεκτονικής μοντέλων και όλες τις κύριες μεθόδους αποκωδικοποίησης με εικασία.

Η διαχείριση εκδόσεων γίνεται δημόσια δέσμευση

Και τα δύο έργα θα σηματοδοτούν με αυξήσεις της κύριας έκδοσης μελλοντικές ασυμβατότητες στο API σε επίπεδο πηγαίου κώδικα, καθώς και στο ABI —τη δυαδική διεπαφή που χρησιμοποιούν οι μεταγλωττισμένες εφαρμογές—. Οι ασύμβατες αλλαγές στο δημόσιο API της C οδηγούν σε αύξηση της κύριας έκδοσης. Οι συμβατές προς τα πίσω λειτουργίες, οι ενημερώσεις υποσυστημάτων, η υποστήριξη μοντέλων και οι προσθήκες στο API οδηγούν σε αύξηση της δευτερεύουσας έκδοσης, ενώ οι διορθώσεις σφαλμάτων χωρίς αλλαγή στο API οδηγούν σε αύξηση της έκδοσης επιδιόρθωσης.

Η πολιτική έρχεται έπειτα από 3,5 χρόνια ανάπτυξης και την αυξανόμενη εξάρτηση από τις διεπαφές βιβλιοθήκης του έργου. Το llama.cpp παρέχει πολυτροπική εξαγωγή συμπερασμάτων από μεγάλα γλωσσικά μοντέλα μέσω libllama, ενώ το ggml παρέχει το επίπεδο τανυστών μηχανικής μάθησης μέσω libggml. Το λογισμικό αξιοποιεί την κβαντοποίηση, βελτιστοποιημένα υποσυστήματα και φορητό κώδικα C/C++ για να υποστηρίζει υλικό από καταναλωτικούς υπολογιστές έως εταιρικούς διακομιστές.

Έτσι, οι συντηρητές πακέτων και οι προγραμματιστές εφαρμογών έχουν ένα σήμα έκδοσης που τους βοηθά να εκτιμήσουν αν μια αναβάθμιση ενδέχεται να διαταράξει την ενσωμάτωσή τους. Η σχετική συζήτηση των συντηρητών για τη διαδικασία κυκλοφορίας, στις 7 Αυγούστου 2026, προσθέτει μια συναφή δικλίδα ασφαλείας: επίσημη ετικέτα κυκλοφορίας του llama.cpp δημιουργείται μόνο όταν το ενσωματωμένο αντίγραφο του ggml είναι πανομοιότυπο με την κυκλοφορημένη έκδοση του ggml. Η προϋπόθεση αυτή αποσκοπεί στο να διασφαλίσει ότι οι εκδόσεις που δημιουργούνται από ετικέτες κυκλοφορίας είναι συμβατές με μια εγκατάσταση του ggml σε επίπεδο συστήματος, όπως συμβαίνει με τα πακέτα Debian και Homebrew που περιγράφονται στο έγγραφο.

Αλλαγές στον χρόνο εκτέλεσης, στα μοντέλα και στον διακομιστή

Οι σημειώσεις κυκλοφορίας του llama.cpp v1.0.0 συνοδεύουν αυτή τη σύμβαση με εκτεταμένη εκκαθάριση. Η κυκλοφορία καταργεί το παρωχημένο δημόσιο API, συμπεριλαμβανομένων 35 παρωχημένων συναρτήσεων, ενώ μεταφέρει το API αποκωδικοποίησης με εικασία NextN από την llama-ext.h κεφαλίδα επέκτασης στη δημόσια llama.h κεφαλίδα. Με αυτή τη μεταφορά, η διεπαφή αποκωδικοποίησης με εικασία εντάσσεται στο δημόσιο API που καλύπτεται από τους νέους κανόνες διαχείρισης εκδόσεων.

Οι νέες δυνατότητες εξαγωγής συμπερασμάτων περιλαμβάνουν κρυφές μνήμες κλειδιών-τιμών (KV) κινητής υποδιαστολής 8 bit (FP8) κατά OCP, κρυφή μνήμη στη μνήμη του κεντρικού υπολογιστή για μοντέλα με μείγμα ειδικών (MoE) και ρυθμιζόμενο μερίδιο χρήσης της CPU, καθώς και φόρτωση εξωτερικών δεδομένων PLE ή engram από ξεχωριστά τμήματα GGUF. Οι προσθήκες μοντέλων καλύπτουν τις αρχιτεκτονικές κειμένου Kimi-K3.1-Pro, Ripple και xing4_0, τη μετατροπή κειμένου σε ομιλία drama-3, καθώς και υποστήριξη όρασης για τα MageVL-Cowork και Kimi-K3.1.

Για το llama-server, η κυκλοφορία αντιμετωπίζει ζητήματα πλαστογράφησης αιτημάτων από την πλευρά του διακομιστή, κοινής χρήσης πόρων μεταξύ διαφορετικών προελεύσεων και επανασύνδεσης DNS, ενώ περιορίζει HF_TOKEN σε κεντρικούς υπολογιστές huggingface.co. Οι κλήσεις εργαλείων MCP ακυρώνονται όταν ένας πελάτης αποσυνδεθεί ή λήξει το χρονικό όριο, με σχετική ειδοποίηση προς τον διακομιστή MCP. Ένα νέο συμβατό με το OpenAI /v1/audio/speech τελικό σημείο επεκτείνει τη διεπαφή ήχου του διακομιστή.

Η ανασχεδιασμένη διαδικτυακή διεπαφή προσθέτει επώνυμες ομάδες συνομιλιών και έναν επεξεργαστή Markdown με ζωντανή προεπισκόπηση. Οι διατάξεις για κινητά αξιοποιούν τις ασφαλείς περιοχές της συσκευής και διαλόγους πλήρους οθόνης, ενώ ο επεξεργαστής συνομιλίας για Android μπορεί να ανοίξει το εικονικό πληκτρολόγιο.

Υποσυστήματα υλικού και υποδομή κυκλοφορίας

Η συνοδευτική κυκλοφορία του ggml v1.0.0 καταργεί παρωχημένα API και παλαιού τύπου λειτουργίες DIAG_MASK, προσθέτει ρυθμιζόμενη περικοπή YaRN και υποστήριξη FP8, ενώ αποφεύγει τη μεταφόρτωση εισόδων του χρονοπρογραμματιστή που δεν διαβάζονται. Στα CUDA και Metal προστίθενται πολλαπλασιασμός κβαντισμένων μητρών με λίγες γραμμές και εργασίες συγχώνευσης MoE. Άλλες προσθήκες στα υποσυστήματα περιλαμβάνουν έναν πυρήνα FlashAttention για την αρχική επεξεργασία στο Intel Vulkan, έναν χρονοπρογραμματιστή MoE στο επίπεδο της συσκευής για το SYCL, αποσυντεθειμένη FlashAttention για Adreno στο OpenCL, νέους πυρήνες WebGPU και διευρυμένη κάλυψη λειτουργιών Hexagon.

Κάθε υποσύστημα του ggml μπορεί να μεταγλωττιστεί ως δυναμική βιβλιοθήκη και να φορτωθεί προαιρετικά κατά τον χρόνο εκτέλεσης, επιτρέποντας στις εγκαταστάσεις να επιλέγουν κώδικα ειδικά για το εκάστοτε υλικό. Τα τεχνουργήματα προκυκλοφορίας καλύπτουν Linux, macOS, Windows, Android και iOS, ενώ τα Docker, Debian, Homebrew, conda-forge, MacPorts, Winget και XCFramework προσφέρουν επιπλέον κανάλια διανομής, με διαφορετική κάλυψη πλατφορμών το καθένα.

Για να υποστηρίξει τον ρυθμό ανάπτυξης, η ομάδα αναφέρει ότι τα Hugging Face Buckets και Jobs αυξάνουν τη χωρητικότητα συνεχούς ενσωμάτωσης για αλλαγές που ενσωματώνονται στους κλάδους master. Η υποστήριξη υλικού από τις NVIDIA, AMD, Qualcomm, Arm, IBM και Intel επιτρέπει επίσης τη χρήση περισσότερων εκτελεστών που φιλοξενούνται από τους ίδιους, σε κύριες πλατφόρμες υλικού. Οι συντηρητές ενσωματώνουν και μεγάλα γλωσσικά μοντέλα (LLM) στον κύκλο ανάπτυξής τους, ενώ θέτουν ως προτεραιότητες την ποιότητα του κώδικα, τον αρχιτεκτονικό έλεγχο και την κατανόηση των λεπτομερειών υλοποίησης.

Για τα έργα που βασίζονται σε αυτό, η κυκλοφορία καθιστά τη συμβατότητα ρητή υποχρέωση ανάπτυξης για μια ταχέως εξελισσόμενη βιβλιοθήκη ανοικτού κώδικα. Οι κανόνες διαχείρισης εκδόσεων μπορούν να γνωστοποιούν τις ασύμβατες αλλαγές, ενώ το διευρυμένο πρόγραμμα συνεχούς ενσωμάτωσης και εκτελεστών υλικού βοηθά να διαπιστωθεί αν οι τακτικές κυκλοφορίες παραμένουν αξιόπιστες στα μοντέλα και στο υλικό που χρησιμοποιούν αυτά τα έργα.