Liquid AI lance LFM2.5-DSpark pour une inférence jusqu’à 3,2 × plus rapide

Liquid AI a publié des points de contrôle de décodage spéculatif pour trois modèles de sa famille LFM2.5 le 20 août 2026, annonçant des gains de débit allant jusqu’à 3,18 × sur un seul GPU H100 et jusqu’à 2,87 × sur un MacBook à puce Apple, sans aucune modification des sorties du modèle. La publication LFM2.5-DSpark couvre les drafters pour LFM2.5-1.2B-Instruct, LFM2.5-2.6B et le modèle mixture‑of‑experts LFM2.5-8B-A1B, chacun ajoutant environ 300 millions de paramètres de surcharge de draft au modèle cible.

Les points de contrôle sont fournis aux formats Safetensors et GGUF avec un support dès le premier jour dans llama.cpp et SGLang, deux intégrations qui ont été contribué en amont aux bases de code officielles. Comme le décodage spéculatif ne génère que des jetons que le modèle cible a vérifiés, l’entreprise affirme que le texte généré est identique à celui que le modèle cible produirait seul en décodage glouton, de sorte que la précision des benchmarks reste inchangée.

Les mesures de Liquid AI, réalisées avec une taille de lot de 1 et une température de 0 sur cinq jeux de données, indiquent un gain moyen de 2,67 × pour LFM2.5-2.6B sur un H100 (de 323 à 864 jetons/s) et de 2,27 × sur un MacBook Pro M4 Max (de 61 à 139 jetons/s). Le meilleur résultat unique provient de LFM2.5-8B-A1B sur MATH500, où le débit sur le H100 a augmenté de 3,18 ×, passant de 428 à 1 362 jetons/s. L’entreprise signale également que DSpark a réduit la latence des appels de fonction de 57 % en moyenne pour LFM2.5-2.6B dans des scénarios multi‑outils, le résultat phare pour les charges de travail agentiques sur appareil que la gamme LFM2.5 vise.

Comment DSpark accélère le décodage

La phase de décodage de l’inférence LLM est limitée par la mémoire : la majeure partie de la latence provient du flux des poids de la DRAM vers la mémoire intégrée plutôt que du calcul proprement dit, ce qui explique pourquoi l’économie de l’inférence est devenue le problème d’ingénierie central du domaine. Le décodage spéculatif répond à ce défi en faisant proposer à un petit modèle de draft un bloc de jetons candidats, puis en vérifiant l’ensemble du bloc en un seul passage avant du modèle cible, répartissant ainsi le coût de chargement des poids sur chaque jeton vérifié.

DSpark, présenté dans un article de juillet 2026 par les chercheurs de DeepSeek et déployé dans le système de service DeepSeek‑V4 de la société, combine trois composants : un backbone parallèle qui génère les états cachés pour tous les jetons de draft en un seul passage, une tête séquentielle légère qui modèle les dépendances entre jetons voisins afin de maintenir les taux d’acceptation élevés jusqu’à la fin du bloc, et un vérificateur à planification de confiance qui élimine les suffixes à faible confiance lorsque les vérifier coûterait plus cher que les économies réalisées. Dans le déploiement en production de DeepSeek, l’article rapporte des accélérations de génération par utilisateur de 60 à 85 % par rapport à la référence MTP‑1 à débit égal.

Les drafters de Liquid AI suivent cette recette avec une conception simplifiée uniquement basée sur l’attention : cinq couches, une taille de bloc de neuf jetons de draft par étape, et une tête de Markov sur un vocabulaire de 128 000 jetons, selon la fiche modèle LFM2.5-2.6B-DSpark. Chaque draft a été entraîné pendant 15 époques sur un mélange de fine‑tuning supervisé, de dialogues, de code et de données d’appels de fonction, le point de contrôle étant choisi en fonction du taux d’acceptation le plus élevé plutôt que de la perte la plus basse. La garantie d’exactitude assure la qualité : « Le décodage spéculatif est exact : le modèle cible vérifie chaque jeton proposé, ainsi la sortie gloutonne équivaut à celle du modèle cible seul », indique la fiche modèle GGUF, avec des mesures par réponse montrant combien de jetons de draft ont été proposés et acceptés.

LFM2.5-DSpark en chiffres

• 3,18 × — meilleur gain GPU rapporté (LFM2.5-8B-A1B, MATH500, H100 : 428 → 1 362 jetons/s)
• 2,87 × — meilleur gain sur appareil rapporté (LFM2.5-1.2B-Instruct, HumanEval, M4 Max : 136 → 389 jetons/s)
• 2,67 × / 2,27 × — gains moyens H100 / M4 Max pour LFM2.5-2.6B sur cinq jeux de données
• 57 % : réduction moyenne de la latence des appels de fonction pour LFM2.5-2.6B dans les scénarios multi‑outils
• 295,7 M–327,7 M (paramètres du modèle de draft, contre des cibles de 1,2 B à 8 B)
• 4,81 sur 10, moyenne de jetons de draft acceptés par étape pour LFM2.5-2.6B avec une taille de bloc de 9

Où les gains annoncés se réduisent

Les propres tableaux de Liquid AI montrent que les gains sont inégaux, et l’entreprise explique les raisons. Pour LFM2.5-8B-A1B, l’amélioration sur appareil n’atteint en moyenne que 1,18 × malgré les taux d’acceptation les plus élevés des trois modèles, un écart que la société attribue à l’implémentation actuelle du mixture‑of‑experts dans le backend Metal de llama.cpp et au trafic supplémentaire de poids que la vérification d’un bloc de jetons déclenche à travers les experts. Pour LFM2.5-1.2B-Instruct, les taux d’acceptation varient suffisamment selon le jeu de données pour que le gain de vitesse oscille jusqu’à 52 % selon la distribution du texte, passant de 1,66 × sur MT‑Bench à 2,56 × sur MATH500 sur le H100.

Toutes les valeurs proviennent du banc d’essai interne de Liquid AI : SGLang sur un H100 80 Go en BF16 pour les chiffres GPU, llama.cpp avec des noyaux Metal expérimentaux sur un M4 Max avec des poids GGUF en FP16 pour les chiffres sur appareil, limité à 256 jetons de sortie. Le chemin SGLang nécessite une compilation avec le support DSpark pour les cibles LFM2, et le chemin llama.cpp requiert la compilation correspondante, de sorte que les accélérations dépendent de ces intégrations plutôt que d’une version stable des moteurs.

Les avancées de Liquid AI sur l’appareil jusqu’à présent

La version DSpark constitue la troisième mise à jour de la famille LFM2.5 en un peu plus d’une semaine. Le 12 août 2026, la société a lancé LFM2.5-VL-3B, un modèle vision‑langage pour le edge, et le 19 août 2026 elle a publié des points de contrôle quantifiés‑aware distillés Q4_0 pour la famille. Le fil conducteur est le même : l’entreprise indique que le gain de vitesse DSpark du modèle 2.6B sur un MacBook pousse l’interactivité au‑delà du débit offert par la plupart des modèles cloud propriétaires, qu’elle estime à environ 140 jetons par seconde.

Tous les trois drafters sont dès à présent disponibles sur Hugging Face : LFM2.5-1.2B-Instruct-DSpark, LFM2.5-2.6B-DSpark, et LFM2.5-8B-A1B-DSpark, avec des builds GGUF en parallèle pour les déploiements llama.cpp.