Liquid AI veröffentlicht LFM2.5-DSpark für bis zu 3,2‑fach schnellere Inferenz

Liquid AI hat am 20. August 2026 spekulative Decodierungs‑Entwurfs‑Checkpoints für drei Modelle seiner LFM2.5‑Familie veröffentlicht und dabei Durchsatzsteigerungen von bis zu 3,18‑fach auf einer einzelnen H100‑GPU sowie bis zu 2,87‑fach auf einem Apple‑Silicon‑MacBook gemeldet, ohne dass sich die Modellausgaben ändern. Die LFM2.5-DSpark‑Veröffentlichung umfasst Entwurfsmodelle für LFM2.5-1.2B-Instruct, LFM2.5-2.6B und das Mixture‑of‑Experts‑Modell LFM2.5-8B-A1B, die jeweils etwa 300 Millionen Parameter zusätzlichen Entwurfs‑Overhead zum Zielmodell hinzufügen.

Die Checkpoints werden im Safetensors‑ und GGUF‑Format ausgeliefert und bieten ab dem ersten Tag Unterstützung in llama.cpp und SGLang, wobei beide Integrationen upstream zu den offiziellen Codebasen beigetragen haben. Da spekulatives Decoding nur Tokens ausgibt, die das Zielmodell verifiziert hat, erklärt das Unternehmen, dass der erzeugte Text identisch mit dem ist, den das Zielmodell allein unter Greedy‑Decoding erzeugen würde, sodass die Benchmark‑Genauigkeit unverändert bleibt.

Die Messungen von Liquid AI, durchgeführt mit Batch‑Größe 1 und Temperatur 0 über fünf Datensätze, zeigen eine durchschnittliche Beschleunigung von 2,67‑fach für LFM2.5-2.6B auf einer H100 (von 323 auf 864 Tokens pro Sekunde) und 2,27‑fach auf einem M4 Max MacBook Pro (von 61 auf 139 Tokens pro Sekunde). Das größte Einzelresultat stammt von LFM2.5-8B-A1B auf dem Datensatz MATH500, bei dem der Durchsatz auf der H100 um 3,18‑fach von 428 auf 1 362 Tokens pro Sekunde anstieg. Das Unternehmen berichtet außerdem, dass DSpark die Latenz von Funktionsaufrufen für LFM2.5-2.6B in Multi‑Tool‑Szenarien im Durchschnitt um 57 % reduziert hat – das Hauptresultat für die on‑device agentischen Workloads, für die die LFM2.5‑Reihe konzipiert ist.

Wie DSpark das Decoding beschleunigt

Die Decodierungsphase bei LLM‑Inference ist speichergebunden: Der Großteil der Latenz entsteht durch das Streamen von Gewichten aus dem DRAM in den On‑Chip‑Speicher und nicht durch die eigentliche Berechnung, weshalb die Wirtschaftlichkeit von Inferenz zum zentralen ingenieurtechnischen Problem des Feldes geworden ist. Spekulatives Decoding greift dieses Problem an, indem ein kleines Entwurfsmodell einen Block von Kandidaten‑Tokens vorschlägt und anschließend den gesamten Block in einem einzigen Forward‑Pass des Zielmodells verifiziert, wodurch die Kosten für das Laden der Gewichte über alle geprüften Tokens verteilt werden.

DSpark, vorgestellt in einem Juli‑2026‑Paper von DeepSeek‑Forschern und eingesetzt im DeepSeek‑V4‑Serving‑System des Unternehmens, kombiniert drei Komponenten: ein paralleles Backbone, das in einem Durchlauf versteckte Zustände für alle Entwurfs‑Tokens erzeugt, einen leichten sequenziellen Kopf, der Abhängigkeiten zwischen benachbarten Tokens modelliert, um zu verhindern, dass die Akzeptanzraten gegen Ende des Blocks abfallen, sowie einen confidence‑gesteuerten Verifizierer, der Niedrig‑Confidence‑Suffixe verwirft, wenn deren Verifizierung teurer wäre als der Nutzen. In DeepSeek‑s Produktionseinsatz berichtet das Paper von pro‑User‑Generierungs‑Beschleunigungen von 60 % bis 85 % gegenüber dem vorherigen MTP‑1‑Baseline bei gleichem Durchsatz.

Liquid AIs Entwurfsmodelle folgen diesem Konzept mit einem vereinfachten reinen Attention‑Design: fünf Schichten, eine Blockgröße von neun Entwurfs‑Tokens pro Schritt und einen Markov‑Kopf über einem Vokabular von 128 000 Tokens, gemäß der LFM2.5-2.6B-DSpark‑Model‑Card. Jeder Entwurf wurde über 15 Epochen auf einer Mischung aus überwachten Feinabstimmungen, Chat, Code und Funktionsaufruf‑Daten trainiert, wobei der Checkpoint nach höchster Akzeptanzrate und nicht nach geringstem Verlust ausgewählt wurde. Die Genauigkeitsgarantie sorgt für Qualität: „Spekulatives Decoding ist exakt: Das Zielmodell verifiziert jedes vorgeschlagene Token, sodass die Greedy‑Ausgabe dem Zielmodell allein entspricht“, heißt es in der GGUF‑Model‑Card, wobei die Antwortzeiten zeigen, wie viele Entwurfs‑Tokens vorgeschlagen und akzeptiert wurden.

LFM2.5-DSpark nach den Zahlen

• 3,18x — beste gemeldete GPU‑Beschleunigung (LFM2.5-8B-A1B, MATH500, H100: 428 → 1.362 Tok/s)
• 2,87x — beste gemeldete On‑Device‑Beschleunigung (LFM2.5-1.2B-Instruct, HumanEval, M4 Max: 136 → 389 Tok/s)
• 2,67x / 2,27x — durchschnittliche Beschleunigungen H100 / M4 Max für LFM2.5-2.6B über fünf Datensätze
• 57 %: durchschnittliche Reduktion der Funktionsaufruf‑Latenz für LFM2.5-2.6B in Multi‑Tool‑Szenarien
• 295,7 M–327,7 M (Entwurfs‑Modell‑Parameter, gegenüber Zielmodellen von 1,2 B bis 8 B)
• 4,81 von 10, durchschnittlich akzeptierte Entwurfs‑Tokens pro Schritt für LFM2.5-2.6B bei Blockgröße 9

Wo die gemeldeten Beschleunigungen nachlassen

Die eigenen Tabellen von Liquid AI zeigen, dass die Gewinne ungleichmäßig sind, und das Unternehmen nennt die Gründe. Für LFM2.5-8B-A1B liegt die On‑Device‑Verbesserung im Durchschnitt nur bei 1,18‑fach, obwohl sie die höchsten Akzeptanzraten der drei Modelle aufweist; die Lücke wird laut Unternehmen auf die aktuelle Mixture‑of‑Experts‑Implementierung im Metal‑Backend von llama.cpp sowie auf den zusätzlichen Gewichts‑Traffic zurückgeführt, den die Verifizierung eines Token‑Blocks über die Experten hinweg erzeugt. Für LFM2.5-1.2B-Instruct variieren die Akzeptanzraten je nach Datensatz so stark, dass die Beschleunigung je nach Textverteilung um bis zu 52 % schwankt, von 1,66‑fach auf MT‑Bench bis zu 2,56‑fach auf MATH500 auf der H100.

Alle Zahlen stammen vom Anbieter und basieren auf dem eigenen Test-Framework von Liquid AI: SGLang auf einer H100 80 GB in BF16 für die GPU‑Werte, llama.cpp mit experimentellen Metal‑Kernels auf einem M4 Max mit FP16‑GGUF‑Gewichten für die On‑Device‑Werte, begrenzt auf 256 Ausgabetokens. Der SGLang‑Pfad erfordert einen Build mit DSpark‑Unterstützung für LFM2‑Ziele, und der llama.cpp‑Pfad benötigt den entsprechenden Build, sodass die Beschleunigungen von diesen Integrationen abhängen und nicht in einer stabilen Veröffentlichung eines der beiden Engines enthalten sind.

Liquid AIs On‑Device‑Push bislang

Die DSpark‑Veröffentlichung ist das dritte Update der LFM2.5‑Familie innerhalb von etwas mehr als einer Woche. Am 12. August 2026 hat das Unternehmen LFM2.5-VL-3B, ein Vision‑Language‑Modell für Edge‑Anwendungen, veröffentlicht, und am 19. August 2026 veröffentlichte es quantisierungs‑aware destillierte Q4_0‑Checkpoints für die Familie. Der rote Faden bleibt derselbe: Das Unternehmen gibt an, dass die DSpark‑Beschleunigung des 2,6 B‑Modells auf einem MacBook die Interaktivität über den Durchsatz hinaus hebt, den die meisten proprietären Cloud‑Modelle bieten, den es mit etwa 140 Tokens pro Sekunde beziffert.

Alle drei Entwurfsmodelle sind jetzt auf Hugging Face verfügbar: LFM2.5-1.2B-Instruct-DSpark, LFM2.5-2.6B-DSpark und LFM2.5-8B-A1B-DSpark, wobei GGUF‑Builds parallel für llama.cpp‑Deployments bereitstehen.