Liquid AI Rilis LFM2.5-DSpark untuk Inferensi Hingga 3.2X Lebih Cepat

Liquid AI merilis checkpoint draft speculative-decoding untuk tiga model dalam keluarga LFM2.5 pada 20 Agustus 2026, melaporkan peningkatan throughput hingga 3.18x pada satu GPU H100 dan hingga 2.87x pada MacBook berbasis Apple‑silicon, tanpa mengubah output model. rilis LFM2.5-DSpark mencakup draft untuk LFM2.5-1.2B-Instruct, LFM2.5-2.6B, dan mixture-of-experts LFM2.5-8B-A1B, masing‑masing menambahkan sekitar 300 juta parameter overhead draft di atas model target.

Checkpoint tersebut tersedia dalam format Safetensors dan GGUF dengan dukungan sejak hari pertama di llama.cpp dan SGLang, kedua integrasi tersebut disumbangkan ke upstream codebase resmi. Karena speculative decoding hanya menghasilkan token yang telah diverifikasi oleh model target, perusahaan menyatakan teks yang dihasilkan identik dengan apa yang akan dihasilkan model target secara sendiri pada greedy decoding, sehingga akurasi benchmark tidak berubah.

Pengukuran Liquid AI, yang dijalankan dengan batch size 1 dan temperature 0 pada lima dataset, menunjukkan percepatan rata‑rata untuk LFM2.5-2.6B sebesar 2.67x pada H100 (323 menjadi 864 token per detik) dan 2.27x pada MacBook Pro M4 Max (61 menjadi 139 token per detik). Hasil tunggal terbesar berasal dari LFM2.5-8B-A1B pada MATH500, di mana throughput pada H100 naik 3.18x, dari 428 menjadi 1.362 token per detik. Perusahaan juga melaporkan bahwa DSpark mengurangi latensi pemanggilan fungsi sebesar 57 % rata‑rata untuk LFM2.5-2.6B dalam skenario multi‑tool, hasil utama untuk beban kerja agenik on‑device yang ditargetkan oleh lini LFM2.5.

Bagaimana DSpark Mempercepat Decoding

Tahap decode pada inferensi LLM bersifat memory‑bound: sebagian besar latensi berasal dari streaming bobot dari DRAM ke memori on‑chip daripada dari komputasi itu sendiri, itulah mengapa ekonomi inferensi telah menjadi masalah rekayasa utama di bidang ini.

DSpark, yang diperkenalkan dalam makalah Juli 2026 oleh peneliti DeepSeek dan diterapkan dalam sistem layanan DeepSeek‑V4 perusahaan tersebut, menggabungkan tiga komponen: tulang punggung paralel yang menghasilkan hidden state untuk semua token draft dalam satu pass, kepala berurutan ringan yang memodelkan ketergantungan antar token tetangga agar tingkat penerimaan tidak menurun di akhir blok, serta verifikator terjadwal kepercayaan yang memangkas sufiks ber‑kepercayaan rendah ketika memverifikasinya memakan biaya lebih besar daripada penghematan. Dalam penerapan produksi DeepSeek, makalah tersebut melaporkan percepatan generasi per‑pengguna sebesar 60‑85 % dibandingkan baseline MTP‑1 sebelumnya dengan throughput yang sebanding.

Drafts Liquid AI mengikuti resep tersebut dengan desain attention‑only yang disederhanakan: lima lapisan, ukuran blok sembilan token draft per langkah, dan kepala Markov atas kosakata 128.000 token, menurut kartu model LFM2.5-2.6B-DSpark. Setiap drafter dilatih selama 15 epoch pada campuran fine‑tuning terawasi, percakapan, kode, dan data pemanggilan fungsi, dengan checkpoint dipilih berdasarkan tingkat penerimaan tertinggi bukan loss terendah. Jaminan ketepatan melakukan pekerjaan kualitas: “Speculative decoding is exact: the target verifies every proposed token, so greedy output equals the target alone,” demikian tercantum dalam kartu model GGUF, dengan timing per‑respons yang memperlihatkan berapa banyak token draft yang diusulkan dan diterima.

LFM2.5-DSpark dalam Angka

• 3.18x — percepatan GPU terbaik yang dilaporkan (LFM2.5-8B-A1B, MATH500, H100: 428 → 1,362 tok/s)
• 2.87x — percepatan on‑device terbaik yang dilaporkan (LFM2.5-1.2B-Instruct, HumanEval, M4 Max: 136 → 389 tok/s)
• 2.67x / 2.27x — rata‑rata percepatan H100 / M4 Max untuk LFM2.5-2.6B pada lima dataset
• 57%: pengurangan rata‑rata latensi pemanggilan fungsi untuk LFM2.5-2.6B dalam skenario multi‑tool
• 295.7M–327.7M (parameter model draft, dibandingkan target 1.2B hingga 8B)
• 4.81 of 10, rata‑rata token draft yang diterima per langkah untuk LFM2.5-2.6B dengan ukuran blok 9

Di Mana Percepatan yang Dilaporkan Menyempit

Tabel milik Liquid AI menunjukkan bahwa peningkatan tidak merata, dan perusahaan menjelaskan alasannya. Untuk LFM2.5-8B-A1B, perbaikan on‑device rata‑rata hanya 1.18x meskipun memiliki tingkat penerimaan tertinggi di antara tiga model, kesenjangan yang perusahaan atribusikan pada implementasi mixture‑of‑experts saat ini di backend Metal llama.cpp serta pada lalu lintas bobot tambahan yang diaktifkan saat memverifikasi blok token di seluruh expert. Untuk LFM2.5-1.2B-Instruct, tingkat penerimaan cukup bervariasi per dataset sehingga percepatan berfluktuasi hingga 52 % tergantung pada distribusi teks, dari 1.66x pada MT‑Bench hingga 2.56x pada MATH500 pada H100.

Semua angka dilaporkan oleh vendor dari harness milik Liquid AI: SGLang pada satu H100 80GB dengan BF16 untuk angka GPU, llama.cpp dengan kernel Metal eksperimental pada M4 Max dengan bobot GGUF FP16 untuk angka on‑device, dibatasi pada 256 token output. Jalur SGLang memerlukan build dengan dukungan DSpark untuk target LFM2, dan jalur llama.cpp memerlukan build yang sesuai, sehingga percepatan bergantung pada integrasi tersebut bukan pada rilis stabil dari masing‑masing engine.

Upaya On‑Device Liquid AI Hingga Saat Ini

Rilis DSpark merupakan pembaruan ketiga keluarga LFM2.5 dalam waktu sedikit lebih dari seminggu. Pada 12 Agustus 2026, perusahaan merilis LFM2.5-VL-3B, model visi‑bahasa untuk edge, dan pada 19 Agustus 2026 ia mempublikasikan checkpoint Q4_0 yang di‑distilasi dengan kesadaran kuantisasi untuk keluarga tersebut. Garis besar tetap sama: perusahaan mengatakan percepatan DSpark pada model 2.6B di MacBook meningkatkan interaktivitas melampaui throughput yang ditawarkan oleh kebanyakan model cloud proprietari, yang diperkirakan sekitar 140 token per detik.

Ketiga drafter kini tersedia di Hugging Face: LFM2.5-1.2B-Instruct-DSpark, LFM2.5-2.6B-DSpark, dan LFM2.5-8B-A1B-DSpark, dengan build GGUF di sampingnya untuk penerapan llama.cpp.