Terbaik
10 LLM Sumber Terbuka Terbaik (November 2026)

LLM sumber terbuka terbaik adalah model yang dapat Anda terapkan, evaluasi, dan pelihara untuk pekerjaan yang benar-benar Anda perlukan. Model yang dapat dijalankan di workstation bisa lebih bermanfaat daripada model dengan skor lebih tinggi yang memerlukan klaster. Sebaliknya, organisasi yang menjalankan agen pengodean untuk tugas berat mungkin wajar jika bersedia menanggung biaya infrastruktur yang besar demi kinerja tugas yang lebih baik.
Kami mengevaluasi secara independen setiap model dalam panduan ini berdasarkan kemampuan, kepraktisan penerapan, lisensi, dokumentasi, dan kesesuaiannya dengan kasus penggunaan yang dinyatakan. Ini adalah pemeringkatan editorial, bukan tolok ukur baru berdasarkan pengujian langsung: klaim kinerja yang dipublikasikan berasal dari pengembang model yang ditautkan dan tidak dapat dibandingkan secara langsung jika menggunakan kerangka pengujian atau pengaturan yang berbeda. Kemudahan penerapan dalam praktik menjadi pertimbangan penting, sehingga Qwen3.8-27B, Gemma 4, dan gpt-oss berada di posisi teratas.
Cakupan: Panduan ini membahas LLM sumber terbuka maupun LLM dengan bobot terbuka. Bobot yang dapat diunduh belum tentu mencakup data pelatihan atau hak penggunaan tanpa batasan. Setiap entri mencantumkan checkpoint atau keluarga model serta lisensinya; jangan menganggap ketentuan lisensi versi lama atau model lain dari pengembang yang sama berlaku untuk model tersebut. Ditinjau pada 14 Oktober 2026.
Perbandingan LLM Sumber Terbuka dan Berbobot Terbuka Terbaik
| Alat AI | Terbaik untuk | Fitur |
|---|---|---|
| Qwen3.8-27B | Keseimbangan terbaik secara keseluruhan untuk aplikasi yang dihosting sendiri | Model bahasa padat 27B; visi; konteks bawaan 262K; Apache 2.0 |
| Gemma 4 | Pilihan ukuran terbaik untuk AI multimodal lokal | Varian E2B, E4B, 12B, 26B A4B, dan 31B; Apache 2.0 |
| gpt-oss | Penalaran teks yang paling mudah diakses | Varian 20b dan 120b; penalaran yang dapat dikonfigurasi; MXFP4; Apache 2.0 |
| DeepSeek V4 | Terbaik untuk penalaran umum dan pengodean berskala besar | Rilis resmi Pro-0813; ukuran Pro dan Flash; konteks satu juta token; MIT |
| GLM-5.3 | Terbaik untuk agen pengodean berskala server | Pascapelatihan yang diperbarui; pengodean berjangka panjang; lisensi khusus GLM-5.3 |
| Kimi K3 | Terbaik untuk alur kerja agen multimodal berskala besar | Visi bawaan; total 2.8T dan 104B parameter aktif; konteks 1M; lisensi khusus |
| Mistral Small 4 | Model terpadu terbaik untuk aplikasi bisnis | Total 119B, 6.5B aktif; teks dan gambar; konteks 256K; Apache 2.0 |
| Devstral Small 2 | Pilihan agen pengodean lokal khusus terbaik | 24B parameter; alat untuk basis kode; visi; konteks 256K; Apache 2.0 |
| Nemotron 3 Nano | Terbaik untuk bereksperimen dengan inferensi agen yang efisien | Total 30B, 3.5B aktif; arsitektur hibrida Mamba dan attention; lisensi NVIDIA |
| Olmo 3.1 | Terbaik untuk penelitian dan adaptasi yang transparan | Varian Instruct dan Think 32B; sumber daya pelatihan; Apache 2.0 |
1. Qwen3.8-27B
Qwen3.8-27B adalah rekomendasi utama kami bagi pengembang yang menginginkan model mumpuni dan mudah disesuaikan tanpa harus langsung beralih ke klaster GPU besar. Model ini memadukan model bahasa padat dengan kemampuan bawaan untuk memahami gambar dan video, sehingga berguna untuk pengodean, analisis dokumen, asisten riset, dan aplikasi yang perlu menafsirkan tangkapan layar. Posisinya mencerminkan keseimbangan antara kemampuan dan kepraktisan penerapan, bukan klaim bahwa model ini unggul dalam setiap tolok ukur.
Model ini mendukung proses berpikir yang dapat dikonfigurasi dan jendela konteks bawaan sebesar 262.144 token, dengan opsi perluasan hingga satu juta token. Perbedaan ini penting: konteks yang diperluas memerlukan konfigurasi dan sumber daya tambahan, dan tidak semestinya dianggap sebagai pengalaman standar di workstation. Untuk asisten dokumen internal, mulailah dengan konteks yang terbatas dan pengambilan informasi, lalu perluas hanya jika masukan yang lebih panjang terbukti meningkatkan kualitas jawaban.
Checkpoint ini menggunakan Apache 2.0. Versi terkuantisasi memudahkan eksperimen lokal, tetapi model bahasa, komponen visi, cache, dan lingkungan eksekusi semuanya menggunakan memori. Pilih implementasi yang secara eksplisit mendukung arsitektur dan masukan multimodalnya; keberhasilan memuat model untuk teks saja tidak membuktikan bahwa gambar, pemanggilan alat, atau konteks yang diperluas berfungsi dengan benar.
Kelebihan dan Kekurangan
- Kombinasi yang bermanfaat antara kemampuan pengodean, penalaran, dan pemahaman visual
- Alternatif praktis dibandingkan model yang memerlukan klaster berskala besar
- Lisensi checkpoint yang permisif
- Tetap membutuhkan memori yang besar pada presisi lebih tinggi
- Konteks yang diperluas meningkatkan kebutuhan penerapan
2. Gemma 4
Gemma 4 adalah keluarga model yang paling berguna di sini untuk menyesuaikan aplikasi multimodal dengan berbagai anggaran perangkat keras. Google menawarkan beberapa ukuran, termasuk model dengan jumlah parameter efektif yang kecil, model 12B, opsi campuran ahli 26B, dan model padat 31B. Dengan demikian, pengembang dapat memilih model mulai dari perangkat dengan keterbatasan sumber daya hingga stasiun kerja, tanpa menganggap bahwa setiap pengguna mampu menjalankan checkpoint terbesar.
Kemampuan tiap model dalam keluarga ini berbeda-beda. Model 31B menerima teks dan gambar, sedangkan E2B, E4B, dan 12B juga mendukung masukan audio. Varian yang lebih kecil memiliki konteks 128K, sementara konfigurasi yang lebih besar menawarkan 256K. Untuk aplikasi dokumen atau suara, pilih checkpoint tertentu berdasarkan kebutuhan masukan terlebih dahulu; model terbesar belum tentu paling sesuai jika tidak mendukung modalitas yang dibutuhkan.
Gemma 4 menggunakan lisensi Apache 2.0, tetapi perencanaan perangkat keras tetap perlu dilakukan dengan cermat. Jumlah parameter efektif E2B dan E4B tidak mencakup beberapa komponen penyematan berukuran besar, sehingga nama-nama tersebut tidak bisa dijadikan perkiraan kebutuhan memori yang andal. Kami menempatkan keluarga ini pada peringkat tinggi karena pilihan penerapannya beragam; pembaca yang menginginkan kemampuan maksimal dari satu stasiun kerja tetap sebaiknya membandingkan langsung varian Gemma yang sesuai dengan Qwen menggunakan dokumen dan prompt mereka sendiri.
Kelebihan dan Kekurangan
- Beragam ukuran untuk menyesuaikan anggaran penerapan
- Dukungan gambar di seluruh keluarga model
- Masukan audio pada varian tertentu
- Modalitas dan panjang konteks berbeda-beda menurut checkpoint
- Nama parameter efektif dapat menyamarkan kebutuhan memori
3. gpt-oss
gpt-oss dari OpenAI tetap menjadi pilihan awal yang praktis untuk penalaran teks privat dan asisten yang dilengkapi alat. Keluarga ini mencakup varian 20b dan 120b, dengan model yang lebih kecil ditujukan untuk perangkat keras yang lebih mudah dijangkau. Model ini mendapat peringkat tinggi karena sasaran penerapannya jelas: pengguna dapat membangun sistem penalaran lokal tanpa harus terlebih dahulu memenuhi kebutuhan infrastruktur model dengan satu triliun parameter.
Rilis resminya menggunakan kuantisasi MXFP4 untuk bobot ahli. OpenAI menyatakan bahwa model 20b dapat dijalankan dengan memori 16 GB, sedangkan model 120b memerlukan GPU 80 GB; angka tersebut bukan jaminan untuk setiap panjang konteks, lingkungan waktu jalan, atau jumlah pengguna yang menggunakannya secara bersamaan. Tingkat upaya penalaran dapat disesuaikan, dan model ini mendukung keluaran terstruktur serta pemanggilan alat jika aplikasi menyediakan lapisan eksekusi yang diperlukan.
Kedua model menggunakan Apache 2.0 dan memerlukan format Harmony yang tepat. Keduanya hanya mendukung teks, sehingga alur kerja dokumen visual memerlukan komponen lain. Untuk asisten pemrograman, validasi skema alat dan pemulihan dari kesalahan sebelum memberikan akses tulis. Alasan utama memilih gpt-oss adalah inferensi teks yang dapat dikendalikan dan relatif mudah dijangkau; pengguna yang mengutamakan kemampuan visi bawaan sebaiknya memulai dengan model lain dalam daftar ini.
Kelebihan dan Kekurangan
- Varian yang lebih kecil memiliki sasaran kebutuhan memori yang terdokumentasi dan lebih mudah dijangkau
- Dukungan penalaran dan alat yang dapat dikonfigurasi
- Lisensi permisif
- Tidak mendukung masukan gambar atau audio secara bawaan
- Format Harmony yang tepat sangat penting
4. DeepSeek V4
DeepSeek V4 merupakan pilihan yang kuat bagi organisasi yang mampu mendukung inferensi skala besar dan menginginkan kemampuan penalaran serta pemrograman yang luas. Pembaruan pentingnya adalah rilis resmi Pro-0813, yang menggantikan versi pratinjau Pro sebelumnya. Evaluasi harus menyebutkan checkpoint tersebut secara persis, bukan menganggap semua titik akhir berlabel V4 setara, terutama saat membandingkan hasil atau menelusuri perubahan perilaku agen.
Keluarga ini mencakup Pro dengan total 1,6 triliun parameter dan 49 miliar parameter aktif per token, serta Flash dengan total 284 miliar parameter dan 13 miliar parameter aktif. Arsitekturnya mendukung konteks satu juta token, sementara rilis resmi Pro menambahkan modul dekode spekulatif. Pilihan desain ini ditujukan untuk meningkatkan efisiensi pada skala yang sangat besar; parameter aktif menggambarkan komputasi dan tidak menghilangkan kebutuhan untuk menyimpan bobot ahli lainnya.
Rilis ini menggunakan lisensi MIT. Kami menempatkannya di bawah model-model unggulan yang ditujukan untuk stasiun kerja karena kompleksitas penerapannya sangat membatasi jumlah pengguna yang cocok, bukan karena model yang lebih kecil selalu mengunggulinya. Tim yang membangun layanan inferensi terpusat sebaiknya membandingkan Pro dan Flash berdasarkan biaya per tugas yang diselesaikan, konkurensi, dan keandalan alat. Pengembang tunggal yang mencari asisten lokal yang cepat disiapkan sebaiknya memulai dengan checkpoint yang lebih kecil di bagian lain panduan ini.
Kelebihan dan Kekurangan
- Rilis resmi merupakan peningkatan dibandingkan versi pratinjau sebelumnya
- Pro dan Flash menawarkan pilihan skala yang berbeda
- Lisensi MIT
- Checkpoint ahli berukuran besar memerlukan infrastruktur yang memadai
- Kinerja pemrosesan konteks panjang perlu dievaluasi sesuai beban kerja
5. GLM-5.3
GLM-5.3 adalah model berbobot terbuka terbaru dari Z.ai untuk rekayasa perangkat lunak yang kompleks dan tugas agen yang berlangsung lama. Model ini menggunakan model dasar yang sama dengan GLM-5.2, dengan peningkatan yang berasal dari pelatihan lanjutan. Pengembangnya melaporkan peningkatan signifikan dalam berbagai tolok ukur pemrograman dan agen, sehingga versi inilah yang relevan untuk dinilai, alih-alih sekadar mempertahankan posisi dan deskripsi generasi sebelumnya.
Daya tariknya terletak pada kemampuannya menangani pekerjaan berkelanjutan dengan berbagai alat, berkas, dan hasil sementara. Namun, skor agen yang dipublikasikan untuk sebuah model juga bergantung pada kerangka evaluasi, anggaran penalaran, pengelolaan konteks, dan waktu yang tersedia. Untuk asisten repositori, evaluasi perlu memantau apakah model menyelesaikan perubahan yang diminta, menimbulkan regresi, dan menggunakan alat dengan benar. Judul tolok ukur saja tidak cukup untuk memastikan hasil tersebut dalam lingkungan pengembangan yang berbeda.
Perbedaan lisensinya penting: GLM-5.3 menggunakan lisensi khusus, bukan lisensi MIT yang sebelumnya dikaitkan dengan entri GLM-5.2 dalam artikel ini. Lisensi tersebut mencakup persyaratan peninjauan tambahan bagi bisnis layanan model berskala sangat besar tertentu. Ukuran checkpoint yang besar juga memerlukan perencanaan infrastruktur kelas server. GLM-5.3 layak dipertimbangkan dalam daftar pendek untuk pemrograman perusahaan, tetapi bukan pilihan bawaan yang tepat bagi pembaca yang menginginkan penerapan sederhana di laptop.
Kelebihan dan Kekurangan
- Fokus terbaru pada pemrograman berkelanjutan dan pekerjaan agen
- Bobot yang dapat diunduh dan panduan penerapan yang terdokumentasi
- Catatan evaluasi pengembang yang terperinci
- Lisensi khusus perlu ditinjau sesuai versinya
- Kebutuhan infrastrukturnya melampaui kemampuan sebagian besar perangkat pribadi
6. Kimi K3
Kimi K3 merupakan pilihan khusus bagi organisasi yang memadukan pemahaman visual dengan penalaran berkelanjutan dan penggunaan alat. Model Moonshot ini memiliki total 2,8 triliun parameter, dengan sekitar 104 miliar parameter aktif per token, kemampuan visi bawaan, dan jendela konteks satu juta token. Model ini relevan ketika asisten harus menangani kode, tangkapan layar, dokumen, dan riwayat interaksi yang panjang dalam satu sistem.
Detail integrasinya sangat penting. Kimi K3 mempertahankan fitur berpikir tetap aktif dan mengharuskan seluruh pesan asisten—termasuk informasi penalaran dan pemanggilan alat—tetap tersimpan di setiap giliran percakapan. Karena itu, aplikasi yang hanya menyimpan jawaban akhir dapat keliru menangani format percakapan yang dimaksud. Sebelum membandingkannya dengan model lain, pastikan lapisan penyajian dan kerangka kerja agen menyimpan riwayat yang diperlukan dengan benar.
Lisensi khusus dan checkpoint yang sangat besar menjadikan pilihan ini sebagai keputusan infrastruktur sekaligus pilihan model. Kuantisasi bawaan membantu efisiensi penyajian, tetapi tidak menjadikannya model yang cocok untuk stasiun kerja biasa. Kami merekomendasikan Kimi K3 bagi tim yang dapat membenarkan biaya operasionalnya melalui alur kerja multimodal yang menuntut; peringkasan teks biasa atau kumpulan dokumen kecil jarang membutuhkan skala sebesar ini.
Kelebihan dan Kekurangan
- Pemahaman visual bawaan serta penalaran dengan konteks panjang
- Dirancang untuk alur kerja berbasis alat yang berlangsung lama
- Bobot yang dirilis memungkinkan penerapan terkendali
- Jejak infrastruktur sangat besar
- Lisensi khusus dan persyaratan format percakapan
7. Mistral Small 4
Mistral Small 4 memadukan kemampuan mengikuti instruksi umum, penalaran, pemrograman, dan pemahaman gambar dalam satu model. Hal ini membuatnya menarik untuk aplikasi bisnis yang memerlukan beberapa kemampuan melalui antarmuka yang konsisten, alih-alih mengelola model khusus yang berbeda untuk setiap permintaan. Posisinya mencerminkan fleksibilitas operasional tersebut, terutama bagi tim yang sudah terbiasa mengelola layanan inferensi berskala besar.
Meski namanya mengandung kata Small, model ini memiliki total 119 miliar parameter, dengan 6,5 miliar parameter aktif per token. Model ini mendukung jendela konteks 256K dan tingkat upaya penalaran yang dapat dikonfigurasi, sehingga layanan dapat memberikan jawaban lebih singkat untuk pertanyaan rutin dan melakukan penalaran lebih mendalam untuk tugas sulit. Arsitektur campuran para ahli mengurangi komputasi aktif, tetapi keseluruhan bobotnya tetap menentukan sebagian besar kebutuhan penyimpanan dan memori.
Checkpoint ini menggunakan lisensi Apache 2.0. Opsi kuantisasi dan dekode spekulatif resmi menyediakan cara untuk mengoptimalkan model, meskipun manfaatnya bergantung pada perangkat keras dan dukungan lingkungan eksekusi. Untuk asisten dukungan yang membaca tangkapan layar dan menghasilkan tindakan terstruktur, uji kualitas gambar, kepatuhan terhadap skema, dan waktu respons secara bersamaan. Pilih model ini jika menggabungkan beberapa kemampuan dapat menyederhanakan operasi; jangan berasumsi bahwa namanya berarti ukuran modelnya setara dengan model 8B untuk laptop.
Kelebihan dan Kekurangan
- Memadukan penalaran, pemahaman instruksi, pemrograman, dan visi
- Tingkat upaya penalaran dapat disesuaikan untuk setiap permintaan
- Lisensi Apache 2.0
- Nama Small tidak mencerminkan ukuran model secara keseluruhan
- Manfaat pengoptimalan bergantung pada tumpukan penerapan
Lihat Kartu Model Mistral Small 4
8. Devstral Small 2
Devstral Small 2 adalah alternatif yang berfokus pada pengembang yang terutama membutuhkan model untuk menjelajahi repositori, mengedit berkas, dan beroperasi di dalam agen rekayasa perangkat lunak. Dengan 24 miliar parameter, model ini lebih mudah diterapkan dibandingkan sistem pemrograman besar yang disebutkan di atas. Model ini tetap berguna sebagai spesialis, sekalipun model serbaguna yang lebih baru layak disertakan dalam evaluasi yang sama.
Mistral mencantumkan jendela konteks 256K, kemampuan memahami gambar, dan integrasi dengan lingkungan pemrograman Vibe. Nilai model ini ditentukan oleh kemampuannya menangani alur kerja penyuntingan dan pengujian secara menyeluruh, bukan oleh kemampuannya menghasilkan cuplikan kode terpisah yang mengesankan. Evaluasilah model ini berdasarkan struktur repositori, bahasa pemrograman, batasan dependensi, dan rangkaian pengujian Anda, dengan menggunakan alat dan izin yang sama seperti pada model pesaing.
Rilis ini menggunakan Apache 2.0. Mistral menyebutkan kemungkinan penerapan pada GPU konsumen dan Mac 32GB, tetapi presisi, konteks, dan beban kerja saat dijalankan memengaruhi apa yang benar-benar dapat ditampung. Mulailah dengan sesi yang lebih singkat dan kuantisasi yang kompatibel sebelum mencoba memproses repositori sangat besar dalam satu prompt. Kami merekomendasikannya untuk workstation khusus pemrograman; tim yang membutuhkan riset luas, suara, atau bantuan multimodal umum sebaiknya membandingkan fokusnya yang lebih sempit dengan model serbaguna berperingkat lebih tinggi.
Kelebihan dan Kekurangan
- Dirancang untuk alur kerja repositori dan penggunaan alat
- Ukurannya lebih mudah diterapkan dibandingkan model pemrograman unggulan
- Kemampuan memahami gambar dan lisensi permisif
- Fokus khususnya kurang cocok untuk beban kerja asisten yang luas
- Konteks maksimum bukan jaminan dapat digunakan pada perangkat keras konsumen
Lihat Kartu Model Devstral Small 2
9. Nemotron 3 Nano
Nemotron 3 Nano dari NVIDIA merupakan pilihan menarik bagi pengembang yang mengoptimalkan efisiensi agen berbasis teks. Model ini memadukan komponen Mamba, mekanisme atensi, dan lapisan campuran pakar, dengan total 30 miliar parameter dan sekitar 3,5 miliar parameter aktif untuk setiap token. Alasan untuk mengevaluasinya adalah kesesuaian arsitekturnya dengan kebutuhan operasional, bukan anggapan bahwa nama Nano berarti model ini dapat berjalan di perangkat apa pun.
Model ini mendukung perilaku penalaran dan tanpa penalaran melalui templat chat-nya. Dengan begitu, aplikasi dapat menyisihkan proses pertimbangan yang lebih panjang untuk permintaan sulit, sekaligus mengupayakan respons yang lebih cepat untuk permintaan sederhana. Arsitektur hibridanya juga menjadikan dukungan lingkungan eksekusi sebagai kriteria pemilihan yang penting: pastikan mesin, format kuantisasi, dan kombinasi perangkat keras yang tepat, alih-alih berasumsi bahwa setiap optimasi transformer standar dapat diterapkan.
Rilis ini menggunakan Lisensi Model Terbuka NVIDIA Nemotron. Model ini layak dipertimbangkan sebagai kandidat khusus bagi tim yang membangun tolok ukur inferensi yang dapat diulang dan bersedia menyetel penerapannya. Bandingkan waktu yang dibutuhkan untuk menghasilkan jawaban benar, penggunaan memori, dan perilaku saat menangani permintaan secara bersamaan, selain kualitas keluaran. Pembaca yang terutama menginginkan asisten visual siap pakai akan mendapati bahwa pilihan multimodal di bagian sebelumnya dalam daftar ini lebih sesuai dengan tujuan tersebut.
Kelebihan dan Kekurangan
- Arsitektur hibrida menawarkan alternatif yang berfokus pada efisiensi
- Perilaku penalaran dapat dikonfigurasi
- Dokumentasi teknis terperinci
- Berfokus pada teks, bukan asisten visual bawaan
- Dukungan lingkungan eksekusi dan lisensi khusus perlu diperiksa
Lihat Kartu Model Nemotron 3 Nano
10. Olmo 3.1
Olmo 3.1 dari Ai2 layak masuk dalam daftar ini karena keterbukaan lebih dari sekadar tombol unduh. Model 32B Instruct berada dalam ekosistem yang menyediakan akses ke kumpulan data pelatihan, kode, titik pemeriksaan perantara, dan metodologi. Bagi peneliti yang mengkaji pengaruh keputusan pelatihan terhadap perilaku, sumber daya tersebut bisa lebih berharga daripada skor yang lebih tinggi dari model dengan proses pengembangan yang sebagian besar tidak dapat diakses.
Keluarga model ini menyediakan varian Instruct dan Think, dan dokumentasinya menghubungkan tahap prapelatihan dengan pascapelatihan. Hal ini memudahkan penyelidikan terhadap pilihan adaptasi dan perbandingan berbagai tahap pengembangan model. Mulailah dengan titik pemeriksaan yang disetel untuk mengikuti instruksi jika Anda membutuhkan asisten; titik pemeriksaan dasar memiliki tujuan berbeda dan tidak seharusnya dinilai seolah-olah sudah dioptimalkan untuk penggunaan percakapan.
Olmo 3.1 menggunakan Apache 2.0 dan terutama merupakan model teks berbahasa Inggris. Kami menempatkannya sebagai spesialis transparansi, bukan untuk menyatakan bahwa kemampuannya mengungguli model terdepan. Kelompok riset, pendidik, atau tim yang mempelajari adaptasi model punya alasan kuat untuk memilihnya. Pembeli yang mencari dukungan visual bawaan, cakupan multibahasa seluas mungkin, atau agen pemrograman siap pakai terkuat sebaiknya terlebih dahulu mengevaluasi alternatif di atas.
Kelebihan dan Kekurangan
- Sumber daya pelatihan memungkinkan pemeriksaan dan penelitian
- Beragam tahap pascapelatihan dan varian
- Lisensi Apache 2.0
- Fokus pada teks berbahasa Inggris membatasi sejumlah penerapan
- Transparansi riset tidak menjamin akurasi terbaik untuk setiap tugas
Berapa Banyak Memori yang Anda Butuhkan?
Mulailah dengan ukuran checkpoint yang sebenarnya dan persyaratan runtime yang terdokumentasi. Perkiraan kasar yang hanya menghitung bobot diperoleh dengan mengalikan jumlah parameter dengan bit per bobot, lalu membaginya dengan delapan. Model 30B dengan 4 bit berukuran sekitar 15GB sebelum memperhitungkan metadata kuantisasi, komponen yang tidak dikuantisasi, cache konteks, buffer sementara, dan sistem operasi. Ini adalah batas bawah berdasarkan perhitungan, bukan jaminan bahwa model tersebut muat di mesin dengan memori 16GB.
Untuk model campuran pakar, gunakan jumlah total parameter untuk memperkirakan kebutuhan penyimpanan bobot. Parameter yang diaktifkan membantu menjelaskan komputasi per token, tetapi bukan berarti pakar lainnya tidak lagi digunakan. Pemindahan beban ke CPU dapat mengurangi kebutuhan memori GPU, tetapi mungkin sangat menurunkan kecepatan. Memori terpadu di Mac digunakan bersama oleh sistem, jadi jangan menganggap seluruh kapasitasnya tersedia bagi model.
- Komputer pribadi dengan sumber daya terbatas: Mulailah dengan varian Gemma yang lebih kecil, atau evaluasi gpt-oss-20b menggunakan konfigurasi yang didukung. Sisakan ruang cadangan dan batasi panjang konteks pada tahap awal.
- Stasiun kerja dengan memori lebih besar: Bandingkan Qwen3.8-27B yang dikuantisasi, varian Gemma yang sesuai, dan Devstral Small 2. Pastikan dukungan gambar secara terpisah dari inferensi teks.
- Server dan klaster: Pertimbangkan DeepSeek V4, GLM-5.3, Kimi K3, atau konfigurasi yang lebih besar jika manfaat tugas sepadan dengan biaya layanan dan kompleksitas operasionalnya.
Jendela konteks maksimum model juga bukan berarti panjang konteks tersebut disarankan untuk penggunaan sehari-hari. Masukan yang lebih panjang meningkatkan kebutuhan memori dan pemrosesan, sementara pengguna yang mengakses secara bersamaan melipatgandakan kebutuhan sumber daya. Untuk pilihan instalasi serta perbedaan antara model, runtime, dan antarmuka, lihat panduan kami tentang alat untuk menjalankan LLM secara lokal.
Sumber Terbuka, Bobot Terbuka, dan Penerapan Privat
Akses ke bobot memberi Anda kendali atas tempat inferensi dijalankan, tetapi tidak serta-merta memberi Anda resep pelatihan lengkap atau membuat semua penggunaan diizinkan. Model dengan lisensi Apache 2.0 dan MIT tetap perlu diperiksa pada checkpoint spesifiknya. GLM-5.3, Kimi K3, dan Nemotron menggunakan lisensi model masing-masing. Olmo sangat relevan ketika akses ke proses pengembangan sama pentingnya dengan akses ke bobot final.
Menghosting sendiri dapat menjaga agar prompt tetap berada di dalam infrastruktur Anda, asalkan seluruh aplikasi dikonfigurasi demikian. Namun, layanan embedding berbasis cloud, pencarian jarak jauh, layanan pencatatan log, dan alat agen tetap dapat mengirimkan data ke tempat lain. Evaluasi seluruh alur kerja, serta ukur jawaban yang keliru dan tindakan yang gagal, selain latensi. Untuk alat yang mengubah berkas atau berinteraksi dengan sistem bisnis, terapkan izin dengan cakupan terbatas dan langkah persetujuan jika tindakan tersebut memang memerlukannya.
LLM Terbuka Mana yang Sebaiknya Anda Pilih?
Untuk perbandingan awal yang praktis, mulailah dengan Qwen3.8-27B untuk aplikasi multimodal umum, Gemma 4 untuk memilih ukuran model lokal, dan gpt-oss untuk penalaran teks yang mudah diakses. Model-model ini merupakan titik awal yang berguna sebelum Anda berkomitmen membangun klaster inferensi terpusat.
Untuk pekerjaan berat berskala server, bandingkan DeepSeek V4 untuk penalaran umum dan pemrograman, GLM-5.3 untuk agen perangkat lunak yang bekerja dalam jangka panjang, dan Kimi K3 untuk alur kerja multimodal. Mistral Small 4 layak dievaluasi jika satu model harus menangani beberapa tugas bisnis dengan kemampuan penalaran yang dapat dikonfigurasi.
Model khusus ini menjawab kebutuhan yang berbeda: Devstral Small 2 untuk stasiun kerja yang berfokus pada pemrograman, Nemotron 3 Nano untuk agen teks yang mengutamakan efisiensi, dan Olmo 3.1 untuk riset dan adaptasi yang transparan. Pilih dua atau tiga model yang sesuai dengan perangkat keras dan persyaratan lisensi Anda, lalu uji dengan tugas representatif yang sama sebelum menentukan penerapan.











