Tốt nhất
10 LLM mã nguồn mở tốt nhất (Tháng 11 2026)

LLM mã nguồn mở tốt nhất là mô hình bạn có thể triển khai, đánh giá và duy trì để phục vụ đúng công việc mình cần. Một mô hình chạy được trên máy trạm có thể hữu ích hơn mô hình đạt điểm cao hơn nhưng đòi hỏi cả cụm máy chủ. Ngược lại, một tổ chức vận hành các tác nhân lập trình chuyên sâu có thể chấp nhận hợp lý chi phí hạ tầng đáng kể để đạt hiệu suất cao hơn trong các tác vụ.
Chúng tôi đã đánh giá độc lập từng mô hình trong hướng dẫn này về năng lực, tính thực tiễn khi triển khai, giấy phép, tài liệu và mức độ phù hợp với mục đích sử dụng đã nêu. Đây là bảng xếp hạng biên tập, không phải một đợt kiểm chuẩn thực tế mới: các tuyên bố về hiệu suất đã công bố đến từ những nhà phát triển mô hình được liên kết và không thể so sánh trực tiếp giữa các bộ công cụ hoặc thiết lập khác nhau. Khả năng tiếp cận thực tế được coi trọng đáng kể, vì vậy Qwen3.8-27B, Gemma 4 và gpt-oss dẫn đầu danh sách.
Phạm vi: Hướng dẫn này bao gồm cả LLM mã nguồn mở lẫn LLM có trọng số mở. Các trọng số có thể tải xuống không nhất thiết đi kèm dữ liệu huấn luyện hoặc quyền sử dụng không hạn chế. Mỗi mục nêu rõ checkpoint hoặc dòng mô hình cùng giấy phép; không áp dụng các giả định về giấy phép từ phiên bản cũ hơn hoặc một mô hình khác của cùng nhà phát triển. Được đánh giá ngày 14 tháng 10 năm 2026.
So sánh các LLM mã nguồn mở và có trọng số mở tốt nhất
| Công cụ AI | Phù hợp nhất cho | Tính năng |
|---|---|---|
| Qwen3.8-27B | Cân bằng tổng thể tốt nhất cho các ứng dụng tự lưu trữ | Mô hình ngôn ngữ dày đặc 27B; thị giác; ngữ cảnh gốc 262K; Apache 2.0 |
| Gemma 4 | Nhiều lựa chọn kích cỡ nhất cho AI đa phương thức chạy cục bộ | Các phiên bản E2B, E4B, 12B, 26B A4B và 31B; Apache 2.0 |
| gpt-oss | Khả năng suy luận bằng văn bản dễ tiếp cận nhất | Các phiên bản 20b và 120b; khả năng suy luận cấu hình được; MXFP4; Apache 2.0 |
| DeepSeek V4 | Tốt nhất cho suy luận tổng quát và lập trình ở quy mô lớn | Bản phát hành chính thức Pro-0813; các kích cỡ Pro và Flash; ngữ cảnh một triệu token; MIT |
| GLM-5.3 | Tốt nhất cho các tác nhân lập trình ở quy mô máy chủ | Hậu huấn luyện được cập nhật; lập trình với tầm nhìn dài hạn; giấy phép riêng của GLM-5.3 |
| Kimi K3 | Tốt nhất cho quy trình làm việc đa phương thức của tác nhân ở quy mô lớn | Thị giác tích hợp; tổng cộng 2.8T và 104B tham số hoạt động; ngữ cảnh 1M; giấy phép riêng |
| Mistral Small 4 | Mô hình hợp nhất tốt nhất cho ứng dụng doanh nghiệp | Tổng cộng 119B, 6.5B tham số hoạt động; văn bản và hình ảnh; ngữ cảnh 256K; Apache 2.0 |
| Devstral Small 2 | Lựa chọn chuyên biệt tốt nhất cho tác nhân lập trình chạy cục bộ | 24B tham số; công cụ làm việc với kho mã; thị giác; ngữ cảnh 256K; Apache 2.0 |
| Nemotron 3 Nano | Tốt nhất để thử nghiệm khả năng suy luận hiệu quả cho tác nhân | Tổng cộng 30B, 3.5B tham số hoạt động; kiến trúc lai Mamba và attention; giấy phép NVIDIA |
| Olmo 3.1 | Tốt nhất cho nghiên cứu minh bạch và khả năng tùy biến | Các phiên bản Instruct và Think 32B; tài nguyên huấn luyện; Apache 2.0 |
1. Qwen3.8-27B
Qwen3.8-27B là lựa chọn đầu tiên chúng tôi đề xuất cho các nhà phát triển cần một mô hình có năng lực và dễ tùy biến mà chưa muốn chuyển ngay sang một cụm GPU lớn. Mô hình kết hợp ngôn ngữ dày đặc với khả năng hiểu hình ảnh và video tích hợp, phù hợp cho lập trình, phân tích tài liệu, trợ lý nghiên cứu và các ứng dụng cần diễn giải ảnh chụp màn hình. Vị trí của mô hình phản ánh sự cân bằng giữa các năng lực và tính thực tiễn khi triển khai, chứ không khẳng định rằng mô hình này vượt trội trong mọi bài kiểm chuẩn.
Mô hình hỗ trợ chế độ suy nghĩ có thể cấu hình và cửa sổ ngữ cảnh gốc 262,144 token, với khả năng mở rộng lên một triệu token. Điểm khác biệt này rất quan trọng: ngữ cảnh mở rộng cần được cấu hình và đòi hỏi thêm tài nguyên, vì vậy không nên xem đây là trải nghiệm mặc định trên máy trạm. Với một trợ lý tài liệu nội bộ, hãy bắt đầu bằng cửa sổ ngữ cảnh vừa phải và cơ chế truy xuất, sau đó chỉ mở rộng khi đầu vào dài hơn giúp cải thiện câu trả lời một cách có thể đo lường.
Checkpoint sử dụng giấy phép Apache 2.0. Các phiên bản lượng tử hóa giúp việc thử nghiệm cục bộ dễ tiếp cận hơn, nhưng mô hình ngôn ngữ, các thành phần thị giác, bộ nhớ đệm và môi trường thực thi đều tiêu tốn bộ nhớ. Hãy chọn một cách triển khai hỗ trợ rõ ràng kiến trúc và đầu vào đa phương thức của mô hình; tải thành công ở chế độ chỉ xử lý văn bản không chứng minh rằng hình ảnh, lệnh gọi công cụ hoặc ngữ cảnh mở rộng sẽ hoạt động chính xác.
Ưu và nhược điểm
- Kết hợp hiệu quả giữa lập trình, suy luận và khả năng hiểu hình ảnh
- Lựa chọn thực tế thay cho các mô hình đòi hỏi cả cụm máy chủ
- Giấy phép checkpoint có điều khoản linh hoạt
- Vẫn cần nhiều bộ nhớ khi sử dụng độ chính xác cao
- Ngữ cảnh mở rộng làm tăng yêu cầu triển khai
2. Gemma 4
Gemma 4 là dòng mô hình hữu ích nhất ở đây để lựa chọn phù hợp với ứng dụng đa phương thức và ngân sách phần cứng khác nhau. Google cung cấp nhiều kích cỡ, bao gồm các mô hình nhỏ có số tham số hiệu dụng thấp, mô hình 12B, tùy chọn hỗn hợp chuyên gia 26B và mô hình đặc 31B. Nhờ đó, nhà phát triển có thể triển khai từ thiết bị bị giới hạn tài nguyên đến máy trạm mà không mặc định rằng mọi người dùng đều có thể vận hành điểm kiểm tra lớn nhất.
Các năng lực khác nhau tùy theo mô hình trong dòng. Mô hình 31B nhận đầu vào là văn bản và hình ảnh, trong khi E2B, E4B và 12B cũng hỗ trợ đầu vào âm thanh. Các biến thể nhỏ hơn có cửa sổ ngữ cảnh 128K, còn những cấu hình lớn hơn cung cấp cửa sổ 256K. Với ứng dụng xử lý tài liệu hoặc giọng nói, trước tiên hãy chọn điểm kiểm tra dựa trên yêu cầu đầu vào; mô hình lớn nhất không phải lúc nào cũng phù hợp nhất nếu thiếu phương thức đầu vào cần thiết.
Gemma 4 sử dụng giấy phép Apache 2.0, nhưng vẫn cần cân nhắc kỹ khi hoạch định phần cứng. Số tham số hiệu dụng của E2B và E4B không tính một số thành phần nhúng lớn, vì vậy không thể dựa vào những tên gọi này để ước tính đáng tin cậy nhu cầu bộ nhớ. Chúng tôi xếp dòng mô hình này ở vị trí cao nhờ có nhiều lựa chọn triển khai; độc giả muốn đạt năng lực tối đa trên một máy trạm cố định nên trực tiếp so sánh biến thể Gemma phù hợp với Qwen trên chính tài liệu và câu lệnh của mình.
Ưu và nhược điểm
- Nhiều kích cỡ phù hợp với ngân sách triển khai khác nhau
- Hỗ trợ hình ảnh trên toàn dòng mô hình
- Một số biến thể hỗ trợ đầu vào âm thanh
- Phương thức đầu vào và độ dài ngữ cảnh khác nhau tùy điểm kiểm tra
- Tên gọi dựa trên số tham số hiệu dụng có thể che khuất nhu cầu bộ nhớ
3. gpt-oss
gpt-oss của OpenAI vẫn là lựa chọn khởi đầu thiết thực cho các hệ thống suy luận văn bản riêng tư và trợ lý có thể sử dụng công cụ. Dòng mô hình này gồm các biến thể 20b và 120b, trong đó mô hình nhỏ hơn hướng đến phần cứng dễ tiếp cận hơn. Mô hình được xếp hạng cao vì mục tiêu triển khai rõ ràng: người dùng có thể xây dựng một hệ thống suy luận cục bộ mà không phải bắt đầu với những yêu cầu hạ tầng của mô hình có một nghìn tỷ tham số.
Bản phát hành chính thức sử dụng lượng tử hóa MXFP4 cho các trọng số chuyên gia. OpenAI ghi rõ rằng mô hình 20b có thể hoạt động với bộ nhớ 16GB, còn mô hình 120b cần GPU 80GB; không nên hiểu những con số này là bảo đảm cho mọi độ dài ngữ cảnh, môi trường chạy hoặc số người dùng đồng thời. Có thể điều chỉnh mức độ suy luận, và mô hình hỗ trợ đầu ra có cấu trúc cùng lệnh gọi công cụ khi ứng dụng cung cấp lớp thực thi cần thiết.
Cả hai mô hình đều sử dụng giấy phép Apache 2.0 và yêu cầu định dạng Harmony chính xác. Chúng chỉ xử lý văn bản, vì vậy quy trình làm việc với tài liệu trực quan cần có thêm một thành phần khác. Với trợ lý lập trình, hãy kiểm tra lược đồ công cụ và khả năng khôi phục sau lỗi trước khi cấp quyền ghi. Lý do thuyết phục nhất để chọn gpt-oss là khả năng suy luận văn bản có thể kiểm soát và tương đối dễ tiếp cận; người ưu tiên xử lý hình ảnh nguyên bản nên bắt đầu với một mô hình khác trong danh sách.
Ưu và nhược điểm
- Biến thể nhỏ hơn có mục tiêu bộ nhớ dễ tiếp cận được công bố rõ ràng
- Có thể cấu hình khả năng suy luận và hỗ trợ công cụ
- Giấy phép linh hoạt
- Không hỗ trợ đầu vào hình ảnh hoặc âm thanh nguyên bản
- Cần sử dụng đúng định dạng Harmony
4. DeepSeek V4
DeepSeek V4 là lựa chọn mạnh cho các tổ chức có khả năng vận hành suy luận ở quy mô lớn và cần năng lực suy luận, lập trình đa dạng. Điểm cập nhật quan trọng là bản phát hành Pro-0813 chính thức, thay thế bản xem trước Pro trước đó. Khi đánh giá, cần xác định đúng điểm kiểm tra này, thay vì coi mọi điểm cuối có nhãn V4 là tương đương, đặc biệt khi so sánh kết quả hoặc gỡ lỗi những thay đổi trong hành vi của tác tử.
Dòng mô hình gồm Pro với tổng cộng 1,6 nghìn tỷ tham số, trong đó 49 tỷ tham số được kích hoạt cho mỗi token, và Flash với tổng cộng 284 tỷ tham số, trong đó 13 tỷ được kích hoạt. Kiến trúc hỗ trợ cửa sổ ngữ cảnh một triệu token, còn bản Pro chính thức bổ sung mô-đun giải mã suy đoán. Những lựa chọn thiết kế này hướng đến hiệu quả ở quy mô rất lớn; số tham số được kích hoạt cho biết lượng tính toán cần thiết, nhưng không loại bỏ nhu cầu lưu trữ các trọng số chuyên gia còn lại.
Bản phát hành sử dụng giấy phép MIT. Chúng tôi xếp mô hình này dưới những lựa chọn hàng đầu dành cho máy trạm vì độ phức tạp khi triển khai thu hẹp đáng kể nhóm người dùng phù hợp, chứ không phải vì các mô hình nhỏ hơn luôn vượt trội. Nhóm xây dựng dịch vụ suy luận tập trung nên so sánh Pro và Flash về chi phí cho mỗi tác vụ hoàn thành, khả năng xử lý đồng thời và độ tin cậy của công cụ. Nhà phát triển cá nhân muốn có trợ lý cục bộ nhanh chóng nên bắt đầu với một điểm kiểm tra nhỏ hơn ở phần khác trong hướng dẫn này.
Ưu và nhược điểm
- Bản phát hành chính thức cải thiện so với bản xem trước trước đó
- Pro và Flash cung cấp các lựa chọn quy mô khác nhau
- Giấy phép MIT
- Các điểm kiểm tra chuyên gia lớn đòi hỏi hạ tầng mạnh
- Cần đánh giá thông lượng với ngữ cảnh dài theo từng khối lượng công việc cụ thể
5. GLM-5.3
GLM-5.3 là lựa chọn mô hình có trọng số mở được Z.ai cập nhật, hướng đến các tác vụ kỹ thuật phần mềm khó và tác vụ tác tử kéo dài. Mô hình này sử dụng cùng mô hình nền với GLM-5.2; những cải tiến đến từ giai đoạn huấn luyện hậu kỳ. Nhà phát triển báo cáo mức cải thiện đáng kể trên các bài đánh giá lập trình và tác tử, khiến đây là phiên bản đáng để đánh giá thay vì chỉ giữ nguyên vị trí và mô tả của thế hệ trước.
Điểm hấp dẫn của mô hình là khả năng xử lý công việc kéo dài qua nhiều công cụ, tệp và kết quả trung gian. Tuy nhiên, điểm tác tử được công bố của một mô hình còn phụ thuộc vào bộ khung đánh giá, ngân sách suy luận, cách quản lý ngữ cảnh và thời gian được cấp. Khi đánh giá trợ lý làm việc với kho mã, cần theo dõi xem mô hình có hoàn thành thay đổi được yêu cầu, gây ra lỗi hồi quy và sử dụng công cụ đúng cách hay không. Chỉ riêng tiêu đề về điểm số trên một bài đánh giá không thể xác nhận những kết quả đó trong một môi trường phát triển khác.
Khác biệt về giấy phép là đáng lưu ý: GLM-5.3 sử dụng giấy phép tùy chỉnh, không phải giấy phép MIT từng được gắn với mục GLM-5.2 trong bài viết này. Giấy phép có thêm điều kiện rà soát đối với một số doanh nghiệp dịch vụ mô hình quy mô rất lớn. Điểm kiểm tra có dung lượng đáng kể của mô hình cũng đòi hỏi phải có kế hoạch sử dụng máy chủ. GLM-5.3 phù hợp để cân nhắc trong danh sách rút gọn các mô hình lập trình dành cho doanh nghiệp, nhưng không phải lựa chọn mặc định phù hợp với độc giả muốn triển khai dễ dàng trên máy tính xách tay.
Ưu và nhược điểm
- Tập trung hơn vào công việc lập trình kéo dài và tác vụ tác tử
- Có thể tải xuống trọng số và có tài liệu hướng dẫn triển khai dịch vụ
- Ghi chú đánh giá chi tiết từ nhà phát triển
- Giấy phép tùy chỉnh cần được rà soát theo từng phiên bản
- Yêu cầu về hạ tầng vượt quá khả năng của hầu hết máy tính cá nhân
Xem thẻ thông tin mô hình GLM-5.3
6. Kimi K3
Kimi K3 là lựa chọn chuyên biệt dành cho các tổ chức cần kết hợp khả năng hiểu hình ảnh với suy luận kéo dài và sử dụng công cụ. Mô hình của Moonshot có tổng cộng 2,8 nghìn tỷ tham số, trong đó khoảng 104 tỷ tham số được kích hoạt cho mỗi token, hỗ trợ xử lý hình ảnh tích hợp sẵn và có cửa sổ ngữ cảnh một triệu token. Mô hình phù hợp khi trợ lý cần xử lý mã, ảnh chụp màn hình, tài liệu và lịch sử tương tác kéo dài trong cùng một hệ thống.
Các chi tiết tích hợp đặc biệt quan trọng. Kimi K3 luôn bật chức năng suy nghĩ và yêu cầu duy trì đầy đủ các thông điệp của trợ lý qua các lượt hội thoại, bao gồm cả thông tin về suy luận và lời gọi công cụ. Vì vậy, ứng dụng chỉ lưu câu trả lời cuối cùng có thể xử lý sai định dạng hội thoại dự kiến. Trước khi so sánh mô hình này với mô hình khác, hãy xác nhận rằng lớp cung cấp dịch vụ và khung tác tử lưu giữ chính xác lịch sử hội thoại cần thiết.
Giấy phép tùy chỉnh và điểm kiểm tra có dung lượng rất lớn khiến đây vừa là quyết định về hạ tầng, vừa là lựa chọn mô hình. Lượng tử hóa tích hợp sẵn giúp nâng cao hiệu quả cung cấp dịch vụ, nhưng không biến mô hình thành lựa chọn thông thường cho máy trạm. Chúng tôi đề xuất Kimi K3 cho những nhóm có thể biện minh cho chi phí vận hành bằng các quy trình đa phương thức đòi hỏi cao; các tác vụ tóm tắt văn bản thông thường hoặc xử lý tập hợp tài liệu nhỏ hiếm khi cần đến quy mô này.
Ưu và nhược điểm
- Khả năng hiểu hình ảnh tích hợp sẵn kết hợp với suy luận trên ngữ cảnh dài
- Được thiết kế cho quy trình làm việc kéo dài, dựa trên công cụ
- Trọng số được phát hành cho phép triển khai có kiểm soát
- Đòi hỏi hạ tầng rất lớn
- Giấy phép tùy chỉnh và yêu cầu về định dạng hội thoại
Xem thẻ thông tin mô hình Kimi K3
7. Mistral Small 4
Mistral Small 4 kết hợp khả năng làm theo chỉ dẫn, suy luận, lập trình và hiểu hình ảnh trong một mô hình. Điều này khiến mô hình trở thành lựa chọn hấp dẫn cho các ứng dụng doanh nghiệp cần nhiều khả năng thông qua một giao diện nhất quán, thay vì phải duy trì các mô hình chuyên biệt riêng cho từng yêu cầu. Vị thế của mô hình phản ánh tính linh hoạt trong vận hành này, đặc biệt với các nhóm đã quen quản lý một dịch vụ suy luận có quy mô đáng kể.
Dù mang tên Small, mô hình có tổng cộng 119 tỷ tham số, trong đó 6,5 tỷ tham số được kích hoạt cho mỗi token. Mô hình hỗ trợ cửa sổ ngữ cảnh 256K và mức độ suy luận có thể cấu hình, cho phép dịch vụ đưa ra câu trả lời ngắn hơn cho các câu hỏi thường lệ và suy xét kỹ hơn đối với những tác vụ khó. Kiến trúc hỗn hợp chuyên gia giúp giảm khối lượng tính toán đang hoạt động, nhưng toàn bộ trọng số vẫn chi phối phần lớn nhu cầu lưu trữ và bộ nhớ.
Điểm kiểm tra sử dụng giấy phép Apache 2.0. Các tùy chọn lượng tử hóa và giải mã suy đoán chính thức cung cấp những hướng tối ưu hóa, dù lợi ích thực tế còn tùy thuộc vào phần cứng và khả năng hỗ trợ của môi trường chạy. Với trợ lý hỗ trợ đọc ảnh chụp màn hình và tạo ra các hành động có cấu trúc, hãy kiểm tra đồng thời chất lượng xử lý hình ảnh, mức độ tuân thủ lược đồ và thời gian phản hồi. Chọn mô hình này khi việc hợp nhất nhiều khả năng giúp đơn giản hóa hoạt động; đừng cho rằng tên gọi hàm ý mô hình có kích thước như một mô hình 8B chạy trên máy tính xách tay.
Ưu và nhược điểm
- Kết hợp khả năng suy luận, làm theo chỉ dẫn, lập trình và xử lý hình ảnh
- Có thể điều chỉnh mức độ suy luận theo từng yêu cầu
- Giấy phép Apache 2.0
- Tên gọi Small không phản ánh đúng tổng kích thước mô hình
- Lợi ích tối ưu hóa phụ thuộc vào bộ công nghệ triển khai
Xem thẻ mô hình Mistral Small 4
8. Devstral Small 2
Devstral Small 2 là một lựa chọn chuyên biệt dành cho các nhà phát triển chủ yếu cần một mô hình có thể khám phá kho mã, chỉnh sửa tệp và hoạt động bên trong tác nhân kỹ thuật phần mềm. Với 24 tỷ tham số, mô hình này có cấu hình triển khai dễ tiếp cận hơn so với các hệ thống lập trình quy mô lớn được đề cập ở trên. Mô hình vẫn hữu ích trong vai trò chuyên biệt, ngay cả khi các mô hình đa dụng mới hơn cũng xứng đáng được đưa vào cùng một đợt đánh giá.
Mistral công bố cửa sổ ngữ cảnh 256K, khả năng hiểu hình ảnh và tích hợp với môi trường lập trình Vibe. Giá trị của mô hình nằm ở khả năng xử lý trọn vẹn quy trình chỉnh sửa và kiểm thử, chứ không phải ở việc tạo ra một đoạn mã riêng lẻ ấn tượng. Hãy đánh giá mô hình dựa trên cấu trúc kho mã, ngôn ngữ lập trình, các ràng buộc về thư viện phụ thuộc và bộ kiểm thử của bạn, đồng thời sử dụng cùng công cụ và quyền truy cập như khi đánh giá các mô hình cạnh tranh.
Bản phát hành sử dụng giấy phép Apache 2.0. Mistral nêu khả năng triển khai trên GPU phổ thông và máy Mac 32GB, nhưng độ chính xác, ngữ cảnh và chi phí tài nguyên khi chạy sẽ ảnh hưởng đến những gì thực sự có thể tải vừa. Hãy bắt đầu với các phiên làm việc ngắn hơn và một cấu hình lượng tử hóa tương thích trước khi thử đưa các kho mã khổng lồ vào một lời nhắc. Chúng tôi ưu tiên mô hình này cho máy trạm chuyên lập trình; các nhóm cần nghiên cứu đa dạng, giọng nói hoặc hỗ trợ đa phương thức tổng quát nên so sánh phạm vi chuyên biệt hẹp hơn của nó với các mô hình đa dụng xếp hạng cao hơn.
Ưu và nhược điểm
- Được thiết kế xoay quanh quy trình làm việc với kho mã và công cụ
- Quy mô dễ tiếp cận hơn các mô hình lập trình hàng đầu
- Có khả năng xử lý hình ảnh và giấy phép linh hoạt
- Phạm vi chuyên biệt khiến mô hình kém hữu ích hơn cho các tác vụ trợ lý đa dạng
- Ngữ cảnh tối đa không đồng nghĩa với việc có thể chạy trên phần cứng phổ thông
Xem thẻ mô hình Devstral Small 2
9. Nemotron 3 Nano
Nemotron 3 Nano của NVIDIA là một lựa chọn đáng chú ý cho các nhà phát triển muốn tối ưu hiệu suất của tác nhân xử lý văn bản. Mô hình kết hợp các thành phần Mamba, cơ chế attention và các lớp hỗn hợp chuyên gia, với tổng cộng 30 tỷ tham số và khoảng 3,5 tỷ tham số hoạt động trên mỗi token. Lý do nên đánh giá mô hình là mức độ phù hợp của kiến trúc với yêu cầu vận hành, chứ không phải giả định rằng tên Nano đồng nghĩa với việc mô hình có thể chạy trên mọi thiết bị.
Mô hình hỗ trợ cả chế độ suy luận và không suy luận thông qua mẫu hội thoại. Nhờ đó, ứng dụng có thể dành thời gian suy xét lâu hơn cho các yêu cầu khó, đồng thời đưa ra phản hồi nhanh hơn cho những yêu cầu đơn giản. Kiến trúc lai của mô hình cũng khiến khả năng hỗ trợ của môi trường chạy trở thành tiêu chí lựa chọn thiết yếu: hãy xác minh chính xác tổ hợp công cụ chạy, định dạng lượng tử hóa và phần cứng thay vì cho rằng mọi phương pháp tối ưu hóa dành cho transformer tiêu chuẩn đều áp dụng được.
Bản phát hành sử dụng Giấy phép Mô hình Mở NVIDIA Nemotron. Đây là một ứng viên chuyên biệt đáng cân nhắc cho các nhóm xây dựng bộ kiểm chuẩn suy luận có thể tái lập và sẵn sàng tinh chỉnh cấu hình triển khai. Hãy so sánh thời gian để đưa ra câu trả lời chính xác, mức sử dụng bộ nhớ và khả năng xử lý yêu cầu đồng thời, bên cạnh chất lượng đầu ra. Những độc giả chủ yếu cần một trợ lý hình ảnh sẵn sàng sử dụng sẽ thấy các lựa chọn đa phương thức ở những vị trí xếp hạng cao hơn phù hợp trực tiếp hơn với mục tiêu đó.
Ưu và nhược điểm
- Kiến trúc lai mang đến một lựa chọn thay thế tập trung vào hiệu suất
- Có thể cấu hình chế độ suy luận
- Tài liệu kỹ thuật chi tiết
- Tập trung vào văn bản thay vì đóng vai trò trợ lý hình ảnh tích hợp sẵn
- Cần kiểm tra khả năng hỗ trợ của môi trường chạy và giấy phép riêng
Xem thẻ mô hình Nemotron 3 Nano
10. Olmo 3.1
Olmo 3.1 của Ai2 xứng đáng có mặt trong danh sách vì tính mở không chỉ đơn thuần là một nút tải xuống. Mô hình Instruct 32B thuộc một hệ sinh thái công khai bộ dữ liệu huấn luyện, mã nguồn, các checkpoint trung gian và phương pháp luận. Với các nhà nghiên cứu tìm hiểu cách những quyết định trong quá trình huấn luyện ảnh hưởng đến hành vi của mô hình, các tài nguyên này có thể giá trị hơn điểm số cao hơn của một mô hình có quy trình phát triển phần lớn không thể tiếp cận.
Dòng mô hình này có các biến thể Instruct và Think, đồng thời tài liệu của mô hình liên kết các giai đoạn tiền huấn luyện và hậu huấn luyện. Nhờ vậy, việc khảo sát các lựa chọn điều chỉnh và so sánh từng giai đoạn phát triển mô hình trở nên dễ dàng hơn. Hãy bắt đầu với một checkpoint đã tinh chỉnh theo hướng dẫn nếu cần một trợ lý; checkpoint cơ sở phục vụ mục đích khác và không nên được đánh giá như thể nó đã được tối ưu cho mục đích sử dụng hội thoại.
Olmo 3.1 sử dụng giấy phép Apache 2.0 và chủ yếu là mô hình văn bản tiếng Anh. Chúng tôi xếp hạng mô hình này như lựa chọn chuyên về tính minh bạch, chứ không khẳng định rằng nó dẫn đầu về năng lực tiên tiến nhất. Các nhóm nghiên cứu, nhà giáo dục hoặc nhóm tìm hiểu khả năng điều chỉnh mô hình có lý do thuyết phục để chọn mô hình này. Các đơn vị cần một sản phẩm sẵn sàng đưa vào vận hành, có khả năng xử lý hình ảnh tích hợp sẵn, phạm vi đa ngôn ngữ rộng nhất hoặc tác nhân lập trình sẵn sàng sử dụng mạnh nhất nên ưu tiên đánh giá các lựa chọn phía trên.
Ưu và nhược điểm
- Tài nguyên huấn luyện hỗ trợ việc khảo sát và nghiên cứu
- Có nhiều giai đoạn hậu huấn luyện và biến thể
- Giấy phép Apache 2.0
- Tập trung vào văn bản tiếng Anh khiến mô hình bị hạn chế trong một số ứng dụng
- Minh bạch trong nghiên cứu không bảo đảm độ chính xác hàng đầu trên các tác vụ
Bạn cần bao nhiêu bộ nhớ?
Hãy bắt đầu bằng kích thước thực tế của checkpoint và các yêu cầu được tài liệu của môi trường chạy nêu rõ. Có thể ước tính sơ bộ dung lượng chỉ tính trọng số bằng cách lấy số lượng tham số nhân với số bit cho mỗi trọng số rồi chia cho tám. Mô hình 30B với độ chính xác 4 bit cần khoảng 15 GB, chưa tính siêu dữ liệu lượng tử hóa, các thành phần chưa lượng tử hóa, bộ nhớ đệm ngữ cảnh, vùng đệm tạm thời và hệ điều hành. Đây là mức tối thiểu tính toán, không phải cam kết rằng mô hình sẽ chạy vừa trên máy có 16 GB bộ nhớ.
Với các mô hình hỗn hợp chuyên gia, hãy dùng tổng số tham số để ước tính dung lượng lưu trữ trọng số. Số tham số được kích hoạt giúp giải thích lượng tính toán cho mỗi token; điều đó không có nghĩa là các chuyên gia còn lại biến mất. Chuyển tải tác vụ sang CPU có thể giảm yêu cầu bộ nhớ GPU nhưng cũng có thể làm tốc độ giảm đáng kể. Bộ nhớ hợp nhất trên máy Mac được chia sẻ với hệ thống, vì vậy không nên xem toàn bộ dung lượng đó là bộ nhớ sẵn có cho mô hình.
- Máy tính cá nhân có cấu hình hạn chế: Hãy bắt đầu với một phiên bản Gemma nhỏ hơn hoặc đánh giá gpt-oss-20b bằng cấu hình được hỗ trợ. Chừa lại dung lượng dự phòng và ban đầu nên đặt giới hạn ngữ cảnh ở mức thấp.
- Máy trạm có nhiều bộ nhớ hơn: Hãy so sánh Qwen3.8-27B đã lượng tử hóa, các phiên bản Gemma phù hợp và Devstral Small 2. Kiểm tra riêng khả năng hỗ trợ hình ảnh, không nên suy ra điều đó từ khả năng suy luận văn bản.
- Máy chủ và cụm máy tính: Hãy cân nhắc DeepSeek V4, GLM-5.3, Kimi K3 hoặc các cấu hình lớn hơn khi giá trị của tác vụ đủ để biện minh cho chi phí phục vụ mô hình và độ phức tạp trong vận hành.
Cửa sổ ngữ cảnh tối đa của mô hình cũng không đồng nghĩa với thiết lập được khuyến nghị để sử dụng hằng ngày. Đầu vào dài hơn làm tăng nhu cầu bộ nhớ và xử lý, còn nhiều người dùng đồng thời sẽ khiến yêu cầu tài nguyên tăng lên theo. Để tìm hiểu các lựa chọn cài đặt và sự khác biệt giữa mô hình, môi trường chạy và giao diện, hãy xem hướng dẫn của chúng tôi về các công cụ chạy LLM cục bộ.
Mã nguồn mở, trọng số mở và triển khai riêng tư
Quyền truy cập trọng số cho phép bạn kiểm soát nơi thực hiện suy luận, nhưng không tự động cung cấp toàn bộ công thức huấn luyện hay cho phép mọi hình thức sử dụng. Với các mô hình được cấp phép theo Apache 2.0 và MIT, bạn vẫn cần kiểm tra giấy phép áp dụng cho đúng checkpoint. GLM-5.3, Kimi K3 và Nemotron sử dụng giấy phép riêng cho mô hình của mình. Olmo đặc biệt phù hợp khi quyền truy cập vào quá trình phát triển cũng quan trọng như quyền truy cập vào trọng số cuối cùng.
Tự lưu trữ có thể giúp giữ các câu lệnh trong hạ tầng của bạn, miễn là toàn bộ ứng dụng được cấu hình theo cách đó. Các dịch vụ tạo vector nhúng trên đám mây, công cụ tìm kiếm từ xa, dịch vụ ghi nhật ký và công cụ tác nhân vẫn có thể gửi dữ liệu đến nơi khác. Hãy đánh giá toàn bộ quy trình và đo lường cả câu trả lời sai lẫn hành động thất bại, cùng với độ trễ. Với các công cụ có thể sửa đổi tệp hoặc tương tác với hệ thống doanh nghiệp, hãy giới hạn quyền truy cập và thêm bước phê duyệt khi hành động đó cần được phê duyệt.
Nên chọn LLM mở nào?
Để bắt đầu so sánh một cách thực tế, hãy chọn Qwen3.8-27B cho các ứng dụng đa phương thức tổng quát, Gemma 4 nếu bạn muốn có nhiều lựa chọn về kích cỡ mô hình chạy cục bộ, và gpt-oss để thực hiện suy luận văn bản dễ tiếp cận. Đây là những lựa chọn hữu ích để bắt đầu trước khi đầu tư vào một cụm suy luận trung tâm.
Với các tác vụ đòi hỏi cao ở quy mô máy chủ, hãy so sánh DeepSeek V4 về khả năng suy luận và lập trình tổng quát, GLM-5.3 cho các tác nhân phần mềm hoạt động trong thời gian dài, và Kimi K3 cho quy trình đa phương thức. Mistral Small 4 đáng để đánh giá khi bạn cần một mô hình duy nhất xử lý nhiều tác vụ kinh doanh với khả năng tùy chỉnh mức độ suy luận.
Mỗi mô hình chuyên biệt đáp ứng một nhu cầu khác nhau: Devstral Small 2 dành cho máy trạm lập trình chuyên dụng, Nemotron 3 Nano dành cho các tác nhân xử lý văn bản chú trọng hiệu quả, và Olmo 3.1 dành cho nghiên cứu minh bạch và khả năng thích ứng. Hãy chọn hai hoặc ba mô hình phù hợp với phần cứng và yêu cầu về giấy phép của bạn, sau đó đánh giá chúng bằng cùng một nhóm tác vụ tiêu biểu trước khi chọn phương án triển khai.











