Tốt nhất
10 công cụ LLM tốt nhất để chạy mô hình cục bộ (Tháng 11 2026)
Unite.AI có thể nhận thù lao khi bạn dùng liên kết đến sản phẩm chúng tôi đánh giá. Điều này không ảnh hưởng đến đánh giá biên tập của chúng tôi. Đọc công bố liên kết của chúng tôi.

Điểm chínhOllama là khuyến nghị mặc định dễ nhất để chạy các mô hình cục bộ từ dòng lệnh hoặc máy…
Xem thêm
- Ollama là khuyến nghị mặc định dễ nhất để chạy các mô hình cục bộ từ dòng lệnh hoặc máy tính để bàn.
- LM Studio cung cấp trải nghiệm máy tính để bàn tinh tế để khám phá và thử nghiệm các mô hình cục bộ với các lộ trình dành cho nhà phát triển.
- Open WebUI cung cấp giao diện tự lưu trữ để các nhóm làm việc với các mô hình cục bộ và đám mây trong một nơi.
Chạy LLM cục bộ đồng nghĩa với việc chọn cả mô hình lẫn phần mềm tải mô hình, cung cấp mô hình hoặc cho phép bạn làm việc với mô hình đó. Đây là hai quyết định riêng biệt. Ứng dụng trò chuyện trên máy tính, giao diện dành cho nhóm và công cụ suy luận đều có thể hữu ích, nhưng chúng giải quyết những vấn đề khác nhau và thường phối hợp với nhau.
Chúng tôi đã đánh giá độc lập 10 công cụ dưới đây về quy trình làm việc cục bộ, thế mạnh thực tiễn, mức độ phức tạp khi cấu hình và sự phù hợp với người dùng cá nhân hoặc nhà phát triển. Ollama vẫn là lựa chọn được chúng tôi khuyến nghị rộng rãi để thiết lập môi trường chạy cục bộ có thể tái sử dụng; LM Studio là giải pháp thay thế nổi bật nhất dành cho máy tính để bàn. Thứ tự xếp hạng phản ánh mức độ phù hợp với quy trình làm việc, không dựa trên các phép đo tốc độ suy luận. Một công cụ chuyên biệt có thứ hạng thấp hơn vẫn có thể là lựa chọn tốt nhất cho một môi trường triển khai kỹ thuật.
Hướng dẫn này so sánh các công cụ, không đánh giá trí tuệ của mô hình. Để tìm hiểu các lựa chọn mô hình có thể tải xuống, hãy xem hướng dẫn của chúng tôi về LLM mã nguồn mở và LLM có trọng số mở. Đồng thời, cần phân biệt khả năng chạy cục bộ với việc thực thi cục bộ: hiện nay, nhiều ứng dụng cung cấp mô hình đám mây, tính năng tìm kiếm trên web hoặc công cụ từ xa bên cạnh khả năng suy luận ngay trên thiết bị.
So sánh các công cụ tốt nhất để chạy LLM cục bộ
| Công cụ AI | Phù hợp nhất cho | Tính năng |
|---|---|---|
| Ollama | Cung cấp mô hình cục bộ và tích hợp cho nhà phát triển | Quản lý mô hình, CLI, máy chủ cục bộ, tích hợp ứng dụng |
| LM Studio | Tìm mô hình, trò chuyện và dùng API cục bộ trên máy tính để bàn | Tải mô hình, trò chuyện ngoại tuyến, trò chuyện với tài liệu, máy chủ dành cho nhà phát triển |
| Open WebUI | Giao diện AI dùng chung, tự lưu trữ | Kết nối với Ollama và API, kho tri thức, người dùng, công cụ |
| AnythingLLM | Không gian làm việc với tài liệu và năng suất ngay trên thiết bị | Phiên bản máy tính để bàn và tự lưu trữ, truy xuất thông tin, tác nhân, kho tri thức từ tài liệu |
| Jan | Một lựa chọn trò chuyện mã nguồn mở trên máy tính để bàn | Mô hình cục bộ và trực tuyến, giao diện máy tính để bàn, phát triển mở |
| Msty Studio | So sánh các mô hình trong một không gian làm việc AI có thể tái sử dụng | Split Chats, Knowledge Stacks, hồ sơ nhân vật, mô hình cục bộ và trực tuyến |
| LocalAI | API tự lưu trữ hỗ trợ nhiều phương thức AI | API tương thích, hệ thống phụ trợ dạng mô-đun, văn bản, giọng nói, hình ảnh |
| llama.cpp | Kiểm soát trực tiếp hoạt động suy luận và phần cứng | GGUF, lượng tử hóa, hệ thống phụ trợ CPU/GPU, CLI và máy chủ |
| GPT4All | Trò chuyện với tài liệu cục bộ đơn giản, dễ dùng | Ứng dụng máy tính để bàn, LocalDocs, mô hình cục bộ, Windows/macOS/Linux |
| TextGen | Thử nghiệm nâng cao trên máy tính để bàn và tùy chọn huấn luyện | Bản dựng GGUF di động, API, khả năng xử lý hình ảnh; cần cài đặt đầy đủ hơn để huấn luyện |
Bạn cần loại công cụ AI cục bộ nào?
Dành cho công việc cá nhân trên máy tính để bàn: hãy bắt đầu với LM Studio hoặc Jan để trò chuyện, AnythingLLM hoặc GPT4All để làm việc với tài liệu, và Msty Studio nếu bạn muốn một không gian làm việc đa mô hình được tổ chức bài bản hơn. Nên cân nhắc TextGen khi khả năng thử nghiệm và các tùy chọn điều khiển chi tiết quan trọng hơn sự đơn giản.
Dành cho ứng dụng và dịch vụ dùng chung: Ollama cung cấp máy chủ mô hình cục bộ tiện dụng, llama.cpp cho phép kiểm soát trực tiếp công cụ suy luận, còn LocalAI hỗ trợ nhiều loại suy luận thông qua một lớp API chung. Open WebUI là giao diện dùng chung có thể hoạt động phía trên một công cụ suy luận. Chỉ cài đặt giao diện phía trước không đồng nghĩa với việc đã cài đặt một mô hình đủ năng lực hoặc có phần cứng để chạy mô hình đó.
10 công cụ LLM tốt nhất để chạy mô hình cục bộ
1. Ollama
Bản minh họa này cho thấy quy trình làm việc kết nối với Ollama. Kể từ đó, công cụ tích hợp sẵn trong phiên bản máy tính để bàn hiện tại của AnythingLLM đã thay đổi; hãy xem phần giới thiệu về công cụ này bên dưới để biết sự khác biệt.
Phù hợp nhất với: Cung cấp mô hình cục bộ và tích hợp cho nhà phát triển. Ollama vẫn là lựa chọn hàng đầu của chúng tôi dành cho độc giả muốn xây dựng nền tảng AI cục bộ có thể tái sử dụng. Công cụ này quản lý việc tải xuống mô hình và cung cấp mô hình cho các ứng dụng, nhờ đó hữu ích hơn một cửa sổ trò chuyện đơn lẻ. Nhà phát triển có thể kết nối một điểm cuối cục bộ với phần mềm của riêng mình, trong khi các giao diện khác có thể dùng Ollama làm công cụ nền cho quy trình làm việc với tài liệu hoặc trò chuyện.
Ưu điểm của Ollama là quy trình quản lý mô hình tương đối đơn giản cùng một hệ sinh thái hỗ trợ rộng lớn. Người dùng có thể bắt đầu với một mô hình được hỗ trợ, xác nhận mô hình đó phù hợp với máy tính của mình rồi tái sử dụng thiết lập ấy trên nhiều ứng dụng. Cách này tách biệt việc chọn máy chủ mô hình với việc chọn giao diện. Tuy nhiên, một API chấp nhận định dạng yêu cầu quen thuộc không đảm bảo rằng mọi mô hình đều hỗ trợ cùng một bộ công cụ, đầu ra có cấu trúc hoặc đầu vào hình ảnh.
Điểm khác biệt quan trọng hiện nay là Ollama cung cấp cả mô hình chạy cục bộ lẫn trên đám mây. Hãy chọn một mô hình cục bộ đã tải xuống nếu mục tiêu là xử lý ngay trên thiết bị. Tài liệu của Ollama cũng hướng dẫn cách cấu hình chỉ chạy cục bộ, vô hiệu hóa các tính năng đám mây và tìm kiếm trên web. Chúng tôi xếp Ollama ở vị trí đầu nhờ tính linh hoạt và khả năng tích hợp, chứ không phải vì đây luôn là không gian làm việc với tài liệu đơn giản nhất hay công cụ chạy nhanh nhất trên mọi thiết bị. Hãy kiểm tra vị trí lưu mô hình và mức sử dụng bộ nhớ trước khi tăng độ dài ngữ cảnh hoặc số yêu cầu xử lý đồng thời.
Ưu và nhược điểm
- Máy chủ mô hình cục bộ có thể tái sử dụng cho các ứng dụng
- Quản lý mô hình đơn giản, tích hợp rộng rãi
- Có tài liệu hướng dẫn chế độ chỉ chạy cục bộ
- Việc chọn mô hình đám mây sẽ thay đổi nơi diễn ra quá trình suy luận
- Hiệu suất phụ thuộc vào mô hình và phần cứng
Tài liệu tham khảo: Tài liệu và thông tin sản phẩm của Ollama.
2. LM Studio
Phù hợp nhất cho: Khám phá mô hình, trò chuyện và sử dụng API cục bộ trên máy tính. LM Studio là lựa chọn thay thế hàng đầu của chúng tôi dành cho máy tính để bàn, phù hợp với những người muốn khám phá, tải xuống và sử dụng các mô hình cục bộ thông qua một ứng dụng trực quan. Công cụ này còn cung cấp máy chủ cục bộ và các công cụ dành cho nhà phát triển, giúp chuyển từ thử nghiệm tương tác sang tích hợp vào ứng dụng. Những ai thích xem xét mô hình và cài đặt trong giao diện đồ họa có thể cân nhắc chọn LM Studio thay cho Ollama.
Sản phẩm hiện tích hợp nổi bật Bionic, tác nhân hỗ trợ công việc và lập trình. Điều này mở rộng trải nghiệm vượt ra ngoài hình thức trò chuyện thông thường, nhưng người dùng nên phân biệt các khả năng của tác nhân với môi trường chạy mô hình bên dưới. Các mô hình đã tải xuống có thể hỗ trợ trò chuyện cục bộ, tương tác với tài liệu và cung cấp dịch vụ cục bộ; tính hữu ích của tác nhân vẫn phụ thuộc vào năng lực của mô hình và các công cụ mà tác nhân có thể truy cập. Tài liệu ngoại tuyến của LM Studio mô tả rõ những quy trình cốt lõi này khi sử dụng cục bộ.
Điểm hấp dẫn chính của LM Studio là giao diện thân thiện mà vẫn cho phép người dùng tiếp tục phát triển ứng dụng. Những giới hạn thực tế nằm ở khả năng tương thích của mô hình, dung lượng bộ nhớ hiện có và sự khác biệt giữa chạy cục bộ với chạy trên máy chủ lưu trữ. Một tùy chọn đám mây dù có chính sách quyền riêng tư thì vẫn là suy luận trên đám mây. Trước khi dựa vào thiết lập ngoại tuyến, hãy tải xuống mô hình và các thành phần môi trường chạy cần thiết, rồi thử quy trình dự kiến khi ngắt kết nối. Hãy so sánh những công cụ dành cho nhà phát triển mà bạn thực sự cần, thay vì chỉ lựa chọn dựa trên các phần trình diễn tác nhân trên trang chủ.
Ưu và nhược điểm
- Khám phá mô hình trực quan và quy trình làm việc trên máy tính để bàn
- Trò chuyện cục bộ, trò chuyện với tài liệu và cung cấp dịch vụ cho nhà phát triển
- Lộ trình từ khám phá đến tích hợp ứng dụng
- Cần phân biệt dịch vụ đám mây với việc chạy cục bộ
- Các mô hình lớn vẫn cần đủ bộ nhớ
Tài liệu tham khảo: Tài liệu và thông tin sản phẩm của LM Studio.
3. Open WebUI
Phù hợp nhất cho: Giao diện AI tự lưu trữ dùng chung. Nên xem Open WebUI là một giao diện và lớp ứng dụng tự lưu trữ, chứ không phải một điểm kiểm tra mô hình cạnh tranh hay một công cụ suy luận đơn lẻ. Công cụ này kết nối với Ollama và các API tương thích, cung cấp một không gian chung cho hội thoại, kiến thức và công cụ. Vì vậy, Open WebUI đặc biệt phù hợp khi nhiều người cần truy cập một dịch vụ AI do tổ chức tự quản lý.
Kiến trúc này cho phép nhóm giữ nguyên giao diện trong khi thay đổi phần phụ trợ mô hình. Công cụ có thể hữu ích cho một dịch vụ kiến thức nội bộ quy mô nhỏ, trong đó quản trị viên quản lý các kết nối và tính năng, thay vì để mỗi nhân viên tự duy trì một thiết lập riêng trên máy tính. Tài liệu hiện hành cũng phân biệt cách cài đặt trên máy tính để bàn với các phương án triển khai trong môi trường sản xuất. Hãy chọn phương thức triển khai dựa trên người vận hành dịch vụ và cách quản lý cập nhật, lưu trữ cũng như quyền truy cập.
Chúng tôi xếp công cụ này ở vị trí thứ ba nhờ khả năng chia sẻ quyền truy cập, đồng thời lưu ý rằng tự lưu trữ giao diện không đồng nghĩa với việc mô hình từ xa được chạy cục bộ. Cũng cần kiểm tra các dịch vụ hỗ trợ như trích xuất tài liệu và tạo embedding. Giấy phép hiện hành có các điều kiện về thương hiệu, vì vậy những nhóm dự định phân phối lại hoặc đổi thương hiệu sản phẩm nên đọc kỹ các điều khoản cụ thể. Open WebUI là phần bổ trợ hữu ích cho một môi trường chạy mô hình, nhưng lại là hạ tầng không cần thiết đối với người chỉ thỉnh thoảng muốn trò chuyện riêng tư trên một máy tính xách tay.
Ưu và nhược điểm
- Giao diện dùng chung cho nhiều phần phụ trợ mô hình
- Quy trình làm việc tự lưu trữ với kiến thức và công cụ
- Nhiều phương án triển khai
- Cần có phần phụ trợ suy luận riêng
- Cần xem xét các điều khoản về quản trị và thương hiệu
Tài liệu tham khảo: Tài liệu và thông tin sản phẩm của Open WebUI.
4. AnythingLLM
Phù hợp nhất với: Không gian làm việc với tài liệu và năng suất ngay trên thiết bị. AnythingLLM là đề xuất tập trung nhất của chúng tôi dành cho độc giả muốn làm việc với tài liệu của mình thay vì mất thời gian xây dựng một hệ thống truy xuất thông tin. Các tùy chọn dành cho máy tính để bàn và tự lưu trữ kết hợp khả năng truy cập mô hình, kiến thức từ tài liệu, không gian làm việc và các tính năng tác tử. Giá trị của công cụ nằm ở việc tổ chức quy trình làm việc có thể lặp lại xoay quanh tệp và thông tin, thay vì xem mỗi cuộc trò chuyện như một lời nhắc riêng lẻ.
Một thay đổi đáng kể là công cụ xử lý tích hợp trên máy tính để bàn. AnythingLLM hiện cho biết các mô hình đã tải xuống chạy thông qua llama.cpp, do AMD’s Lemonade quản lý, thay thế bản Ollama trước đây được tích hợp sẵn trong ứng dụng. Đây là thay đổi đối với công cụ xử lý tích hợp, chứ không có nghĩa là mọi kết nối với nhà cung cấp được cấu hình riêng đều đã thay đổi. Người dùng hiện tại nên xem lại chi tiết về việc chuyển đổi trước khi làm theo các hướng dẫn cài đặt cũ mô tả môi trường chạy tích hợp theo cách khác.
AnythingLLM đứng thứ tư nhờ khả năng hỗ trợ năng suất xoay quanh tài liệu và có thể là lựa chọn hàng đầu cho không gian nghiên cứu cục bộ. Khả năng truy xuất vẫn phụ thuộc vào chất lượng trích xuất, cấu hình nhúng và việc đoạn văn liên quan có thực sự được chọn hay không. Hãy thử nghiệm với các tệp khó xử lý, bao gồm bảng và tài liệu được quét, thay vì chỉ đánh giá công cụ qua một tài liệu văn bản rõ ràng. Chọn hình thức triển khai phù hợp trên máy tính để bàn hoặc dùng chung, đồng thời xác minh rằng mọi nhà cung cấp đã chọn đều hoạt động cục bộ khi cần.
Ưu và nhược điểm
- Các tùy chọn dành cho máy tính để bàn và tự lưu trữ, tập trung vào tài liệu
- Công cụ xử lý cục bộ tích hợp giúp giảm công sức thiết lập
- Không gian làm việc kết nối thông tin với các tác vụ định kỳ
- Chất lượng truy xuất phụ thuộc vào tệp và cấu hình
- Các hướng dẫn cũ có thể mô tả công cụ xử lý tích hợp đã lỗi thời
Tài liệu tham khảo: Tài liệu hướng dẫn và thông tin sản phẩm của AnythingLLM.
5. Jan
Phù hợp nhất với: Ứng dụng trò chuyện trên máy tính để bàn mã nguồn mở thay thế. Jan là ứng dụng máy tính để bàn mã nguồn mở thay thế dành cho người dùng muốn có giao diện trò chuyện quen thuộc và khả năng tự chọn mô hình. Sản phẩm hiện hỗ trợ kết hợp các mô hình mở và nhà cung cấp trực tuyến, phù hợp với những ai muốn dùng một giao diện duy nhất nhưng vẫn có thể chạy cục bộ các mô hình được hỗ trợ. Quá trình phát triển mở của dự án cũng hữu ích với người dùng muốn tìm hiểu dự án đứng sau ứng dụng.
Jan phù hợp nhất với nhu cầu trò chuyện cá nhân trên máy tính để bàn, trong đó người dùng chủ động chọn mô hình. Hãy bắt đầu với mô hình phù hợp với máy tính của bạn và thiết lập một mốc hiệu năng hữu ích trước khi bổ sung dịch vụ hoặc tính năng tác tử. Việc một mô hình xuất hiện trong danh sách nhà cung cấp của sản phẩm không có nghĩa là phiên bản lớn nhất của mô hình đó có thể chạy trên thiết bị ấy. Cùng một giao diện có thể cung cấp cả mô hình cục bộ lẫn dịch vụ lưu trữ trực tuyến, với những khác biệt đáng kể về yêu cầu phần cứng và luồng dữ liệu.
Chúng tôi xếp Jan ở vị trí thứ năm, xem đây là một lựa chọn thay thế dễ tiếp cận chứ không phải nền tảng hoàn chỉnh cho các nhóm dùng chung. Hãy đánh giá bản phát hành bạn cài đặt dựa trên những tính năng cần dùng: trang chủ hiện tại ghi rằng tính năng bộ nhớ sắp ra mắt, vì vậy chúng tôi không xem đây là một ưu thế đã có. Độc giả cần khả năng quản trị tài liệu chuyên sâu hoặc vận hành nhiều người dùng nên so sánh với các công cụ không gian làm việc chuyên dụng. Với nhu cầu trò chuyện cá nhân, phạm vi đơn giản hơn có thể là một lợi thế nếu giúp giảm thời gian thiết lập và bảo trì.
Ưu và nhược điểm
- Ứng dụng máy tính để bàn mã nguồn mở
- Có thể chọn nhà cung cấp cục bộ hoặc trực tuyến
- Giao diện trò chuyện cá nhân hữu ích
- Các tính năng được công bố có thể chưa có trong bản phát hành đã cài đặt
- Không phải lựa chọn hàng đầu của chúng tôi cho việc quản trị tài liệu dùng chung
Tài liệu tham khảo: Tài liệu hướng dẫn và thông tin sản phẩm của Jan.
6. Msty Studio
Phù hợp nhất với: So sánh các mô hình trong một không gian làm việc AI có thể tái sử dụng. Msty Studio là không gian làm việc dành cho những người sử dụng nhiều mô hình và muốn tổ chức công việc xoay quanh chúng. Công cụ kết hợp khả năng truy cập mô hình cục bộ và trực tuyến với lời nhắc có thể tái sử dụng, nhân vật, Knowledge Stacks và Split Chats. Điểm khác biệt nổi bật nhất của công cụ trong danh sách này là khả năng so sánh câu trả lời và duy trì ngữ cảnh làm việc định kỳ trong một môi trường trực quan.
Split Chats có thể giúp nhà nghiên cứu so sánh cách các mô hình trả lời cùng một câu hỏi, nhưng việc các mô hình đồng ý với nhau không phải là sự xác minh độc lập. Knowledge Stacks mang đến một quy trình làm việc hữu ích khác: sắp xếp tài liệu nguồn, đặt câu hỏi dựa trên các tài liệu đó và kiểm tra nội dung nào làm cơ sở cho câu trả lời. Hệ sinh thái sản phẩm rộng hơn của Msty hiện có thêm các dịch vụ về tác tử và quản trị, vì vậy người mua nên phân biệt tính năng của Studio với khả năng của các sản phẩm và gói dịch vụ khác.
Msty đứng thứ sáu, phù hợp hơn với những ai cần không gian làm việc cá nhân hoặc nhóm có tổ chức hơn. Công cụ này kém phù hợp nếu nhu cầu duy nhất là một điểm cuối HTTP cục bộ đơn giản. Các engine chạy cục bộ và nhà cung cấp dịch vụ lưu trữ có thể cùng hoạt động trong một ứng dụng, vì vậy việc lựa chọn nhà cung cấp rất quan trọng khi xử lý tài liệu nhạy cảm. Trước khi cho rằng bản cài đặt trên máy tính cá nhân có khả năng quản trị cấp doanh nghiệp, hãy kiểm tra nền tảng, gói dịch vụ và mô hình triển khai cần thiết để sử dụng các quyền kiểm soát chung. Hãy chọn công cụ này vì quy trình làm việc đi kèm, chứ không phải vì cho rằng giao diện của nó làm thay đổi độ chính xác của mô hình bên dưới.
Ưu và nhược điểm
- So sánh các mô hình song song
- Prompt, persona và kho tri thức có thể tái sử dụng
- Kết nối nhiều engine chạy cục bộ và nhà cung cấp dịch vụ lưu trữ
- Các sản phẩm và gói dịch vụ có những khả năng khác nhau
- Không gian làm việc nhiều tính năng hơn nhu cầu của người chỉ cần API đơn giản
Tài liệu tham khảo: Tài liệu hướng dẫn và thông tin sản phẩm của Msty Studio.
7. LocalAI
Phù hợp nhất cho: API tự lưu trữ hỗ trợ nhiều phương thức AI. LocalAI hướng đến các nhà phát triển và người vận hành muốn lưu trữ dịch vụ AI sau những API quen thuộc. Các backend dạng mô-đun của công cụ này hỗ trợ nhiều hơn cả việc trò chuyện với mô hình ngôn ngữ, bao gồm xử lý tiếng nói, thị giác máy tính, tạo ảnh, tạo embedding và các khối lượng công việc khác. Công cụ đặc biệt hữu ích khi một ứng dụng cần nhiều loại suy luận khác nhau và nhóm muốn quản lý chúng thông qua một lớp dịch vụ chung.
Kiến trúc này tách API giao tiếp với máy khách khỏi backend được chọn. Các mô hình khác nhau có thể sử dụng những engine khác nhau; cấu hình sẽ quyết định engine nào chạy bên dưới. Cách này có thể giảm công sức tích hợp ở phía ứng dụng, nhưng cần kiểm tra khả năng tương thích với các điểm cuối và tính năng cụ thể mà ứng dụng sử dụng. Chỉ riêng việc yêu cầu trò chuyện thành công không chứng minh rằng các nhà cung cấp có khả năng truyền phát, gọi công cụ, xử lý âm thanh hoặc xử lý lỗi tương đương nhau.
Chúng tôi xếp LocalAI ở vị trí thứ bảy vì phạm vi khả năng rộng của công cụ này có giá trị với một nhóm kỹ thuật hơn là với người chỉ muốn trò chuyện nhanh trên máy tính. Chạy bằng CPU giúp một số phương án triển khai không cần GPU chuyên dụng, nhưng không có nghĩa là mọi mô hình đều vận hành hiệu quả trên phần cứng cấu hình khiêm tốn. Hãy bắt đầu với một khối lượng công việc, đo độ trễ và mức sử dụng bộ nhớ, rồi bổ sung backend khi cần. Vận hành cho nhiều người dùng hoặc phân tán sẽ làm phát sinh trách nhiệm lập kế hoạch dung lượng và bảo trì mà một nguyên mẫu cục bộ đơn giản không thể hiện.
Ưu và nhược điểm
- Hỗ trợ nhiều phương thức thông qua các API quen thuộc
- Nhiều lựa chọn backend dạng mô-đun
- Có thể mở rộng vượt ra ngoài nguyên mẫu chạy trên một máy
- Phạm vi vận hành rộng khiến việc cấu hình phức tạp hơn
- Cần kiểm tra khả năng tương thích API cho từng tính năng
Tài liệu tham khảo: Tài liệu hướng dẫn và thông tin sản phẩm của LocalAI.
8. llama.cpp
Phù hợp nhất cho: Suy luận trực tiếp và kiểm soát phần cứng. llama.cpp là lựa chọn dành cho độc giả muốn làm việc trực tiếp với engine suy luận thay vì hoàn toàn dựa vào một ứng dụng trung gian trên máy tính. Công cụ này được triển khai bằng C và C++, hỗ trợ GGUF, có bộ công cụ lượng tử hóa, backend phần cứng, công cụ dòng lệnh và máy chủ, đồng thời là nền tảng quan trọng cho việc triển khai mô hình cục bộ. Nhiều ứng dụng dễ sử dụng hơn dựa vào lớp này hoặc các thành phần liên quan ở bên dưới giao diện của chúng.
Sử dụng trực tiếp sẽ hữu ích khi vấn đề thực sự nằm ở khả năng tương thích của mô hình, việc chuyển tải tác vụ sang phần cứng, cách sử dụng bộ nhớ hoặc cấu hình thời gian chạy. Cách này giúp người dùng có chuyên môn kiểm soát engine và so sánh các cấu hình dễ dàng hơn. Tuy nhiên, quyền kiểm soát đó cũng đi kèm trách nhiệm: bản dựng được chọn phải hỗ trợ kiến trúc mô hình và backend tăng tốc liên quan. Tên tệp GGUF không đảm bảo rằng một tệp nhị phân cũ đã cài đặt có thể tải chính xác một mô hình mới phát hành.
Vị trí thứ tám phản ánh mức độ dễ tiếp cận với đông đảo người dùng, chứ không phải tầm quan trọng về mặt kỹ thuật của công cụ. Với nhà phát triển hệ thống suy luận, công cụ này có thể xứng đáng đứng đầu danh sách. Hãy bắt đầu với một mô hình được xác nhận là có hỗ trợ và một bản dựng có tài liệu hướng dẫn, sau đó thay đổi từng thiết lập một. Ghi lại kích thước ngữ cảnh, mức lượng tử hóa, phần cứng và phiên bản thời gian chạy cùng với kết quả hiệu năng. Thiếu những chi tiết đó, số liệu token mỗi giây sẽ không hữu ích để so sánh. Độc giả chỉ muốn trò chuyện riêng tư thường sẽ được lợi hơn nếu bắt đầu với một ứng dụng dễ sử dụng.
Ưu và nhược điểm
- Kiểm soát trực tiếp cấu hình suy luận
- Hệ sinh thái phần cứng và lượng tử hóa đa dạng
- Các thành phần nền tảng hữu ích cho CLI và máy chủ
- Cần nhiều kiến thức kỹ thuật hơn để thiết lập và bảo trì
- Các định dạng mô hình mới có thể yêu cầu bản dựng được cập nhật
Tài liệu tham khảo: Tài liệu hướng dẫn và thông tin sản phẩm của llama.cpp.
9. GPT4All
Phù hợp nhất: Trò chuyện đơn giản với tài liệu cục bộ. GPT4All vẫn là lựa chọn máy tính để bàn chuyên biệt dành cho những người muốn trò chuyện và truy cập tài liệu ngay trên máy tính của mình. Tính năng LocalDocs là điểm cốt lõi tạo nên sức hút đó: người dùng có thể đặt câu hỏi về một tập hợp tệp mà không cần thiết kế riêng một dịch vụ truy xuất trước. Nomic vẫn cung cấp bản tải xuống cho máy tính để bàn chạy các hệ điều hành phổ biến, trong đó có phiên bản dành cho Windows ARM trên trang sản phẩm hiện tại.
Đây là điểm khởi đầu thiết thực cho những ai muốn khám phá bộ sưu tập tài liệu cá nhân. Điều cần đánh giá không chỉ là liệu mô hình có đưa ra câu trả lời thuyết phục hay không, mà còn là ứng dụng có truy xuất đúng tài liệu nguồn và giúp kết quả đó hữu ích hay không. Hãy thử các tệp đại diện cho bộ sưu tập thực tế, bao gồm tên dễ gây nhầm lẫn, tài liệu dài và thông tin nằm rải rác ở nhiều nguồn.
Chúng tôi xếp GPT4All ở vị trí thứ chín, xem đây là một công cụ chuyên biệt đơn giản hơn chứ không phải nền tảng mặc định cho mọi ứng dụng AI cục bộ. Đừng xem những tuyên bố về khả năng hỗ trợ máy tính phổ thông là bằng chứng cho thấy một mô hình lớn sẽ chạy ổn trên bất kỳ máy tính xách tay nào. Hãy kiểm tra các mô hình được hỗ trợ, khả năng tăng tốc hiện có và cách phiên bản đã cài đặt xử lý tài liệu. Nếu nhu cầu chính là một không gian làm việc dùng chung, thử nghiệm mô hình chuyên sâu hơn hoặc phần phụ trợ dịch vụ có thể cấu hình, hãy so sánh các công cụ khác trước khi xây dựng quy trình làm việc dựa trên công cụ này.
Ưu và nhược điểm
- Tập trung vào trò chuyện với tài liệu trên máy tính để bàn, dễ tiếp cận
- LocalDocs sắp xếp các tệp cá nhân
- Có bản tải xuống cho các nền tảng máy tính để bàn phổ biến
- Cần xác minh khả năng tương thích hiện tại với mô hình và phần cứng
- Ít phù hợp hơn với dịch vụ dùng chung phức tạp
Tham khảo: Tài liệu hướng dẫn và thông tin sản phẩm GPT4All.
10. TextGen
Phù hợp nhất: Thử nghiệm nâng cao trên máy tính để bàn và tùy chọn huấn luyện. TextGen, thuộc dự án oobabooga, phù hợp với người dùng muốn kiểm soát nhiều hơn việc thử nghiệm mô hình cục bộ thông qua giao diện máy tính để bàn. Dự án hỗ trợ trò chuyện, khả năng thị giác với các mô hình tương thích, gọi công cụ, đính kèm tệp và truy cập API. Đây có thể là lựa chọn trung gian hữu ích giữa ứng dụng trò chuyện được đơn giản hóa tối đa và việc tự lắp ráp một môi trường suy luận hoàn toàn từ các thành phần dòng lệnh.
Sự khác biệt giữa các cách cài đặt rất quan trọng. Có các bản cài đặt di động dành cho Windows, macOS và Linux, hỗ trợ mô hình GGUF thông qua llama.cpp. Bản cài đặt đầy đủ hơn của dự án bổ sung các khả năng như hỗ trợ thêm nhiều phần phụ trợ, huấn luyện LoRA, tạo ảnh và tiện ích mở rộng. Không nên hiểu rằng mọi tính năng này đều tự động có trong mỗi bản tải xuống gọn nhẹ. Hãy chọn cách cài đặt phù hợp với công việc dự định thực hiện và những phần phụ thuộc bạn sẵn sàng duy trì.
TextGen xếp thứ mười vì là công cụ chuyên biệt dành cho thử nghiệm, chứ không phải vì thiếu khả năng. Người dùng có kiến thức kỹ thuật đang kiểm tra mô hình và thiết lập tạo nội dung có thể thích công cụ này hơn một số lựa chọn xếp hạng cao hơn. Các tùy chọn điều khiển bổ sung sẽ ít hữu ích hơn với người chỉ cần một trợ lý tài liệu đáng tin cậy, không đòi hỏi thiết lập phức tạp. Khi so sánh kết quả, hãy giữ nhất quán các thiết lập về mô hình, phần phụ trợ, mẫu lệnh và cách lấy mẫu. Tìm kiếm trên web hoặc tiện ích mở rộng tùy chọn cũng làm thay đổi cách hoạt động của quy trình vốn chỉ chạy cục bộ, vì vậy hãy đánh giá cấu hình thực tế thay vì chỉ dựa vào một nhãn quyền riêng tư chung chung.
Ưu và nhược điểm
- Thử nghiệm chi tiết với mô hình cục bộ
- Có tùy chọn thiết lập GGUF di động
- Bản cài đặt đầy đủ có nhiều tính năng hơn
- Bản cài đặt đầy đủ và bản di động có khác biệt đáng kể
- Nhiều tùy chọn điều khiển và phần phụ thuộc hơn đồng nghĩa với việc phải bảo trì nhiều hơn
Tham khảo: Tài liệu hướng dẫn và thông tin sản phẩm TextGen
Bạn cần bao nhiêu bộ nhớ để chạy LLM cục bộ?
Dung lượng trọng số của mô hình chỉ là điểm khởi đầu. Để minh họa phép tính sơ bộ, tám tỷ tham số được lưu ở mức bốn bit mỗi tham số tương đương khoảng 4 GB dữ liệu trọng số thô, chưa tính phần dung lượng phát sinh do định dạng. Điều đó không có nghĩa là mô hình 8B sẽ chạy ổn trên máy tính chỉ có 4 GB bộ nhớ khả dụng. Môi trường chạy, hệ điều hành, bộ nhớ đệm ngữ cảnh và các ứng dụng khác cũng cần dung lượng.
Hãy căn cứ vào tệp mô hình thực tế và yêu cầu của môi trường chạy. Lượng tử hóa giúp giảm dung lượng lưu trữ trọng số, nhưng phải đánh đổi chất lượng ở mức độ tùy thuộc vào phương pháp và tác vụ. Ngữ cảnh dài hơn và các yêu cầu xử lý song song có thể làm tăng đáng kể nhu cầu bộ nhớ. Số lượng tham số được kích hoạt nhỏ trong mô hình hỗn hợp chuyên gia không đồng nghĩa với lượng bộ nhớ cần thiết để lưu trữ toàn bộ trọng số của mô hình.
Phân biệt RAM hệ thống với bộ nhớ GPU. Một mô hình được chuyển một phần sang GPU có thể vừa bộ nhớ nhưng chạy chậm hơn nhiều so với mô hình được lưu hoàn toàn trong bộ nhớ của bộ tăng tốc phù hợp. Máy tính dùng bộ nhớ hợp nhất có cơ chế phân bổ khác, nhưng hệ điều hành vẫn chiếm một phần dung lượng dùng chung đó. Hãy kiểm tra chính xác phần cứng và phần phụ trợ mà ứng dụng hỗ trợ, thay vì cho rằng mọi máy có cùng tổng dung lượng RAM đều tương đương nhau.
Hãy bắt đầu với cửa sổ ngữ cảnh vừa phải. Tải một mô hình lượng tử hóa được hỗ trợ, chạy các lời nhắc tiêu biểu và kiểm tra mức sử dụng bộ nhớ trước khi tăng giới hạn ngữ cảnh. Thử nghiệm cả khi vừa tải mô hình lẫn trong một cuộc trò chuyện dài hơn. Tài liệu của Ollama về bộ nhớ và xử lý đồng thời giải thích vì sao các yêu cầu đồng thời và thiết lập ngữ cảnh ảnh hưởng đến tài nguyên cần dùng. Không thứ hạng nào ở trên cho thấy một công cụ luôn có tốc độ vượt trội trong mọi trường hợp.
Cách xác minh quy trình làm việc của bạn luôn chạy cục bộ
Hãy kiểm tra riêng mô hình tạo sinh, mô hình nhúng, trình phân tích cú pháp tài liệu, bộ xếp hạng lại, dịch vụ giọng nói và mọi công cụ khác. Giao diện trò chuyện chạy cục bộ vẫn có thể gửi tài liệu đến một dịch vụ nhúng hoặc phân tích cú pháp từ xa. Tìm kiếm trên web và các công cụ từ xa cũng cần kết nối mạng, ngay cả khi mô hình ngôn ngữ đang chạy trên máy tính của bạn.
Sau khi tải các thành phần cần thiết, hãy thử nghiệm quy trình cốt lõi khi không có kết nối internet. Việc này giúp xác nhận khả năng hoạt động ngoại tuyến, nhưng không thay thế cho một cuộc kiểm tra toàn diện về lưu lượng mạng hoặc hoạt động đo từ xa. Với Ollama, tùy chọn được tài liệu OLLAMA_NO_CLOUD=1 ghi lại sẽ tắt các tính năng đám mây sau khi khởi động lại. Với LM Studio, hướng dẫn vận hành ngoại tuyến nêu rõ những chức năng cốt lõi nào hoạt động khi không có kết nối mạng.
Khi cung cấp dịch vụ cho đồng nghiệp, hãy quyết định ai được phép truy cập điểm cuối và ai chịu trách nhiệm cập nhật, sao lưu cũng như quản lý tài liệu được lưu trữ. Giữ máy chủ cục bộ cá nhân ở chế độ riêng tư, trừ khi bạn chủ ý thiết lập quyền truy cập dùng chung. Xem xét riêng các điều khoản phần mềm và giấy phép mô hình; việc tải xuống một mô hình có trọng số mở không đồng nghĩa với việc mọi hình thức sử dụng đều không bị hạn chế. Chẳng hạn, trang cấp phép hiện hành của Open WebUI giải thích các điều kiện về thương hiệu.
Câu hỏi thường gặp
Công cụ nào phù hợp nhất với người mới bắt đầu?
LM Studio là lựa chọn khởi đầu rất phù hợp để tìm hiểu các mô hình một cách trực quan và trò chuyện trên máy tính. Jan là một lựa chọn khác tập trung vào trải nghiệm trên máy tính. Hãy chọn AnythingLLM hoặc GPT4All nếu mục tiêu chính là làm việc với tài liệu. Ollama đặc biệt hữu ích khi nhiều ứng dụng cần dùng chung một dịch vụ mô hình cục bộ.
Tôi có cần GPU chuyên dụng không?
Không phải với mọi mô hình hay quy trình làm việc. Có thể chạy suy luận bằng CPU với các môi trường chạy được hỗ trợ, nhưng tốc độ phản hồi và kích thước mô hình có thể sử dụng khác nhau đáng kể. Một mô hình nhỏ phản hồi mượt mà thường là lựa chọn khởi đầu tốt hơn một mô hình lớn buộc phải chuyển quá nhiều dữ liệu sang bộ nhớ ngoài.
Bản thân những công cụ này có phải là LLM không?
Không. Đây là các ứng dụng, giao diện hoặc môi trường chạy sử dụng mô hình. Thay đổi giao diện không tự động cải thiện khả năng suy luận của mô hình. Cách định dạng lời nhắc, quản lý ngữ cảnh, truy xuất thông tin và sử dụng công cụ có thể ảnh hưởng đến kết quả, nhưng mô hình đã chọn và phần cứng vẫn là những yếu tố nền tảng.
Điểm cuối tương thích với OpenAI có thể thay thế hoàn toàn API lưu trữ trên đám mây không?
Điểm cuối này có thể giúp đơn giản hóa việc tích hợp, nhưng mức độ tương thích phụ thuộc vào các điểm cuối và tính năng đã được triển khai. Hãy thử nghiệm khả năng truyền dữ liệu liên tục, đầu ra có cấu trúc, công cụ, xử lý hình ảnh và cách hệ thống xử lý lỗi bằng chính mô hình bạn định sử dụng. Việc các API có cùng cấu trúc không chứng minh rằng chúng có năng lực hoặc độ tin cậy ngang nhau.
Nên chọn công cụ LLM cục bộ nào?
Hãy bắt đầu với Ollama nếu bạn muốn một dịch vụ cục bộ có thể dùng lại, hoặc LM Studio nếu trải nghiệm trên máy tính là ưu tiên hàng đầu. Open WebUI là giao diện phù hợp cho các hệ thống triển khai dùng chung, còn AnythingLLM tập trung quy trình làm việc vào tài liệu. Jan là một lựa chọn máy tính mã nguồn mở, còn Msty Studio hữu ích cho việc sắp xếp kiến thức và so sánh nhiều mô hình.
Hãy chọn LocalAI nếu bạn cần các API suy luận tự lưu trữ đa dạng hơn, và llama.cpp nếu muốn kiểm soát trực tiếp bộ máy chạy mô hình. GPT4All vẫn là lựa chọn chuyên biệt để trò chuyện với tài liệu cục bộ; TextGen phù hợp hơn cho các thử nghiệm chuyên sâu và quy trình huấn luyện tùy chọn. Thiết lập phù hợp là thiết lập chạy ổn định mô hình bạn đã chọn, giữ dữ liệu dự định ở lại cục bộ và chỉ đòi hỏi mức độ quản trị mà bạn có thể duy trì.












