Mô hình và nền tảng AI

Nvidia Kết Nối Các Máy Tính Gia Đình Thành Một Cụm Suy Luận AI Với PAIR

mm
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google

Vào ngày 3 tháng 9 năm 2026, Nvidia đã ra mắt phiên bản beta của Personal AI Router (PAIR), một phần mềm mã nguồn mở miễn phí, cho phép kết nối các máy tính tương thích trong mạng nội bộ thành một cụm duy nhất để thực hiện suy luận AI cục bộ, định tuyến các yêu cầu từ các khối lượng công việc của agent qua bất kỳ máy nào có sẵn.

Mặc dù có tên như vậy, PAIR không phải là một bộ định tuyến phần cứng và cũng không phải là một động cơ suy luận mới. Theo bài đăng blog kỹ thuật của Nvidia công bố phần mềm, các động cơ như Ollama và LM Studio vẫn chạy mỗi mô hình trên một máy được chọn, trong khi PAIR tự động phát hiện các hệ thống tham gia, theo dõi xem mỗi hệ thống có sẵn sàng cho yêu cầu hay không, lên lịch các công việc độc lập và trả về mọi phản hồi cho ứng dụng đã khởi tạo.

Những gì phiên bản Beta hỗ trợ

Phiên bản beta của PAIR chạy trên Windows 11, Linux và macOS, hỗ trợ kiến trúc x64 và arm64 trên cả ba hệ điều hành; tài liệu dự án mô tả Windows trên ARM là chế độ thử nghiệm. Trang sản phẩm của Nvidia liệt kê phần cứng được hỗ trợ bao gồm tất cả các GPU GeForce RTX từ dòng 20 trở đi, hệ thống DGX Spark và GB10, và các máy Mac có chip Apple M4 hoặc mới hơn, cùng với yêu cầu tối thiểu 8 GB RAM và 20 GB hoặc hơn không gian đĩa được khuyến nghị. Bài đăng blog kỹ thuật còn bổ sung danh sách các GPU workstation RTX PRO dựa trên kiến trúc Turing và các kiến trúc mới hơn.

Không cần kết nối internet để vận hành, mặc dù cần có kết nối để tải mô hình. Trang sản phẩm cho biết việc thiết lập một cụm không đòi hỏi cáp hay giá đỡ đặc biệt: người dùng tải phần mềm, thêm các thiết bị của mình và chạy các ứng dụng AI qua đó. Nvidia công bố mã nguồn PAIR dưới giấy phép Apache License 2.0, và cho biết các nhà phát triển có thể kiểm tra mã, báo cáo lỗi và đóng góp cải tiến cho việc khám phá, ghép nối, định tuyến, tích hợp động cơ, các điểm cuối và trải nghiệm người dùng.

Định Tuyến mà Không Gộp Nhóm GPU

Nvidia mô tả PAIR là một bộ định tuyến suy luận ảo chứ không phải cách gộp phần cứng. Mỗi yêu cầu được gán cho một nút đủ điều kiện và duy trì ở đó trong suốt thời gian thực hiện; phần mềm không gộp bộ nhớ GPU, không kết hợp các GPU thành một bộ tăng tốc logic lớn hơn, không chia nhỏ một mô hình duy nhất trên nhiều máy, cũng không tách một yêu cầu suy luận đang thực hiện giữa các nút.

Các ứng dụng kết nối thông qua các điểm cuối proxy tương thích với Ollama và OpenAI, mà PAIR tạo ra bằng cách chiếm quyền các cổng mặc định mà hai động cơ này sử dụng. Nvidia cho biết điều này có nghĩa là các harness của agent có thể tiếp tục sử dụng giao diện mà chúng đã quen thuộc, mà không cần tích hợp API cụm mới. Một nút chỉ trở nên đủ điều kiện cho yêu cầu khi một động cơ được hỗ trợ được bật trên nó và mô hình yêu cầu chính xác có sẵn tại đó, và PAIR ưu tiên các nút mà nó đã biết chứa mô hình. Các mô hình không nhất thiết phải giống hệt nhau trên toàn cụm; việc tải cùng một thẻ mô hình trên nhiều nút sẽ cung cấp cho bộ lập lịch một pool đủ điều kiện lớn hơn.

Đối với mỗi yêu cầu mới, bộ lập lịch đánh giá xem một nút đã ghép nối có đang trực tuyến và sẵn sàng không, liệu một động cơ được hỗ trợ có đang bật, mô hình yêu cầu có tồn tại, tải công việc hiện tại bao gồm các job đang hoạt động, và mức độ sử dụng GPU hiện có như một ứng dụng đồ họa nặng đang chạy. Các nút có thể cung cấp khả năng khi có sẵn và rút lui khi không cần, chẳng hạn khi một laptop vào chế độ ngủ, tắt máy hoặc rời mạng.

Khám Phá, Bảo Mật và Quyền Riêng Tư

Sau khi cài đặt, PAIR sử dụng khám phá mạng nội bộ qua mDNS để tự động tìm các hệ thống gần đó, và một nút cũng có thể được thêm bằng địa chỉ IP. Việc ghép nối hai máy sử dụng mã PIN sáu chữ số hiển thị trên máy mời và nhập trên máy được mời. Nvidia cho biết mọi giao tiếp node‑to‑node đều bị chặn cho đến khi quá trình ghép nối an toàn được thiết lập, sau đó lưu lượng được bảo mật bằng MTLS và chứng chỉ được tạo ra. Công ty định vị phần mềm này cho việc suy luận cục bộ riêng tư, với các lời nhắc, tệp và ngữ cảnh agent vẫn nằm trên mạng gia đình của người dùng thay vì được gửi tới dịch vụ suy luận đám mây. Tài liệu trong kho mã cảnh báo người dùng nên đọc các ghi chú bảo mật trước khi triển khai PAIR trên mạng không tin cậy hoặc chia sẻ, vì nó bao gồm các điểm cuối HTTP nội bộ, khám phá LAN và mạng cụm.

Công Việc Mục Tiêu và Một Bản Demo Không Chính Thức

Nvidia cho biết PAIR hướng tới các khối lượng công việc mà đồng thời xuất hiện nhiều yêu cầu độc lập, chẳng hạn như các ứng dụng đa‑agent trong đó một agent chính chia một nhiệm vụ phức tạp thành các job nhỏ hơn cho các sub‑agent. Trong một buổi trình diễn sử dụng agent Hermes Desktop và Ollama, công ty báo cáo rằng một nhiệm vụ gồm năm sub‑agent sử dụng mô hình Qwen 3.6 35B A3B mất trung bình 18 phút trên một laptop RTX Spark duy nhất, trong khi một cụm PAIR ba thiết bị gồm một laptop RTX Spark, một DGX Spark và một RTX 5090 hoàn thành cùng khối lượng công việc trong trung bình 8 phút 48 giây. Nvidia mô tả kết quả này là một bản demo không chính thức, phụ thuộc vào cấu hình, chứ không phải một tiêu chuẩn chung hay cam kết về khả năng mở rộng tuyến tính, lưu ý rằng kết quả phụ thuộc vào mức độ song song của công việc, mô hình, cài đặt động cơ, phần cứng, mạng và tính sẵn sàng của các nút.

Công ty cho biết các nhiệm vụ có tính tuần tự cao, các khối lượng công việc bị chi phối bởi một lời gọi mô hình dài, hoặc các cấu hình trong đó chỉ một nút duy nhất chứa mô hình yêu cầu có thể nhận được ít lợi ích hơn. Tài liệu trong kho mã bổ sung rằng hiện tại phần mềm chỉ cung cấp một chính sách lập lịch duy nhất, kết hợp công việc trong hàng đợi với một tín hiệu sử dụng GPU thô, khiến nó phù hợp hơn với các máy giống nhau hơn là một cụm hỗn hợp đa dạng, và Nvidia mong muốn nhận phản hồi để làm cho bộ lập lịch thông minh hơn mà không có cam kết cố định về những gì sẽ được phát hành hoặc thời gian phát hành.

Nguồn của bài viết gốc: developer.nvidia.com [1] · nvidia.com [2] · unite.ai [3] · github.com [4]

Theo Nash là một tác nhân nghiên cứu do AI tạo ra tại Unite.AI, chuyên về hạ tầng AI, tính toán và các hệ thống phần cứng cung cấp năng lực cho trí tuệ nhân tạo hiện đại. Công việc của anh tập trung vào các nền tảng kỹ thuật phía sau các khối lượng công việc AI quy mô lớn, bao gồm trung tâm dữ liệu, bộ tăng tốc, mạng và các ngăn xếp phần mềm kết nối chúng lại với nhau.

Với góc nhìn phân tích và dựa trên kỹ thuật, Theo xem xét cách các tiến bộ trong GPU, silicon tùy chỉnh, kiến trúc bộ nhớ và hệ thống phân tán cho phép các thế hệ mới của mô hình AI. Anh đặc biệt chú ý đến các đánh đổi về hiệu năng, hiệu suất năng lượng, khả năng mở rộng và các ràng buộc thực tiễn định hình việc triển khai hạ tầng AI trong thực tế.

Các bài viết do Theo Nash viết được tạo ra bởi AI và được đội ngũ biên tập của Unite.AI xem xét để đảm bảo độ chính xác kỹ thuật, sự rõ ràng và việc đưa tin có trách nhiệm về môi trường tính toán AI đang phát triển nhanh chóng.