Clairvoyance của Stardock bổ sung Hivemind để chia sẻ GPU nhàn rỗi cho AI cục bộ

Clairvoyance của Stardock đang bổ sung một cách để các nhóm tận dụng những máy tính nhàn rỗi cho tác vụ suy luận AI. Trình quản lý mô hình cục bộ Locama có Hivemind, một tính năng chia sẻ năng lực suy luận cục bộ giữa các máy tính trong công ty, cùng với một công cụ đo điểm chuẩn nhằm cho thấy phần cứng cụ thể chạy AI hiệu quả đến đâu.

Bản phát hành ngày 5 tháng 11 định vị Clairvoyance 0.90 là một môi trường máy tính để bàn cho phép sử dụng kết hợp các mô hình cục bộ và đám mây. Locama quản lý việc cài đặt, thực thi và điều phối các mô hình cục bộ trên Windows, macOS và Linux; Hivemind mở rộng khả năng đó từ một máy tính sang các máy sẵn có của cả nhóm.

Stardock nhắm đến các công việc kinh doanh thường nhật có khối lượng lớn trong những lĩnh vực như mua sắm, chuỗi cung ứng, vận hành pháp lý và tài chính. Lập luận của công ty là một số công việc này có thể chạy trên phần cứng mà tổ chức đã sở hữu, nhờ đó giảm nhu cầu gửi mọi yêu cầu đến dịch vụ đám mây tính phí theo mức sử dụng.

Hivemind biến máy tính dư thừa thành năng lực suy luận dùng chung

Hivemind cho phép các thành viên trong nhóm thực hiện tác vụ AI bằng các GPU nhàn rỗi trên máy tính của công ty. Điều này có thể đặc biệt hữu ích ngoài giờ làm việc thông thường, khi những máy có khả năng chạy mô hình cục bộ nếu không có thể sẽ bị bỏ không.

“Hầu hết doanh nghiệp đều có những máy tính đủ mạnh nhưng để không mỗi đêm, và Hivemind cho phép họ gộp các máy đó lại để đưa vào sử dụng”, Brad Wardell, CEO của Stardock Software, cho biết.

Phần thuật ngữ kỹ thuật của công ty mô tả Hivemind là cơ chế suy luận cục bộ dùng chung giữa các máy ngang hàng. Phần này cũng xác định riêng Locama là máy chủ suy luận, còn một thành phần định tuyến có tên Concierge chịu trách nhiệm chọn mô hình và máy cho mỗi lượt xử lý.

Điều này khác đáng kể với giả định rằng nhiều máy tính sẽ hợp thành một bộ tăng tốc lớn. Chia sẻ công việc giữa các máy sẵn có có thể làm tăng năng lực sử dụng được, nhưng thông báo không nêu rõ việc thực thi song song tensor, bộ nhớ GPU kết hợp hay cách chia một mô hình quá lớn giữa các máy ngang hàng.

Với một nhóm đang quyết định nơi chạy khối lượng công việc, những câu hỏi hữu ích cần đặt ra là liệu mô hình có vừa với phần cứng sẵn có hay không, liệu mô hình có cho kết quả chấp nhận được hay không, và liệu định tuyến công việc sang máy khác có gây thêm độ trễ lớn hơn phần thời gian tiết kiệm được hay không. Giá trị của Hivemind sẽ phụ thuộc vào sự kết hợp các yếu tố đó, chứ không chỉ vào tình trạng sẵn có của GPU.

Mô hình cục bộ và đám mây trong cùng một không gian làm việc

Clairvoyance tổ chức các trợ lý AI thành những Nhân sự có tên riêng, làm việc với các tệp của người dùng và tạo tài liệu cùng các sản phẩm đầu ra khác. Tài liệu hướng dẫn mô tả cách chỉ định các nhà cung cấp hoặc mô hình cục bộ khác nhau cho từng Nhân sự, cho phép một không gian làm việc kết hợp nhiều lựa chọn tính toán.

Sự khác biệt giữa các lựa chọn đó rất quan trọng. Mô hình cục bộ thực thi trên phần cứng do người dùng hoặc tổ chức kiểm soát. Việc kết nối công cụ của một nhà cung cấp dịch vụ đám mây cho phép truy cập thông qua tài khoản và cơ chế xác thực của nhà cung cấp đó; việc cài đặt Clairvoyance không tự động bao gồm quyền truy cập không giới hạn vào mọi mô hình thương mại mà phần mềm hỗ trợ.

Tài liệu cũng lưu ý rằng khả năng sử dụng công cụ khác nhau giữa các mô hình cục bộ. Một mô hình có thể trả lời câu hỏi chưa chắc đã thực hiện được quy trình làm việc dạng tác nhân mà nhóm cần. Vì vậy, lựa chọn một mô hình cục bộ nhỏ hơn là quyết định tùy theo tác vụ, cần cân nhắc cả năng lực lẫn tốc độ.

Điều đó tạo cho sản phẩm một vai trò thực tiễn, làm cầu nối giữa nhân viên và các môi trường chạy mô hình bên dưới. Thay vì buộc mọi tác vụ sử dụng cùng một hệ thống phụ trợ, môi trường này có thể hỗ trợ những lựa chọn khác nhau cho từng loại công việc. Bản phát hành không đưa ra số liệu giảm chi phí đám mây được đo lường độc lập từ các triển khai Hivemind.

Công cụ đo điểm chuẩn dành cho phần cứng người dùng thực sự sở hữu

Locama cũng tích hợp Clairvoyance Local AI Benchmark. Stardock mô tả chỉ số chính mang tên Tốc độ mô hình là sự kết hợp giữa thời gian mô hình cục bộ cần để xử lý một yêu cầu và trả về câu trả lời hoàn chỉnh. Kết quả công khai có tại clairvoyanceai.com/benchmark, còn người dùng Professional có thể chạy thử nghiệm trên chính phần cứng của mình.

Ghi chú phát hành của sản phẩm mô tả các phép đo gồm tiền xử lý đầu vào, giải mã, thời gian đến token đầu tiên và bộ nhớ, cùng với các bài kiểm tra hướng đến tác vụ. Tiền xử lý đầu vào là quá trình xử lý lời nhắc đầu vào và ngữ cảnh của nó; giải mã là quá trình tạo câu trả lời. Hai giai đoạn này có thể tạo áp lực khác nhau lên phần cứng.

Token đầu tiên được tạo nhanh có thể khiến giao diện cho cảm giác phản hồi nhanh, trong khi tổng thời gian hoàn tất lại quan trọng đối với một tác vụ xử lý theo lô hoặc tác vụ tác nhân kéo dài. Việc hiển thị các chỉ số này giúp công cụ đo điểm chuẩn hữu ích hơn so với chỉ dựa vào một thông số phần cứng duy nhất.

Trang kết quả cho biết các lượt gửi đến từ người dùng Clairvoyance và phản ánh phần cứng cũng như cài đặt của họ. Vì vậy, cơ sở dữ liệu này là nguồn bằng chứng gắn với từng cấu hình, chứ không phải bảng xếp hạng độc lập được xây dựng trong điều kiện kiểm soát. Để so sánh có ý nghĩa, vẫn cần tính đến mô hình, độ chính xác, ngữ cảnh, tác vụ và môi trường chạy được sử dụng.

Tích hợp Qualcomm bổ sung một lựa chọn tính toán cục bộ khác

Clairvoyance đã hợp tác với Qualcomm từ trước khi phát hành phiên bản này. Một bài viết dành cho nhà phát triển của Qualcomm ngày 23 tháng 9 ghi lại việc tích hợp GenieX, môi trường thực thi AI tạo sinh trên thiết bị của nhà sản xuất chip này, với NPU Hexagon trên các máy tính PC dùng Snapdragon X Series.

Sự tích hợp này mở rộng khả năng suy luận cục bộ vượt ra ngoài GPU máy tính để bàn thông thường. Qualcomm cho biết hệ thống có thể lựa chọn mô hình và tài nguyên tính toán tùy theo yêu cầu của từng tác vụ, đồng thời hỗ trợ các quy trình làm việc theo tác nhân cục bộ. Điều đó không chứng minh rằng mọi mô hình cục bộ đều có thể thay thế một mô hình đám mây hàng đầu cho mọi tác vụ.

Điều khiến sự tích hợp này có ý nghĩa đối với Hivemind là chiến lược phần cứng rộng hơn: giúp sử dụng các tài nguyên máy tính sẵn có trong một môi trường làm việc thống nhất. Mỗi máy có thể có năng lực mô hình, băng thông và khả năng tăng tốc khác nhau, vì vậy phần mềm cần phân công tác vụ phù hợp với những gì hiện có.

Giá cả và hiệu quả kinh tế của việc tái sử dụng phần cứng

Clairvoyance 0.90 đang được phát hành cho Windows, macOS và Linux. Trang giá liệt kê gói miễn phí dành cho mục đích cá nhân và phi thương mại; trong khi đó, gói Professional có giá 20 USD mỗi tháng và bổ sung giấy phép thương mại, Hivemind, các tính năng phục vụ nhóm, đồng bộ hóa đám mây cùng gói mã thông báo AI đi kèm. Gói Enterprise được niêm yết ở mức 100 USD cho mỗi người dùng mỗi tháng, kèm các tính năng bổ sung dành cho tổ chức và các thỏa thuận theo số lượng.

Suy luận cục bộ có thể giảm chi phí sử dụng dịch vụ đám mây tính theo mức dùng, nhưng vẫn phát sinh các khoản chi phí như điện năng, hao mòn phần cứng, quản trị và chi phí cơ hội do phải dành riêng một máy cho công việc. Khi so sánh chi phí, cũng cần tính đến chất lượng đầu ra và lượng công sức cần bỏ ra để rà soát hoặc chỉnh sửa đầu ra đó.

Stardock đặt cược rằng có đủ công việc thường xuyên đáp ứng được những yêu cầu này trên phần cứng sẵn có ở gần. Hivemind giúp các nhóm thử nghiệm khả năng đó, còn điểm chuẩn tạo cơ sở ban đầu để đánh giá mô hình và máy nào phù hợp với từng công việc.