ARIA lựa chọn máy chủ quang học của Lumai để thử nghiệm suy luận AI ở quy mô tủ rack

Lumai đang đưa phần cứng AI quang học của mình vào một môi trường đánh giá mới: Scaling Inference Lab, được Cơ quan Nghiên cứu và Phát minh Tiên tiến của Vương quốc Anh (ARIA) hậu thuẫn. Phòng thí nghiệm dự kiến triển khai các máy chủ suy luận Lumai Iris làm nền tảng tính toán quang học đầu tiên, qua đó giúp các nhà nghiên cứu thử nghiệm kiến trúc này ở quy mô tủ rack trong môi trường trung tâm dữ liệu thương mại.

Do CommonAI CIC điều hành, phòng thí nghiệm được thành lập nhằm thu hẹp khoảng cách khó vượt qua đối với phần cứng AI mới nổi: chứng minh một bộ xử lý mới là một chuyện; đưa bộ xử lý đó vào hoạt động như một phần của hệ thống tích hợp, chạy các mô hình thực tế và đáp ứng những yêu cầu thông thường về điện năng, làm mát và tủ rack lại là chuyện khác.

Thông báo này tiếp nối việc ra mắt Iris Nova vào tháng 4. Bước đi mới là một đợt đánh giá nhiều nút thông qua một bệ thử nghiệm được tài trợ công, chứ không phải công bố một điểm chuẩn độc lập, hoàn chỉnh để chứng minh những tuyên bố nổi bật của Lumai về hiệu suất năng lượng.

Dùng ánh sáng để thực hiện phép toán ma trận

Lumai, một công ty tách ra từ Đại học Oxford và được thành lập năm 2021, phát triển kiến trúc lai giữa quang học và kỹ thuật số. Bộ xử lý quang học của công ty nhắm đến các phép toán dày đặc được sử dụng trong suy luận AI, trong khi các linh kiện điện tử tiếp tục đảm nhiệm những chức năng còn lại của hệ thống.

Trong mô tả kỹ thuật của công ty, thông tin được mã hóa thành các chùm ánh sáng rồi xử lý qua những linh kiện quang học trong không gian ba chiều. Mục tiêu là thực hiện song song nhiều phép toán thông qua sự truyền ánh sáng, thay vì tiến hành mọi phép tính bằng cách đóng ngắt bóng bán dẫn.

Điều đó không có nghĩa là toàn bộ máy chủ hoạt động thụ động hay không tiêu thụ điện. Toàn hệ thống vẫn cần nguồn sáng, bộ chuyển đổi dữ liệu, bộ nhớ, xử lý kỹ thuật số và hệ thống điều khiển. Câu hỏi kỹ thuật cốt yếu là khi một mô hình hữu ích thực sự được vận hành, hiệu suất năng lượng của bộ xử lý quang học còn được duy trì ở mức nào sau khi tính đến các chi phí liên quan.

Lumai mô tả một giao diện dữ liệu băng thông rộng nhằm phân bổ chi phí chuyển đổi trên khối lượng công việc lớn, thiết kế bộ nhớ ba tầng dành cho bộ nhớ đệm key-value của mô hình và phương pháp lượng tử hóa có tính đến phần cứng. Đây là những thành phần thực tiễn của kiến trúc: việc di chuyển dữ liệu, duy trì độ chính xác số ở mức có thể sử dụng và bảo đảm bộ tăng tốc luôn có công việc để xử lý đều ảnh hưởng đến hiệu năng ngoài môi trường trình diễn trong phòng thí nghiệm.

Vì sao Lumai nhắm đến giai đoạn tiền xử lý đầu vào

Suy luận mô hình ngôn ngữ lớn gồm hai giai đoạn riêng biệt. Trong giai đoạn tiền xử lý đầu vào (prefill), hệ thống xử lý dữ liệu đầu vào và xây dựng trạng thái nội bộ cần thiết để tạo câu trả lời. Trong giai đoạn giải mã (decode), hệ thống tạo từng token đầu ra theo từng bước, đồng thời liên tục truy cập trọng số mô hình và ngữ cảnh được lưu trong bộ nhớ đệm.

Giai đoạn tiền xử lý đầu vào thường chủ yếu gồm các phép toán ma trận lớn, trong khi quá trình giải mã có thể bị giới hạn bởi băng thông bộ nhớ, đặc biệt khi kích thước lô nhỏ. Sự cân bằng này thay đổi tùy theo kích thước mô hình, độ dài lời nhắc, cách chia lô và cấu hình phục vụ mô hình. Lumai chọn chuyên biệt hóa ở giai đoạn đòi hỏi nhiều năng lực tính toán, thay vì tối ưu toàn bộ quy trình bằng một loại bộ xử lý duy nhất.

Tài liệu sản phẩm Iris của công ty định vị bộ tăng tốc quang học trong các hệ thống điện toán không đồng nhất, trong đó có thể dùng bộ tăng tốc làm bộ xử lý cho giai đoạn tiền xử lý đầu vào, kết hợp với phần cứng được tối ưu cho giai đoạn giải mã. Lumai cho biết Iris Nova hỗ trợ các mô hình Llama có 8 tỷ và 70 tỷ tham số, đồng thời hiện có thể được đánh giá tại các trung tâm dữ liệu. Dòng sản phẩm này được thiết kế cho hạ tầng tủ rack tiêu chuẩn và hệ thống làm mát bằng không khí.

“Vận hành một hệ thống nhiều nút trong trung tâm dữ liệu thương mại là lúc các kiến trúc điện toán mới chứng minh liệu chúng đã sẵn sàng được triển khai thực tế hay chưa”, Xianxin Guo, đồng sáng lập kiêm CEO của Lumai, cho biết. Chương trình hợp tác với ARIA đặt câu hỏi về khả năng tích hợp này vào trọng tâm của giai đoạn tiếp theo.

Bệ thử nghiệm dành cho các hệ thống hoàn chỉnh

ARIA là cơ quan tài trợ nghiên cứu và phát triển công của Vương quốc Anh, hỗ trợ các công nghệ đầy tham vọng có tiềm năng mang lại lợi ích cho xã hội. Chương trình Scaling Compute tìm hiểu các giải pháp thay thế cho những phương pháp điện toán đã được thiết lập, bao gồm các nguyên lý tính toán mới, mạng và thiết kế hệ thống.

Scaling Inference Lab nhận được 50 triệu bảng Anh tài trợ từ ARIA. ARIA mô tả đây là một chuỗi dự án thí điểm có cấu trúc ở cấp độ tủ rack, mỗi dự án tích hợp một công nghệ chưa được kiểm chứng vào một hệ thống có thể triển khai để người dùng cuối chạy mô hình. Mục tiêu là so sánh hiệu năng của toàn hệ thống với các giải pháp thương mại và nhanh chóng cải tiến qua từng vòng, với kế hoạch triển khai một tủ rack mới mỗi sáu tháng.

CommonAI, tổ chức thành viên phi lợi nhuận có trụ sở tại Cambridge vận hành phòng thí nghiệm, quy tụ các công ty, cơ quan công và giới học thuật để cùng hợp tác về kỹ thuật. Đề cương chương trình của tổ chức nêu kế hoạch xây dựng hơn năm hệ thống ở cấp độ tủ rack và nhấn mạnh việc thẩm định độc lập nhằm giúp phần cứng mới nổi chứng minh hiệu năng vận hành thực tế.

Cấu trúc này quan trọng vì một bộ tăng tốc có thể hoạt động tốt trong một phép toán riêng lẻ, nhưng lợi ích đạt được có thể giảm đi khi tính cả việc di chuyển dữ liệu, lập lịch, hỗ trợ phần mềm và những khâu còn lại trong quy trình phục vụ mô hình. Một môi trường thử nghiệm dùng chung có thể giúp làm rõ cả ưu điểm lẫn điểm nghẽn.

Các tuyên bố về hiệu suất năng lượng cho thấy điều gì — và không cho thấy điều gì

Lumai cho biết kiến trúc này có tiềm năng giảm mức tiêu thụ điện năng của trung tâm dữ liệu tới 90% và đưa tổng chi phí sở hữu xuống còn khoảng một phần mười so với các kiến trúc GPU thông thường. Trang web của công ty mô tả lộ trình hướng tới hiệu năng cao gấp 50 lần. Thông cáo cũng nêu riêng rằng hiệu quả năng lượng trên mỗi lần suy luận cao hơn ít nhất 16 lần khi kết hợp bước tiền xử lý đầu vào bằng quang học với bước giải mã dựa trên silicon.

Các con số này phản ánh những phép so sánh khác nhau, không nên xem chúng là các thước đo có thể thay thế cho nhau hoặc là kết quả đã được ARIA xác minh độc lập. Thông báo không cung cấp cấu hình đo kiểm chuẩn chung, phép so sánh chất lượng mô hình hay bộ kết quả ở cấp độ tủ máy chủ đã công bố để chứng minh những mức cải thiện này trên các khối lượng công việc thương mại.

Vì vậy, bước phát triển đáng kể nằm ở hoạt động đánh giá của phòng thí nghiệm. Các phép đo hữu ích sẽ bao gồm mức năng lượng tiêu thụ cho mỗi yêu cầu hoàn tất, thời gian tạo ra token đầu tiên, thông lượng đầu ra duy trì được, độ chính xác của mô hình và chi phí vận hành toàn bộ hệ thống. Để có thể so sánh có ý nghĩa, cần sử dụng cùng một mô hình, độ dài ngữ cảnh, giả định về xử lý theo lô và yêu cầu dịch vụ.

Đối với tham vọng mở rộng năng lực AI trong nước của Vương quốc Anh trong bối cảnh ngân sách điện năng hạn chế, một hệ thống quang học thành công có thể mang đến thêm một lựa chọn điện toán. Việc Lumai triển khai hệ thống là một bước tiến hướng tới thử nghiệm khả năng đó trong điều kiện thương mại. Liệu lợi thế của hệ thống có giúp giảm chi phí phục vụ khi triển khai ở quy mô lớn hay không sẽ tùy thuộc vào các bằng chứng thu thập được từ quá trình đánh giá toàn hệ thống.