Mô hình và nền tảng AI
Lumai ra mắt máy chủ AI quang học cho kỷ nguyên suy luận tiếp theo

Điểm chínhĐiện toán quang học thay thế electron bằng photon để thoát khỏi những giới hạn ngày…
Xem thêm
- Điện toán quang học thay thế electron bằng photon để thoát khỏi những giới hạn ngày càng tăng của chip silicon.
- Lumai tập trung vào suy luận vì việc triển khai hiện nay gây áp lực lên các trung tâm dữ liệu nhiều hơn so với việc huấn luyện mô hình.
- Iris Nova kết hợp các thành phần quang học và kỹ thuật số để các cơ sở hiện có có thể áp dụng nó mà không cần xây dựng lại.
Lumai đã thông báo về điều mà công ty mô tả là một bước tiến lớn trong cơ sở hạ tầng AI: một hệ thống tính toán quang học có khả năng chạy các mô hình ngôn ngữ lớn với hàng tỷ tham số trong thời gian thực. Hệ thống mới, được gọi là Iris Nova, đánh dấu một bước ngoặt khỏi việc xử lý truyền thống dựa trên silicon hướng tới một phương pháp khác biệt về căn bản dựa trên ánh sáng.
Thông báo này được đưa ra vào thời điểm ngành công nghiệp AI đang chuyển nhanh từ đào tạo mô hình sang triển khai quy mô lớn, đặt áp lực chưa từng có lên cơ sở hạ tầng tính toán hiện có.
Vượt qua các giới hạn của silicon
Trong nhiều năm, tiến bộ của AI phụ thuộc rất nhiều vào sự tiến bộ của các chip silicon, đặc biệt là GPU. Nhưng mô hình này đang bắt đầu cho thấy dấu hiệu của sự căng thẳng. Tiêu thụ năng lượng đang tăng mạnh, và việc đạt được hiệu suất cao hơn đang trở nên khó khăn hơn mà không tăng đáng kể chi phí và yêu cầu năng lượng.
Phương pháp của Lumai thay thế electron bằng photon. Thay vì thực hiện các tính toán thông qua tín hiệu điện, hệ thống của họ sử dụng ánh sáng để xử lý dữ liệu. Điều này cho phép song song hóa lớn, nơi hàng triệu hoạt động có thể xảy ra đồng thời trong không gian ba chiều thay vì trên bề mặt silicon phẳng.
Theo công ty, kiến trúc này có thể cung cấp thông lượng cao hơn đáng kể trong khi giảm tiêu thụ năng lượng lên đến 90% so với các hệ thống thông thường.
Áp lực ngày càng tăng đối với các trung tâm dữ liệu
Thời điểm ra mắt này phản ánh những thách thức rộng lớn hơn của ngành công nghiệp. Các khối lượng công việc AI đang mở rộng nhanh chóng, đặc biệt là trong sự suy luận, liên quan đến việc chạy các mô hình đã được đào tạo trong các ứng dụng thế giới thực.
Các trung tâm dữ liệu đang ngày càng bị hạn chế bởi sự sẵn có của năng lượng. Nhu cầu năng lượng của trung tâm dữ liệu trên toàn cầu dự kiến sẽ gấp đôi vào cuối thập kỷ, buộc các nhà vận hành phải khám phá các giải pháp không truyền thống như sản xuất điện chuyên dụng và nguồn năng lượng thay thế.
Đồng thời, việc mở rộng phần cứng truyền thống đang trở nên kém hiệu quả hơn. Mỗi thế hệ silicon mới cung cấp những cải tiến nhỏ nhưng thường yêu cầu năng lượng và làm mát tăng nhiều hơn mức cải thiện đạt được.
Lumai đang định vị tính toán quang học như một cách để vượt qua những hạn chế này hoàn toàn thay vì cải tiến chúng dần dần.
Iris Nova hoạt động như thế nào
Hệ thống Iris Nova sử dụng kiến trúc lai kết hợp các thành phần quang học và số. Động cơ quang học xử lý các phép toán cốt lõi làm nền tảng cho các mô hình AI, trong khi các hệ thống số thông thường quản lý phần mềm và chức năng điều khiển.
Thiết kế này cho phép hệ thống tích hợp vào môi trường trung tâm dữ liệu hiện có mà không cần phải thay thế hoàn toàn cơ sở hạ tầng.
Một lĩnh vực mà hệ thống này được tối ưu hóa đặc biệt là giai đoạn “prefill” (tiền nạp) của quá trình suy luận, nơi các mô hình xử lý lượng lớn dữ liệu đầu vào trước khi tạo ra phản hồi. Bằng cách tăng tốc giai đoạn này, hệ thống nhằm cải thiện thông lượng và hiệu quả tổng thể.
Lumai báo cáo rằng Iris Nova có thể chạy các mô hình như Llama 8B và 70B trong thời gian thực, cho thấy nó có khả năng xử lý các khối lượng công việc ở quy mô vận hành thực tế thay vì chỉ các trường hợp sử dụng thử nghiệm.
Chuyển dịch sang kỷ nguyên suy luận
Ra mắt này phản ánh sự chuyển dịch rộng lớn hơn trong các ưu tiên của AI. Trong khi việc huấn luyện các mô hình ngày càng lớn chiếm lĩnh các tiêu đề, tác động thực tế của AI giờ đây được định hình bởi suy luận — mức độ hiệu quả khi triển khai và mở rộng quy mô các mô hình đó.
Sự chuyển dịch này đang làm lộ các nút thắt mà trước đây ít được chú ý trong giai đoạn đào tạo. Các khối lượng công việc suy luận là liên tục, nhạy cảm với độ trễ và tiêu thụ năng lượng, khiến hiệu suất trở thành một yếu tố quan trọng.
Hệ thống của Lumai được thiết kế đặc biệt cho giai đoạn này, tập trung vào thông lượng trên mỗi watt thay vì chỉ sức tính toán thô.
Tiếp cận sớm và tác động đối với ngành
Máy chủ Iris Nova hiện đã có sẵn để đánh giá bởi các nhà cung cấp dịch vụ siêu quy mô, doanh nghiệp và tổ chức nghiên cứu. Các hệ thống bổ sung trong dòng Iris, bao gồm Aura và Tetra, dự kiến sẽ được ra mắt, mở rộng hiệu suất và tùy chọn triển khai.
Nếu tính toán quang học có thể thực hiện lời hứa của nó ở quy mô, nó có thể định hình lại bài toán kinh tế của cơ sở hạ tầng AI. Tiêu thụ năng lượng thấp hơn và hiệu quả cao hơn có thể không chỉ giảm chi phí vận hành mà còn giải quyết các mối quan ngại ngày càng tăng về tác động môi trường của AI.
Mặc dù vẫn còn phải xem liệu công nghệ sẽ được áp dụng nhanh như thế nào, nhưng thông báo của Lumai đánh dấu một hướng đi rõ ràng: tương lai của tính toán AI có thể không được xây dựng trên chỉ trên silicon.












