Enfabrica Ra Mắt Vải Mạng Dựa Trên Ethernet Có Thể Định Nghĩa Lại Sự suy Luận Của Trí Tuệ Nhân Tạo Tại Quy Mô Lớn

Enfabrica, một công ty khởi nghiệp tại Thung lũng Silicon được hỗ trợ bởi Nvidia, đã ra mắt một sản phẩm đột phá có thể thay đổi đáng kể cách triển khai và mở rộng các công việc trí tuệ nhân tạo tại quy mô lớn. Hệ thống vải mạng bộ nhớ đàn hồi (EMFASYS) mới của công ty là sản phẩm vải mạng bộ nhớ dựa trên Ethernet đầu tiên được thương mại hóa, được thiết kế đặc biệt để giải quyết nút thắt cốt lõi của suy luận trí tuệ nhân tạo: truy cập bộ nhớ.

Tại thời điểm các mô hình trí tuệ nhân tạo trở nên phức tạp hơn, nhận thức ngữ cảnh và bền bỉ – đòi hỏi lượng bộ nhớ lớn cho mỗi phiên làm việc – EMFASYS mang lại một cách tiếp cận mới để tách bộ nhớ khỏi tính toán, cho phép các trung tâm dữ liệu trí tuệ nhân tạo cải thiện hiệu suất đáng kể, giảm chi phí và tăng cường sử dụng các tài nguyên đắt tiền nhất: GPU.

Điều Gì Là Vải Mạng Bộ Nhớ — Và Tại Sao Nó Quan Trọng?

Truyền thống, bộ nhớ trong các trung tâm dữ liệu đã được gắn chặt với máy chủ hoặc nút mà nó cư trú. Mỗi GPU hoặc CPU chỉ có quyền truy cập vào bộ nhớ băng thông cao trực tiếp gắn với nó – thường là HBM cho GPU hoặc DRAM cho CPU. Kiến trúc này hoạt động tốt khi công việc là nhỏ và có thể dự đoán. Nhưng trí tuệ nhân tạo đã thay đổi trò chơi. Các mô hình ngôn ngữ lớn (LLM) đòi hỏi quyền truy cập vào các cửa sổ ngữ cảnh lớn, lịch sử người dùng và bộ nhớ đa tác nhân – tất cả đều phải được xử lý nhanh chóng và không bị chậm trễ. Những nhu cầu bộ nhớ này thường vượt quá khả năng của bộ nhớ cục bộ, tạo ra các nút thắt khiến lõi GPU bị mắc kẹt và làm tăng chi phí cơ sở hạ tầng.

Một vải mạng bộ nhớ giải quyết vấn đề này bằng cách biến bộ nhớ thành một tài nguyên được chia sẻ, phân tán – một loại hồ bộ nhớ gắn với mạng có thể được truy cập bởi bất kỳ GPU hoặc CPU nào trong cụm. Hãy nghĩ về nó như tạo ra một “đám mây bộ nhớ” trong giá đỡ trung tâm dữ liệu. Thay vì sao chép bộ nhớ trên các máy chủ hoặc quá tải HBM đắt tiền, một vải mạng cho phép bộ nhớ được tập hợp, phân chia và truy cập theo nhu cầu trên mạng tốc độ cao. Điều này cho phép các công việc suy luận trí tuệ nhân tạo mở rộng quy mô hiệu quả hơn mà không bị hạn chế bởi giới hạn bộ nhớ vật lý của bất kỳ nút nào.

Phương Pháp Của Enfabrica: Ethernet và CXL, Cùng nhau Một Lần

EMFASYS đạt được kiến trúc bộ nhớ quy mô giá đỡ này bằng cách kết hợp hai công nghệ mạnh mẽ: RDMA trên Ethernet và Liên Kết Tính Toán CXL. Đầu tiên cho phép chuyển giao dữ liệu siêu thấp độ trễ, băng thông cao trên mạng Ethernet tiêu chuẩn. Thứ hai cho phép bộ nhớ được tách khỏi CPU và GPU và tập hợp thành tài nguyên được chia sẻ, có thể được truy cập qua liên kết CXL tốc độ cao.

Tại lõi của EMFASYS là chip ACF-S của Enfabrica, một “SuperNIC” 3,2 terabits mỗi giây (Tbps) kết hợp mạng và kiểm soát bộ nhớ vào một thiết bị duy nhất. Chip này cho phép máy chủ giao tiếp với các hồ bộ nhớ DDR5 DRAM khổng lồ – lên đến 18 terabyte mỗi nút – được phân phối trên toàn giá đỡ. Điều quan trọng là nó làm như vậy bằng cách sử dụng các cổng Ethernet tiêu chuẩn, cho phép các nhà điều hành tận dụng cơ sở hạ tầng trung tâm dữ liệu hiện có mà không cần đầu tư vào các kết nối độc quyền.

Điều khiến EMFASYS đặc biệt hấp dẫn là khả năng của nó trong việc động态 tải công việc bị ràng buộc bộ nhớ từ HBM đắt tiền gắn với GPU sang DRAM giá cả phải chăng hơn, đồng thời duy trì độ trễ truy cập ở mức micro giây. Bộ phần mềm đằng sau EMFASYS bao gồm các cơ chế lưu trữ thông minh và cân bằng tải giúp ẩn độ trễ và điều phối chuyển động bộ nhớ theo cách minh bạch đối với các mô hình LLM đang chạy trên hệ thống.

Ảnh Hưởng Đối Với Ngành Công Nghiệp Trí Tuệ Nhân Tạo

Điều này không chỉ là một giải pháp phần cứng thông minh – nó đại diện cho một sự thay đổi triết lý trong cách cơ sở hạ tầng trí tuệ nhân tạo được xây dựng và mở rộng quy mô. Khi trí tuệ nhân tạo tạo ra từ sự mới mẻ đến sự cần thiết, với hàng tỷ truy vấn người dùng được xử lý hàng ngày, chi phí để phục vụ các mô hình này đã trở nên không bền vững đối với nhiều công ty. GPU thường bị sử dụng không đầy đủ không phải vì thiếu tính toán, mà vì chúng đang chờ đợi bộ nhớ. EMFASYS giải quyết sự mất cân bằng trực tiếp này.

Bằng cách cho phép bộ nhớ được tập hợp, gắn với vải và có thể truy cập qua Ethernet, Enfabrica cung cấp cho các nhà điều hành trung tâm dữ liệu một giải pháp thay thế có thể mở rộng để liên tục mua thêm GPU hoặc HBM. Thay vào đó, họ có thể tăng công suất bộ nhớ một cách mô đun, sử dụng DRAM và mạng thông minh, giảm diện tích và cải thiện kinh tế của suy luận trí tuệ nhân tạo.

Ảnh hưởng vượt ra ngoài tiết kiệm chi phí ngay lập tức. Loại kiến trúc phân chia này mở đường cho các mô hình dịch vụ bộ nhớ, nơi ngữ cảnh, lịch sử và trạng thái tác nhân có thể tồn tại vượt ra ngoài một phiên hoặc máy chủ, mở ra cánh cửa cho các hệ thống trí tuệ nhân tạo thông minh và cá nhân hóa hơn. Nó cũng đặt ra sân khấu cho các đám mây trí tuệ nhân tạo mạnh mẽ hơn, nơi công việc có thể được phân phối đàn hồi trên toàn giá đỡ hoặc toàn bộ trung tâm dữ liệu mà không có giới hạn bộ nhớ cứng nhắc.

Nhìn Về Tương Lai

Enfabrica’s EMFASYS hiện đang được lấy mẫu với các khách hàng được chọn, và mặc dù công ty chưa tiết lộ những đối tác đó là ai, Reuters báo cáo rằng các nhà cung cấp đám mây trí tuệ nhân tạo lớn đã thử nghiệm hệ thống này. Điều này đặt Enfabrica không chỉ là nhà cung cấp linh kiện, mà còn là nhà kích hoạt chính trong thế hệ cơ sở hạ tầng trí tuệ nhân tạo tiếp theo.

Bằng cách tách bộ nhớ khỏi tính toán và làm cho nó có sẵn trên mạng Ethernet tốc độ cao, giá cả phải chăng, Enfabrica đang đặt nền móng cho một kỷ nguyên mới của kiến trúc trí tuệ nhân tạo – một nơi suy luận có thể mở rộng quy mô mà không cần phải thỏa hiệp, nơi tài nguyên không còn bị mắc kẹt và nơi kinh tế của việc triển khai các mô hình ngôn ngữ lớn cuối cùng bắt đầu có ý nghĩa.

Trong một thế giới ngày càng được định nghĩa bởi các hệ thống trí tuệ nhân tạo giàu ngữ cảnh, đa tác nhân, bộ nhớ không còn là một diễn viên phụ – nó là sân khấu. Và Enfabrica đang đặt cược rằng ai xây dựng sân khấu tốt nhất sẽ định nghĩa hiệu suất của trí tuệ nhân tạo trong nhiều năm tới.