Công nghệ Infineon và d-Matrix Hợp tác về Cơ sở Hạ tầng Trí tuệ Nhân tạo Thấp độ Trễ

Công nghệ Infineon đã thông báo về việc hợp tác với d-Matrix để cải thiện hiệu suất và hiệu quả năng lượng của các hệ thống suy luận trí tuệ nhân tạo được sử dụng trong các trung tâm dữ liệu hiện đại. Sự hợp tác này tập trung vào nền tảng Corsair AI của d-Matrix và các mô-đun nguồn điện OptiMOS dual-phase của Infineon, được thiết kế để hỗ trợ môi trường tính toán mật độ cao cho các tác vụ trí tuệ nhân tạo tương tác.

Thông báo này nhấn mạnh sự thay đổi lớn trong ngành công nghiệp phần cứng trí tuệ nhân tạo. Trong những năm gần đây, sự bùng nổ cơ sở hạ tầng chủ yếu tập trung vào việc đào tạo các mô hình trí tuệ nhân tạo ngày càng lớn, nhưng hiện nay ngành công nghiệp đang nhanh chóng mở rộng sang suy luận – quá trình thực sự chạy các mô hình trong các ứng dụng thực tế như trò chuyện, hệ thống trí tuệ nhân tạo tương tác, đồng pilot, tìm kiếm, phân tích tài chính và hỗ trợ quyết định chăm sóc sức khỏe. Các tác vụ này đặt ra những yêu cầu khác nhau đối với phần cứng, đặc biệt là về độ trễ, khả năng phản hồi và tiêu thụ năng lượng.

Tại sao Suy luận Trí tuệ Nhân tạo Đang Trở thành Một Chiến trường Phần cứng Lớn

Suy luận trí tuệ nhân tạo đã xuất hiện như một trong những phân khúc phát triển nhanh nhất của thị trường cơ sở hạ tầng trí tuệ nhân tạo vì các hệ thống trí tuệ nhân tạo tương tác yêu cầu phản hồi trong vài mili giây chứ không phải vài giây. d-Matrix đã định vị Corsair đặc biệt cho các tác vụ này, nhấn mạnh độ trễ cực thấp và suy luận hiệu quả năng lượng cho các mô hình ngôn ngữ lớn và các tác nhân trí tuệ nhân tạo.

Theo d-Matrix, Corsair được thiết kế xung quanh kiến trúc tính toán trong bộ nhớ kỹ thuật số nhằm giảm thiểu các nút thắt bộ nhớ thường làm chậm suy luận trí tuệ nhân tạo. Công ty cho biết nền tảng này có thể giảm đáng kể độ trễ và cải thiện thông lượng so với các hệ thống suy luận truyền thống dựa trên GPU, đặc biệt là đối với các ứng dụng tương tác.

Sự hợp tác với Infineon giải quyết một thách thức quan trọng khác: phân phối năng lượng.

Khi các máy chủ trí tuệ nhân tạo tiếp tục tăng mật độ, việc phân phối năng lượng hiệu quả cho các bộ tăng tốc đã trở thành một yếu tố hạn chế đối với việc mở rộng cơ sở hạ tầng. Các mô-đun OptiMOS TDM2254xx của Infineon được thiết kế cho các kiến trúc phân phối năng lượng theo chiều dọc giúp giảm thiểu các tổn thất điện và cải thiện mật độ năng lượng trong các hệ thống máy chủ compact.

Sự Chuyển đổi Sang Hệ thống Trí tuệ Nhân tạo Thời gian Thực

Các công ty đã định hình sự hợp tác này xung quanh sự xuất hiện của “trí tuệ nhân tạo tương tác”, nơi các hệ thống suy luận phải liên tục tạo ra đầu ra với độ trễ cực thấp. Điều này bao gồm trí tuệ nhân tạo đối thoại, các tác nhân trí tuệ nhân tạo, hệ thống lý luận thời gian thực và các ứng dụng yêu cầu tạo token nhanh từ các mô hình ngôn ngữ lớn.

Giám đốc điều hành và người sáng lập d-Matrix, Sid Sheth, cho biết kiến trúc đằng sau Corsair được xây dựng đặc biệt cho độ trễ token dưới 2 mili giây, một chỉ số đã trở nên quan trọng hơn khi các doanh nghiệp chuyển các hệ thống trí tuệ nhân tạo từ thí nghiệm sang môi trường đối mặt với khách hàng.

Ngành công nghiệp trí tuệ nhân tạo rộng lớn hơn cũng bắt đầu nhận ra rằng cơ sở hạ tầng suy luận có thể phát triển khác biệt so với cơ sở hạ tầng đào tạo. Trong khi các cụm GPU thống trị giai đoạn đầu của sự mở rộng trí tuệ nhân tạo, suy luận ngày càng được hưởng lợi từ các kiến trúc được tối ưu hóa xung quanh băng thông bộ nhớ, độ trễ, mạng và hiệu quả năng lượng chứ không chỉ là khả năng tính toán thô.

Hiệu suất Năng lượng Đang Trở thành Trung tâm của Việc Mở rộng Trí tuệ Nhân tạo

Một trong những hạn chế lớn nhất đối với các nhà cung cấp dịch vụ điện toán đám mây và trí tuệ nhân tạo là nhu cầu điện. Các tác vụ suy luận trí tuệ nhân tạo có thể chạy liên tục trên hàng triệu yêu cầu mỗi ngày, khiến hiệu quả hoạt động trở nên quan trọng đối với chi phí triển khai.

Infineon đã mở rộng mạnh mẽ vị trí của mình trong cơ sở hạ tầng trí tuệ nhân tạo thông qua các công nghệ bán dẫn dựa trên silicon, silicon carbide (SiC) và gallium nitride (GaN). Công ty đã tập trung ngày càng nhiều vào việc cung cấp lớp phân phối năng lượng dưới các bộ tăng tốc trí tuệ nhân tạo và cơ sở hạ tầng máy chủ.

Sự hợp tác với d-Matrix phản ánh cách các công ty bán dẫn đang trở nên gắn kết chặt chẽ hơn với các công ty khởi nghiệp về tăng tốc trí tuệ nhân tạo khi ngành công nghiệp tìm kiếm các giải pháp thay thế cho các kiến trúc truyền thống dựa trên GPU.

Cơ sở Hạ tầng Trí tuệ Nhân tạo Đang Mở rộng Ra ngoài GPU Truyền thống

Sự hợp tác này cũng đến trong một làn sóng thử nghiệm rộng lớn hơn trong lĩnh vực phần cứng trí tuệ nhân tạo. Một số lượng ngày càng tăng các công ty khởi nghiệp đang phát triển các bộ tăng tốc chuyên dụng tập trung đặc biệt vào suy luận, tính toán dựa trên bộ nhớ hoặc mạng lưới trí tuệ nhân tạo.

d-Matrix đã khác biệt hóa mình thông qua sự nhấn mạnh vào các công nghệ tính toán trong bộ nhớ và các hệ thống suy luận độ trễ thấp được thiết kế cho trí tuệ nhân tạo sinh. Công ty cũng đã mở rộng chiến lược cơ sở hạ tầng của mình vượt ra ngoài các chip tăng tốc alone, gần đây nhấn mạnh vào mạng, cơ sở hạ tầng có thể cấu hình và tối ưu hóa hệ thống đầy đủ cho các cụm suy luận.

Khi các ứng dụng trí tuệ nhân tạo trở nên tương tác và tự động hóa hơn, các nhà cung cấp cơ sở hạ tầng được kỳ vọng sẽ đặt nhiều ưu tiên hơn vào việc giảm độ trễ, giảm tiêu thụ năng lượng và cải thiện hiệu quả hệ thống trên toàn bộ ngăn xếp trung tâm dữ liệu thay vì chỉ tập trung vào sức mạnh xử lý thô.