Năm bước để biến bộ nhớ từ hạn chế lớn nhất của AI thành lợi thế cạnh tranh

Trong vài năm qua, cơ sở hạ tầng AI đã tập trung vào tính toán trên tất cả các chỉ số khác. Nhiều hơn các bộ tăng tốc, các cụm lớn hơn và FLOPS cao hơn đã thúc đẩy cuộc trò chuyện để tận dụng tối đa GPU. Cách tiếp cận này có ý nghĩa khi tiến bộ của mô hình phụ thuộc chủ yếu vào quy mô đào tạo. Giờ đây, với việc triển khai sản xuất AI đang trở thành ưu tiên, có một hạn chế mới cần tập trung vào: bộ nhớ.

Ngày nay, nhiều hạn chế khó khăn nhất đối với AI xuất hiện trong khả năng bộ nhớ, băng thông, độ trễ và chi phí thời gian và năng lượng để di chuyển dữ liệu qua hệ thống. Cửa sổ ngữ cảnh đang mở rộng, với các công ty như Anthropic hiện đang cung cấp cửa sổ mã triệu token trong gói tiêu chuẩn của họ. Inference đang tăng trưởng. Sự phát triển của các hệ thống đa tác nhân có nghĩa là các hệ thống AI đang truyền lượng dữ liệu lớn hơn từ giai đoạn này sang giai đoạn khác. Các nhà vận hành có thể tiếp tục cố gắng thêm nhiều GPU hơn, nhưng họ vẫn không đạt được hiệu suất họ mong đợi vì các hệ thống này bị thiếu RAM để cung cấp cho các bộ tăng tốc một cách hiệu quả khi mỗi máy chủ hoạt động độc lập, bị giới hạn bởi RAM trong hệ thống.

Sự thay đổi này ảnh hưởng đến cả thông lượng và chi phí cho các nhà cung cấp dịch vụ hyperscale và các nhà vận hành trung tâm dữ liệu. Khi bộ nhớ trở thành yếu tố hạn chế, các tổ chức thường phản ứng bằng cách cung cấp quá mức phần cứng đắt tiền, để lại khả năng GPU không được sử dụng và hấp thụ chi phí điện và cơ sở hạ tầng cao hơn. Giai đoạn tiếp theo của quy mô AI sẽ phụ thuộc ít hơn vào việc thêm tính toán thô và nhiều hơn vào việc xây dựng kiến trúc bộ nhớ phù hợp với cách AI sản xuất thực sự hoạt động.

Dưới đây là năm bước mà các nhà lãnh đạo cơ sở hạ tầng có thể thực hiện ngay bây giờ để chuẩn bị cho nhu cầu bộ nhớ ngày càng tăng.

1. Bắt đầu bằng cách đo lường nút thắt thực sự

Nhiều tổ chức vẫn đánh giá hiệu suất AI thông qua ống kính tính toán trước. Họ theo dõi việc sử dụng cụm, số lượng bộ tăng tốc và thông lượng hàng đầu, sau đó giả định rằng các cải tiến sẽ đến từ việc thêm nhiều bộ tăng tốc GPU hơn. Quan điểm đó thường bỏ lỡ vấn đề thực sự.

Áp lực bộ nhớ thường xuất hiện trong các bộ tăng tốc bị đình chỉ, độ trễ trên mỗi token cao hơn và thông lượng không nhất quán dưới tải. Một GPU có thể trông không được sử dụng nếu nó đang chờ dữ liệu đến từ một tầng bộ nhớ khác, một máy chủ khác hoặc một giai đoạn khác trong ứng dụng. Inference làm cho vấn đề đó trở nên rõ ràng hơn khi kích thước bộ nhớ đệm KV tăng và nhiều phiên đồng thời cạnh tranh cho băng thông.

Các nhà vận hành cần có cái nhìn sâu sắc hơn vào việc sử dụng bộ nhớ hiệu quả, xem xét các byte được di chuyển trên mỗi token, thời gian đình chỉ bộ tăng tốc và mẫu truy cập bộ nhớ trên CPU, GPU và các tầng bộ nhớ liền kề. Họ cũng cần theo dõi đường ống có thể tách biệt các độ trễ liên quan đến bộ nhớ khỏi các vấn đề về mạng hoặc lưu trữ. Nếu không có cái nhìn đó, các đội có nguy cơ chi tiêu nhiều hơn cho tính toán mà không giải quyết nguyên nhân thực sự của sự chậm trễ.

2. Giảm di chuyển dữ liệu trước khi thêm nhiều khả năng hơn

Trong các hệ thống AI lớn, việc di chuyển dữ liệu có thể tạo ra nhiều overhead như việc xử lý dữ liệu.

Điều này đặc biệt đúng trong trường hợp suy luận. Khi cửa sổ ngữ cảnh mở rộng, bộ nhớ đệm KV có thể trở thành một trong những người tiêu thụ bộ nhớ hệ thống lớn nhất trong ngăn xếp. Việc phục vụ đa租 và các công việc đa tác nhân có thể thêm nhiều hơn. Giai đoạn đầu tạo ra đầu ra, sau đó giai đoạn khác tiêu thụ nó và cơ sở hạ tầng xử lý việc bàn giao này bằng cách sao chép các khối dữ liệu lớn giữa các GPU, trên các máy chủ hoặc thông qua quá trình nối tiếp cấp khuôn khổ.

Những bản sao đó mang lại chi phí thực sự. Chúng tiêu thụ băng thông, thêm độ trễ và để lại các tài nguyên tính toán đắt tiền chờ đợi cho việc chuyển tiếp tiếp theo để hoàn thành. Chúng cũng đẩy các nhà vận hành mua nhiều bộ nhớ đắt tiền hơn mức mà thực sự cần thiết cho công việc.

Trước khi đầu tư vào nhiều bộ tăng tốc hơn, các đội nên xác định nơi trong hệ thống dữ liệu di chuyển nhiều hơn mức cần thiết. Việc truyền giữa các GPU, sao chép giữa các máy chủ và di chuyển lặp lại các trạng thái trung gian trên các đường ống tác nhân là những nơi tốt để bắt đầu. Trong nhiều môi trường, việc cắt giảm việc di chuyển không cần thiết mang lại hiệu suất có thể sử dụng nhiều hơn so với việc thêm một máy chủ khác.

3. Xây dựng các tầng bộ nhớ xung quanh hành vi công việc

Cơ sở hạ tầng AI hoạt động tốt hơn khi các nhà vận hành ngừng coi bộ nhớ như một nguồn duy nhất và bắt đầu coi nó như một hệ thống phân cấp với các vai trò riêng biệt.

Dữ liệu nóng nhất nên ở gần nhất với bộ tăng tốc. Điều đó bao gồm các tập hợp làm việc đòi hỏi độ trễ thấp nhất và băng thông cao nhất. Các bộ đệm hoạt động khác và các trạng thái được truy cập thường xuyên có thể nằm trong DRAM. Các cấu trúc lớn hơn cần quy mô hơn tốc độ tuyệt đối có thể di chuyển vào bộ nhớ nhóm. Dữ liệu lạnh hơn và các mô hình ít hoạt động hơn thuộc về thấp hơn trong ngăn xếp.

Cách tiếp cận này đòi hỏi các đội phải hiểu dữ liệu nào thay đổi liên tục, dữ liệu nào nhiều quá trình chia sẻ và dữ liệu nào có thể chấp nhận một sự đánh đổi độ trễ vừa phải mà không ảnh hưởng đến chất lượng dịch vụ. Quá nhiều triển khai vẫn mặc định đẩy mọi thứ vào tầng HBM nhanh nhất vì nó cảm thấy an toàn hơn. Cách tiếp cận đó làm tăng chi phí và thường để lại hiệu quả trên bàn.

Một chiến lược bộ nhớ phân cấp mang lại cho các nhà vận hành nhiều quyền kiểm soát hơn cả về hiệu suất và kinh tế. Trong AI sản xuất, sự cân bằng đó đang trở thành một yêu cầu thiết kế cốt lõi.

4. Xử lý bộ nhớ chia sẻ như một phần của kiến trúc cho AI tác nhân

AI đa tác nhân đang làm tăng chi phí của thiết kế bộ nhớ phân mảnh.

Trong nhiều hệ thống tác nhân, một tác nhân tạo ra đầu ra mà một tác nhân khác sử dụng ngay lập tức. Một dịch vụ thứ ba có thể xếp hạng đầu ra đó, thêm ngữ cảnh hoặc định tuyến nó vào một mô hình khác. Nếu mỗi bước tạo ra một bản sao mới của cùng một trạng thái, lưu lượng truy cập sẽ tăng nhanh. Khi ngữ cảnh tăng trưởng, kích thước của dữ liệu sao chép đó cũng tăng trưởng với nó. Hệ thống dành nhiều thời gian hơn để di chuyển thông tin hơn là xử lý dữ liệu.

Đây là nơi bộ nhớ chia sẻ trở nên ngày càng quan trọng, đặc biệt là đối với bộ nhớ đệm KV chia sẻ và các trạng thái khác mà nhiều tác nhân hoặc dịch vụ cần truy cập. Bộ nhớ chia sẻ có thể giảm các bản sao trùng lặp, giảm lưu lượng truy cập mạng và cải thiện việc sử dụng trên toàn bộ đường dẫn ứng dụng. Nó cũng có thể giúp các hệ thống tác nhân mở rộng quy mô hiệu quả khi các nút hoặc tác nhân khác nhau có thể tái sử dụng bộ nhớ đệm KV với bộ nhớ chia sẻ.

Đối với các nhà cung cấp dịch vụ hyperscale, đây không còn là một trường hợp ngoại lệ. Khi AI tác nhân trưởng thành, bộ nhớ chia sẻ đang trở thành một yêu cầu thực tế cho việc triển khai hiệu quả.

5. Chấp nhận CXL cho cơ sở hạ tầng sản xuất

Trong vài năm qua, ngành công nghiệp đã xem CXL như một tiêu chuẩn hứa hẹn cần thêm thời gian để trưởng thành, khi CXL nhanh chóng chuyển từ phiên bản 1 sang 2. Giờ đây, với phần cứng 3.x sắp có sẵn, CXL đã đạt đến điểm trở nên hoàn chỉnh về tính năng, tương thích ngược và sẵn sàng xử lý các tải sản xuất.

CXL đã đạt đến mức độ trưởng thành mà các nhà cung cấp dịch vụ hyperscale và các nhà vận hành trung tâm dữ liệu nên coi nó như một lựa chọn thực tế cho việc mở rộng bộ nhớ sản xuất, nhóm bộ nhớ và kiến trúc bộ nhớ chia sẻ. Nó bây giờ thuộc về việc lập kế hoạch cơ sở hạ tầng nghiêm túc, đặc biệt là cho các môi trường cần mở rộng bộ nhớ linh hoạt hơn và kinh tế tốt hơn xung quanh suy luận.

Điều đó không có nghĩa là mọi công việc nên chuyển sang bộ nhớ dựa trên CXL. Bộ nhớ cục bộ sẽ vẫn là thiết yếu cho dữ liệu nóng nhất và nhạy cảm nhất về độ trễ. Nhưng các nhà vận hành không cần phải chờ đợi một phiên bản tương lai của tiêu chuẩn trước khi họ hành động. Câu hỏi hữu ích hơn là nơi CXL có thể giải quyết các vấn đề sản xuất thực sự ngày nay.

Các cơ hội rõ ràng nhất là trong việc mở rộng bộ nhớ, nhóm bộ nhớ và thiết kế bộ nhớ chia sẻ giảm các bản sao không cần thiết trên các công việc AI. Những trường hợp sử dụng đó phù hợp trực tiếp với các điểm áp lực hiện tại: nhu cầu bộ nhớ đệm KV tăng, sự tăng trưởng của việc truyền dữ liệu giữa các tác nhân và nhu cầu cải thiện việc sử dụng GPU mà không đẩy chi phí sở hữu tổng thể lên cao hơn.

Các nhà vận hành vẫn cần phải thiết kế cẩn thận. Độ trễ, dự đoán và hỗ trợ phần mềm vẫn quan trọng. Các chính sách quản lý bộ nhớ cần đặt dữ liệu vào đúng tầng tại đúng thời điểm. Nhưng những là câu hỏi về triển khai, không phải lý do để trì hoãn việc lập kế hoạch.

Tại XCENA, chúng tôi xem bộ nhớ, di chuyển dữ liệu và sử dụng như các hạn chế trung tâm trong cơ sở hạ tầng AI sản xuất. Đó là lý do tại sao chúng tôi tập trung vào bộ nhớ tính toán dựa trên CXL và kiến trúc giảm sao chép không cần thiết, hỗ trợ truy cập chia sẻ và giúp các nhà vận hành sử dụng tốt hơn các tài nguyên tính toán đắt tiền.

Ngành công nghiệp đã dành nhiều năm để coi bộ nhớ như một tài nguyên hỗ trợ đằng sau động cơ thực sự của tiến bộ AI. Quan điểm đó không còn phù hợp với thực tế triển khai sản xuất. Bộ nhớ bây giờ định hình việc sử dụng, hiệu quả và chi phí tại mọi cấp độ của ngăn xếp. Các nhà vận hành nhận ra sự thay đổi đó sớm sẽ có một lợi thế được đo lường không chỉ về hiệu suất, mà còn về cách họ mở rộng quy mô AI trong thế giới thực.