AI の推論、 chứ không phải đào tạo、 là Thử thách Kỹ thuật Lớn Tiếp theo

Trong thập kỷ qua, sự chú ý trong lĩnh vực trí tuệ nhân tạo đã bị chiếm lĩnh bởi quá trình đào tạo. Những đột phá lớn đã đến từ các cụm máy tính khổng lồ, mô hình có tham số trillion, và hàng tỷ đô la được đầu tư vào việc dạy cho các hệ thống “nghĩ.” Chúng ta đã coi việc phát triển AI chủ yếu là một dự án xây dựng: xây dựng tòa nhà chọc trời của trí thông minh. Nhưng bây giờ rằng tòa nhà chọc trời này đã được xây dựng, thử thách thực sự là tìm ra cách để phục vụ hàng triệu người cần sống và hoạt động trong đó đồng thời. Điều này chuyển sự chú ý của các nhà nghiên cứu và kỹ sư AI từ đào tạo (quá trình tạo ra trí thông minh) sang đưa ra kết luận (quá trình sử dụng nó). Trong khi đào tạo là một khoản chi tiêu vốn lớn một lần (CapEx), đưa ra kết luận là một khoản chi tiêu hoạt động liên tục (OpEx) mà tiếp tục vô thời hạn. Khi các doanh nghiệp triển khai các đại lý phục vụ hàng triệu người dùng suốt cả ngày, họ đang phát hiện ra một thực tế khắc nghiệt: đưa ra kết luận không chỉ là “đào tạo ngược.” Nó là một thử thách kỹ thuật cơ bản khác và có thể khó hơn.

Tại sao Chi phí Đưa ra Kết luận Quan trọng Hơn Cả

Để hiểu thử thách kỹ thuật, trước tiên chúng ta phải hiểu imperatif kinh tế cơ bản. Trong giai đoạn đào tạo, hiệu suất không tối ưu là có thể chấp nhận được. Nếu một quá trình đào tạo mất bốn tuần thay vì ba tuần, nó là một sự khó chịu. Tuy nhiên, trong quá trình đưa ra kết luận, hiệu suất không tối ưu có thể là thảm họa cho kinh doanh. Ví dụ, đào tạo một mô hình tiên phong có thể tốn 100 triệu đô la. Nhưng triển khai mô hình đó để trả lời 10 triệu truy vấn mỗi ngày có thể vượt quá chi phí đó trong vài tháng nếu không được tối ưu hóa. Đây là lý do tại sao chúng ta đang chứng kiến sự thay đổi của thị trường, với đầu tư vào đưa ra kết luận dự kiến sẽ vượt quá đầu tư vào đào tạo.

Đối với các kỹ sư, điều này thay đổi mục tiêu. Chúng ta không còn tối ưu hóa cho thông lượng (làm thế nào nhanh chóng tôi có thể xử lý tập dữ liệu khổng lồ này?). Chúng ta đang tối ưu hóa cho độ trễ (làm thế nào nhanh chóng tôi có thể trả về một token?) và đồng thời (làm thế nào nhiều người dùng tôi có thể phục vụ trên một GPU?). Cách tiếp cận “brute force” mà đã thống trị giai đoạn đào tạo bằng cách thêm nhiều máy tính hơn không hoạt động ở đây. Bạn không thể ném thêm H100 vào một vấn đề độ trễ nếu nút thắt là băng thông bộ nhớ.

Tường Bộ nhớ: Nút thắt Thực sự

Sự thật ít được biết về việc đưa ra kết luận của Mô hình Ngôn ngữ Lớn (LLM) là nó hiếm khi bị giới hạn bởi khả năng tính toán; nó bị giới hạn bởi bộ nhớ. Trong quá trình đào tạo, chúng ta xử lý dữ liệu trong các lô lớn, giữ cho các đơn vị tính toán của GPU được sử dụng đầy đủ. Trong quá trình đưa ra kết luận, đặc biệt là đối với các ứng dụng thời gian thực như chatbot hoặc đại lý, các yêu cầu đến tuần tự. Mỗi token được tạo ra yêu cầu mô hình tải các tham số tỷ tỷ của nó từ bộ nhớ băng thông cao (HBM) vào các lõi tính toán. Đây là “Tường Bộ nhớ.” Nó giống như có một động cơ Ferrari (lõi GPU) bị kẹt trong giao thông (băng thông bộ nhớ hạn chế).

Thử thách này đang thúc đẩy các đội kỹ sư phải suy nghĩ lại kiến trúc hệ thống xuống đến mức silicon. Đây là lý do tại sao chúng ta đang chứng kiến sự xuất hiện của Đơn vị Xử lý Linear (LPUs) như những của Groq, và các Đơn vị Xử lý Neural (NPUs) chuyên dụng. Các chip này được thiết kế để vượt qua nút thắt HBM bằng cách sử dụng大量 bộ nhớ SRAM trên chip, xử lý truy cập bộ nhớ như một luồng dữ liệu liên tục chứ không phải là một hoạt động lấy đơn giản. Đối với kỹ sư phần mềm, điều này báo hiệu sự kết thúc của thời đại “mặc định là CUDA”. Chúng ta phải viết mã hiểu rõ về phần cứng, hiểu chính xác cách dữ liệu di chuyển qua dây.

Phương diện Mới của Hiệu suất AI

Bởi vì chúng ta không thể luôn thay đổi phần cứng, phương diện mới của kỹ thuật nằm ở tối ưu hóa phần mềm. Đây là nơi một số đột phá sáng tạo nhất đang xảy ra. Chúng ta đang chứng kiến một sự phục hưng của các kỹ thuật đang định nghĩa lại cách máy tính thực hiện và thực thi mạng nơ-ron.

• Batching Liên tục: Batching truyền thống chờ cho đến khi “xe buýt” đầy trước khi khởi hành, điều này giới thiệu độ trễ. Batching liên tục (được tiên phong bởi các khuôn khổ như vLLM) hoạt động như một hệ thống tàu điện ngầm, cho phép các yêu cầu mới tham gia hoặc rời khỏi quá trình xử lý GPU tại mỗi lần lặp. Nó tối đa hóa thông lượng mà không hy sinh độ trễ, giải quyết một vấn đề lập lịch phức tạp đòi hỏi chuyên môn sâu về hệ điều hành.

• Speculative Decoding: Kỹ thuật này sử dụng một mô hình nhỏ, nhanh và rẻ tiền để soạn thảo một phản hồi, trong khi một mô hình lớn, chậm và mạnh mẽ hơn xác minh nó song song. Nó dựa trên thực tế là việc xác minh văn bản ít tốn kém về mặt tính toán hơn so với việc tạo ra nó.
• Quản lý Bộ nhớ KV: Trong các cuộc trò chuyện dài, “lịch sử” (bộ nhớ đệm Key-Value) tăng trưởng nhanh, tiêu thụ một lượng lớn bộ nhớ GPU. Các kỹ sư hiện đang triển khai “PagedAttention“, một kỹ thuật lấy cảm hứng từ việc phân trang bộ nhớ ảo trong hệ điều hành. Kỹ thuật này chia bộ nhớ thành các mảnh và quản lý nó không liên tục.

Sự Phức tạp của Đại lý

Nếu việc đưa ra kết luận tiêu chuẩn là khó, thì Đại lý AI khiến nó trở nên khó khăn hơn gấp bội. Một chatbot tiêu chuẩn là không có trạng thái: Người dùng hỏi, AI trả lời, quá trình kết thúc. Một Đại lý AI, tuy nhiên, có một vòng lặp. Nó lên kế hoạch, thực hiện công cụ, quan sát kết quả và lặp lại. Từ góc độ kỹ thuật, đây là một cơn ác mộng. Sự thay đổi kiến trúc này giới thiệu một số thử thách cơ bản:

1. Quản lý Trạng thái: Động cơ đưa ra kết luận phải duy trì “trạng thái” của quá trình suy nghĩ của đại lý qua nhiều bước, thường kéo dài vài phút.
2. Vòng lặp Vô hạn: Không giống như một lượt truyền thuận dự đoán, một đại lý có thể bị kẹt trong một vòng lặp suy luận. Việc xây dựng các “chú chó” và “ngắt mạch” mạnh mẽ cho mã xác suất là một lĩnh vực hoàn toàn mới.
3. Tính toán Biến đổi: Một truy vấn người dùng có thể kích hoạt một cuộc gọi đưa ra kết luận, trong khi một truy vấn khác có thể kích hoạt năm mươi. Quản lý tải và tự động hóa cơ sở hạ tầng khi mỗi yêu cầu mang theo sự biến đổi cực đoan đòi hỏi một lớp logic điều phối hoàn toàn mới.

Chúng ta cơ bản đang chuyển từ “phục vụ mô hình” sang “điều phối kiến trúc nhận thức.”

Đưa AI đến Thiết bị Hàng ngày

Cuối cùng, giới hạn của năng lượng và độ trễ mạng sẽ buộc đưa ra kết luận đến biên. Chúng ta không thể mong đợi mỗi đèn thông minh, xe tự hành hoặc rô-bốt nhà máy sẽ định tuyến yêu cầu của nó qua một trung tâm dữ liệu. Thử thách kỹ thuật ở đây là nén. Làm thế nào bạn có thể đặt một mô hình đã học từ toàn bộ internet vào một con chip nhỏ hơn một móng tay, chạy trên pin?

Các kỹ thuật như quantization (giảm độ chính xác từ 16-bit xuống 4-bit hoặc thậm chí 1-bit) và model distillation (dạy một mô hình học sinh nhỏ để bắt chước một mô hình giáo viên lớn) đang trở thành thực hành tiêu chuẩn. Nhưng thử thách thực sự là triển khai các mô hình này đến một hệ sinh thái phân mảnh của hàng tỷ thiết bị như Android, iOS, Linux nhúng, cảm biến tùy chỉnh, mỗi thiết bị có hạn chế phần cứng riêng. Đó là “cơn ác mộng phân mảnh” của phát triển di động, nhân với sự phức tạp của mạng nơ-ron.

Kết luận

Chúng ta đang bước vào kỷ nguyên “Ngày 2” của Trí tuệ Nhân tạo Tạo sinh. Ngày 1 là về việc chứng minh rằng AI có thể viết thơ. Ngày 2 là về kỹ thuật, làm cho khả năng đó trở nên đáng tin cậy, hợp lý và phổ biến hơn. Những kỹ sư sẽ định nghĩa thập kỷ tới không nhất thiết là những người phát minh ra các kiến trúc mô hình mới. Họ là những kỹ sư hệ thống, những hacker nhân, và những kiến trúc sư cơ sở hạ tầng có thể tìm ra cách để phục vụ một tỷ token mỗi giây mà không làm tan chảy lưới điện hoặc phá sản công ty. Đưa ra kết luận của AI không còn chỉ là một chi tiết thời gian chạy. Nó là sản phẩm. Và tối ưu hóa nó là thử thách kỹ thuật lớn tiếp theo.

the systems engineers, the kernel hackers, and the infrastructure architects who can figure out how to serve a billion tokens a second without melting the power grid or bankrupting the company. AI inference is no longer just a runtime detail. It is the product. And optimizing it is the next great engineering challenge.