Trí tuệ nhân tạo
Tại Sao Ảo Hóa Trí Tuệ, Không Phải Huấn Luyện, Là Thử Thách Kỹ Thuật Lớn Tiếp Theo
Trong thập kỷ qua, sự chú ý trong lĩnh vực trí tuệ nhân tạo đã bị chi phối bởi quá trình huấn luyện. Những đột phá lớn đã đến từ các cụm máy tính khổng lồ, mô hình có hàng nghìn tỷ tham số và hàng tỷ đô la được đầu tư vào việc dạy cho các hệ thống “nghĩ”. Chúng ta đã coi việc phát triển trí tuệ nhân tạo chủ yếu như một dự án xây dựng: xây dựng tòa nhà chọc trời của trí thông minh. Nhưng bây giờ rằng tòa nhà này đã được xây dựng, thách thức thực sự là tìm cách giúp hàng triệu người có thể sống và hoạt động đồng thời trong đó. Điều này chuyển sự chú ý của các nhà nghiên cứu và kỹ sư trí tuệ nhân tạo từ huấn luyện (quá trình tạo ra trí thông minh) sang ảo hóa (quá trình sử dụng trí thông minh). Trong khi huấn luyện là một khoản chi tiêu vốn lớn một lần (CapEx), ảo hóa là một khoản chi tiêu hoạt động liên tục (OpEx) kéo dài vô thời hạn. Khi các doanh nghiệp triển khai các tác nhân phục vụ hàng triệu người dùng suốt cả ngày, họ đang phát hiện ra một thực tế khắc nghiệt: ảo hóa không chỉ là “huấn luyện ngược”. Nó là một thách thức kỹ thuật cơ bản khác và có thể khó hơn.
Tại Sao Chi Phí Ảo Hóa Quan Trọng Hơn Cả
Để hiểu thách thức kỹ thuật, trước tiên chúng ta phải hiểu imperatif kinh tế cơ bản. Trong giai đoạn huấn luyện, hiệu suất không tối ưu có thể chấp nhận được. Nếu một quá trình huấn luyện mất bốn tuần thay vì ba tuần, đó là một sự phiền toái. Tuy nhiên, trong ảo hóa, hiệu suất không tối ưu có thể là thảm họa cho doanh nghiệp. Ví dụ, huấn luyện một mô hình tiên phong có thể tốn 100 triệu đô la. Nhưng triển khai mô hình đó để trả lời 10 triệu truy vấn mỗi ngày có thể vượt quá chi phí đó trong vài tháng nếu không được tối ưu hóa. Đây là lý do tại sao chúng ta đang chứng kiến sự thay đổi thị trường, với đầu tư vào ảo hóa dự kiến sẽ vượt qua đầu tư vào huấn luyện.
Đối với các kỹ sư, điều này thay đổi mục tiêu. Chúng ta không còn tối ưu hóa cho thông lượng (làm thế nào tôi có thể xử lý nhanh chóng tập dữ liệu khổng lồ này?). Chúng ta tối ưu hóa cho độ trễ (làm thế nào tôi có thể trả về một token đơn nhanh chóng?) và đồng thời (làm thế nào tôi có thể phục vụ nhiều người dùng trên một GPU?). Cách tiếp cận “brute force” đã thống trị giai đoạn huấn luyện bằng cách thêm nhiều máy tính hơn không hoạt động ở đây. Bạn không thể ném thêm nhiều H100 vào một vấn đề độ trễ nếu nút thắt là băng thông bộ nhớ.
Tường Bộ Nhớ: Nút Thắt Thực Sự
Sự thật ít được biết đến về ảo hóa Mô hình Ngôn ngữ Lớn (LLM) là nó hiếm khi bị giới hạn bởi khả năng tính toán; nó bị giới hạn bởi bộ nhớ. Trong quá trình huấn luyện, chúng ta xử lý dữ liệu trong các lô lớn, giữ cho các đơn vị tính toán của GPU được sử dụng đầy đủ. Trong ảo hóa, đặc biệt là đối với các ứng dụng thời gian thực như rô-bốt trò chuyện hoặc tác nhân, các yêu cầu đến tuần tự. Mỗi token được tạo ra đòi hỏi mô hình phải tải hàng tỷ tham số của nó từ bộ nhớ băng thông cao (HBM) vào các lõi tính toán. Đây là “Tường Bộ Nhớ“. Nó giống như có một động cơ Ferrari (lõi GPU) bị kẹt trong giao thông (băng thông bộ nhớ hạn chế).
Thách thức này đang thúc đẩy các đội kỹ sư phải suy nghĩ lại kiến trúc hệ thống xuống đến mức silicon. Đây là lý do tại sao chúng ta đang chứng kiến sự xuất hiện của Đơn Vị Xử Lý Tuyến Tính (LPUs) như những của Groq, và các Đơn Vị Xử Lý Neural (NPUs) chuyên dụng. Những con chip này được thiết kế để vượt qua nút thắt HBM bằng cách sử dụng lượng bộ nhớ SRAM trên chip lớn, xử lý truy cập bộ nhớ như một luồng dữ liệu liên tục chứ không phải là một hoạt động lấy đơn giản. Đối với kỹ sư phần mềm, điều này báo hiệu sự kết thúc của thời đại “mặc định là CUDA”. Chúng ta phải viết mã biết về phần cứng, hiểu rõ cách dữ liệu di chuyển qua dây.
Phương Tiện Mới Của Hiệu Suất Trí Tuệ Nhân Tạo
Bởi vì chúng ta không thể luôn thay đổi phần cứng, tiền tuyến kỹ thuật sắp tới nằm ở tối ưu hóa phần mềm. Đây là nơi một số đột phá sáng tạo nhất đang xảy ra. Chúng ta đang chứng kiến một sự phục hưng của các kỹ thuật đang tái định nghĩa cách máy tính thực hiện và thực thi mạng nơ-ron.
- Batching Liên Tục: Batching truyền thống chờ cho đến khi “xe buýt” đầy trước khi khởi hành, điều này giới thiệu độ trễ. Batching liên tục (được tiên phong bởi các khung như vLLM) hoạt động như một hệ thống tàu điện ngầm, cho phép các yêu cầu mới tham gia hoặc rời khỏi quá trình xử lý GPU tại mỗi lần lặp lại. Nó tối đa hóa thông lượng mà không hy sinh độ trễ, giải quyết một vấn đề lập lịch phức tạp đòi hỏi chuyên môn sâu về hệ điều hành.
- Speculative Decoding: Kỹ thuật này sử dụng một mô hình nhỏ, nhanh và rẻ tiền để phác thảo một phản hồi, trong khi một mô hình lớn hơn, chậm hơn và mạnh mẽ hơn xác minh nó song song. Nó dựa trên thực tế là việc xác minh văn bản ít tốn kém về tính toán hơn so với việc tạo ra nó.
- Quản Lý Bộ Nhớ KV: Trong các cuộc trò chuyện dài, “lịch sử” (bộ nhớ cache Key-Value) tăng trưởng nhanh chóng, tiêu thụ một lượng lớn bộ nhớ GPU. Các kỹ sư hiện đang thực hiện “PagedAttention“, một kỹ thuật lấy cảm hứng từ phân trang bộ nhớ ảo trong hệ điều hành. Kỹ thuật này chia bộ nhớ thành các mảnh và quản lý nó không liên tục.
Sự Phức Tạp Của Tác Nhân
Nếu ảo hóa tiêu chuẩn là khó, thì Trí Tuệ Nhân Tạo Tác Nhân làm cho nó trở nên khó hơn gấp nhiều lần. Một rô-bốt trò chuyện tiêu chuẩn là không trạng thái: Người dùng hỏi, AI trả lời, quá trình kết thúc. Một Tác Nhân AI, tuy nhiên, có một vòng lặp. Nó lập kế hoạch, thực thi công cụ, quan sát kết quả và lặp lại. Từ góc độ kỹ thuật, điều này là một cơn ác mộng. Sự thay đổi kiến trúc này giới thiệu một số thách thức cơ bản:
- Quản Lý Trạng Thái: Động cơ ảo hóa phải duy trì “trạng thái” của quá trình suy nghĩ của tác nhân trong nhiều bước, thường kéo dài vài phút.
- Vòng Lặp Vô Hạn: Không giống như một lượt đi trước có thể dự đoán được, một tác nhân có thể bị kẹt trong một vòng lặp suy luận. Việc xây dựng các “chú chó” và “circuit breakers” mạnh mẽ cho mã xác suất là một lĩnh vực hoàn toàn mới.
- Tính Toán Biến: Một truy vấn người dùng có thể kích hoạt một cuộc gọi ảo hóa đơn, trong khi một truy vấn khác có thể kích hoạt năm mươi. Quản lý tải và cơ sở hạ tầng tự động hóa khi mỗi yêu cầu mang theo sự biến thiên cực đoan như vậy đòi hỏi một lớp logic điều phối hoàn toàn mới.
Chúng ta cơ bản đang chuyển từ “phục vụ mô hình” sang “điều phối kiến trúc nhận thức”.
Đưa Trí Tuệ Nhân Tạo Đến Thiết Bị Hàng Ngày
Cuối cùng, giới hạn của năng lượng và độ trễ mạng sẽ buộc ảo hóa phải đi đến cạnh. Chúng ta không thể mong đợi mỗi đèn thông minh, xe tự hành hoặc rô-bốt nhà máy sẽ định tuyến yêu cầu của nó qua một trung tâm dữ liệu. Thách thức kỹ thuật ở đây là nén. Làm thế nào bạn có thể đặt một mô hình đã học từ toàn bộ internet vào một con chip nhỏ hơn một móng tay, chạy trên pin?
Các kỹ thuật như quantization (giảm độ chính xác từ 16-bit xuống 4-bit hoặc thậm chí 1-bit) và model distillation (dạy một mô hình học sinh nhỏ để模仿 một mô hình giáo viên lớn) đang trở thành thực hành tiêu chuẩn. Nhưng thách thức thực sự là triển khai các mô hình này đến một hệ sinh thái phân mảnh của hàng tỷ thiết bị như Android, iOS, Linux nhúng, cảm biến tùy chỉnh, mỗi thiết bị có các hạn chế phần cứng riêng. Đó là “cơn ác mộng phân mảnh” của phát triển di động, nhân lên bởi sự phức tạp của mạng nơ-ron.
Kết Luận
Chúng ta đang bước vào kỷ nguyên “Ngày 2” của Trí Tuệ Nhân Tạo Tạo Sinh. Ngày 1 là về việc chứng minh rằng AI có thể viết thơ. Ngày 2 là về kỹ thuật, làm cho khả năng đó trở nên đáng tin cậy, hợp lý và phổ biến hơn. Những kỹ sư sẽ định nghĩa thập kỷ tới không nhất thiết là những người phát minh ra các kiến trúc mô hình mới. Họ là những kỹ sư hệ thống, những hacker nhân, và những kiến trúc sư cơ sở hạ tầng có thể tìm ra cách phục vụ một tỷ token mỗi giây mà không làm tan chảy lưới điện hoặc phá sản công ty. Ảo hóa trí tuệ nhân tạo không còn chỉ là một chi tiết thời gian chạy. Nó là sản phẩm. Và tối ưu hóa nó là thử thách kỹ thuật lớn tiếp theo.
