Tường GPU Đã Bị Vỡ: Cuộc Cách Mạng Không Thể Nhìn Thấy Trong Kiến Trúc Hậu Transformer

Trong năm năm qua, ngành công nghiệp trí tuệ nhân tạo đã gần như đồng nghĩa với một từ: Transformer. Kể từ khi phát hành bài báo “Attention Is All You Need” vào năm 2017, kiến trúc này đã thống trị lĩnh vực. Từ GPT đến Claude, gần như mọi mô hình gây chú ý đều dựa trên cơ chế tự chú ý cơ bản. Chúng ta đã giả định rằng con đường đến AI tốt hơn chỉ là vấn đề về quy mô. Trong thực tế, điều này có nghĩa là đào tạo các Transformer lớn hơn với nhiều dữ liệu hơn trên các cụm GPU lớn hơn.

Mặc dù niềm tin này đã thúc đẩy nhiều đột phá, nhưng nó hiện đang đạt đến giới hạn của mình. Chúng ta đang gặp phải một “Tường GPU”, một rào cản không chỉ về quyền lực tính toán thô, mà còn về băng thông bộ nhớ và tính bền vững kinh tế. Trong khi thế giới tập trung vào cuộc đua đến các mô hình có một nghìn tỷ tham số, một sự thay đổi cơ bản đang diễn ra trong các phòng thí nghiệm nghiên cứu. Một làn sóng mới của các kiến trúc “Hậu Transformer” đang xuất hiện để phá vỡ các hạn chế của mô hình hiện tại. Sự thay đổi này hứa hẹn sẽ làm cho AI trở nên hiệu quả, dễ tiếp cận và có khả năng suy luận trên các ngữ cảnh vô hạn.

Tường Silicon: Tại Sao Transformers Đang Gặp Khối Vận Động

Để hiểu tại sao chúng ta cần một sự thay đổi, trước tiên chúng ta cần hiểu về nút thắt của chế độ hiện tại. Transformers rất mạnh mẽ, nhưng chúng cũng vô cùng không hiệu quả theo những cách cụ thể. Cốt lõi của khả năng của chúng nằm trong “cơ chế chú ý”, cho phép mô hình xem xét mọi token trong một chuỗi và tính toán mối quan hệ của nó với mọi token khác. Đây là điều mang lại cho chúng khả năng hiểu ngữ cảnh một cách đáng kinh ngạc.

Tuy nhiên, khả năng này đi kèm với một điểm yếu chết người của sự tăng trưởng bậc hai. Nếu bạn tăng gấp đôi độ dài của tài liệu, bạn muốn AI đọc, công việc tính toán cần thiết không chỉ tăng gấp đôi, mà tăng gấp bốn. Khi chúng ta phấn đấu cho các mô hình “ngữ cảnh vô hạn” có thể đọc toàn bộ thư viện hoặc cơ sở mã, nhu cầu tính toán trở nên cực kỳ cao.

Nhưng vấn đề ngay lập tức hơn là bộ nhớ, cụ thể là “KV Cache” (Bộ nhớ đệm khóa-giá trị). Để tạo ra văn bản một cách trôi chảy, một Transformer phải giữ một lịch sử chạy của mọi thứ nó vừa nói trong bộ nhớ tốc độ cao của GPU (VRAM). Khi cuộc trò chuyện trở nên dài hơn, bộ nhớ đệm này phồng lên, tiêu thụ một lượng lớn bộ nhớ chỉ để nhớ những gì đã xảy ra ba đoạn trước.

Điều này tạo ra “Tường GPU”. Chúng ta không chỉ thiếu chip; chúng ta đang thiếu băng thông bộ nhớ để cung cấp cho chúng. Chúng ta đã xây dựng các động cơ ngày càng lớn, nhưng chúng đang trở nên không thể nhiên liệu. Trong một thời gian dài, giải pháp của ngành công nghiệp là đơn giản là mua thêm NVIDIA H100 (NVDA ). Nhưng sự cưỡng ép này đang đạt đến điểm hạn chế. Chúng ta không cần một động cơ tiêu thụ nhiên liệu bậc hai mà là một kiến trúc mới.

Cuộc Cách Mạng Không Thể Nhìn Thấy

Trong khi nghiên cứu chính thống tập trung vào LLM, một nhóm các nhà nghiên cứu đã quay lại một ý tưởng cũ: Mạng nơ-ron hồi quy (RNNs). Trước Transformers, RNNs là tiêu chuẩn cho ngôn ngữ. Chúng xử lý văn bản tuần tự, từ từ, cập nhật một trạng thái nội bộ “ẩn” khi chúng đi. Chúng vô cùng hiệu quả vì chúng không cần nhìn lại toàn bộ lịch sử, chúng chỉ mang “tóm tắt” của nó trong bộ nhớ của chúng.

RNNs thất bại vì chúng không thể xử lý các phụ thuộc dài; chúng sẽ “quên” đầu câu bằng thời điểm chúng đạt đến cuối. Chúng cũng chậm để đào tạo vì bạn không thể song song hóa chúng. Điều này có nghĩa là bạn phải xử lý từ A trước khi bạn có thể xử lý từ B. Transformers giải quyết vấn đề này bằng cách xử lý mọi thứ cùng một lúc (song song hóa) và giữ mọi thứ trong bộ nhớ (chú ý).

Bây giờ, chúng ta đang chứng kiến sự trỗi dậy của các kiến trúc kết hợp những ưu điểm của cả hai thế giới. Những kiến trúc này được gọi rộng rãi là Mô hình không gian trạng thái (SSMs). Chúng cung cấp tốc độ đào tạo của Transformers (song song hóa) nhưng hiệu quả suy luận của RNNs (tăng tuyến tính).

Một trong những kiến trúc nổi bật trong làn sóng mới này là Mamba. Phát hành vào cuối năm 2023 và tinh chỉnh trong suốt năm 2024, Mamba là một sự thay đổi cơ bản trong cách các mô hình xử lý thông tin. Không giống như một Transformer, giữ một bản sao gốc của mọi từ nó đã từng thấy trong bộ đệm nhớ, Mamba sử dụng một “không gian trạng thái chọn lọc”.

Chúng ta có thể hiểu sự khác biệt giữa Transformer và Mamba bằng cách tưởng tượng Transformer như một học giả giữ mọi cuốn sách họ đã từng đọc mở trên một bàn làm việc khổng lồ, liên tục quét lại để tìm kiếm các kết nối. Mamba, ngược lại, là một học giả đọc cuốn sách một lần và nén các thông tin chính vào một cuốn sổ tay hiệu quả. Khi Mamba tạo ra từ tiếp theo, nó không cần nhìn lại văn bản thô; nó nhìn vào trạng thái nén của nó.

Sự khác biệt này thay đổi kinh tế của việc triển khai AI. Với Mamba và các kiến trúc tương tự như RWKV (Receptance Weighted Key Value), chi phí tạo ra văn bản không tăng vọt khi chuỗi trở nên dài hơn. Bạn có thể lý thuyết cho các mô hình này một triệu từ ngữ cảnh, và chi phí tính toán để tạo ra từ tiếp theo vẫn giống như khi bạn đã cho nó mười từ.

Sự Trở Lại Của Sự Hồi Quy

Đột phá kỹ thuật đằng sau Mamba là “lựa chọn”. Các nỗ lực trước đây để hiện đại hóa RNNs đã thất bại vì chúng quá cứng nhắc. Chúng nén thông tin đồng đều, bất kể nó có quan trọng hay không. Mamba giới thiệu một cơ chế cho phép mô hình động quyết định những gì để nhớ và những gì để quên khi nó truyền dữ liệu.

Nếu mô hình nhận được một thông tin quan trọng, như một định nghĩa biến trong một khối mã, nó “mở cổng” và ghi nó mạnh vào trạng thái của nó. Nếu nó đối mặt với các từ填 hoặc tiếng ồn không liên quan, nó đóng cổng, bảo tồn khả năng nhớ có giới hạn của nó cho những gì quan trọng.

Khả năng lựa chọn này hiệu quả giải quyết vấn đề “quên” mà thách thức các RNN cũ. Trong nhiều thử nghiệm, các mô hình dựa trên Mamba phù hợp với hiệu suất của các Transformer cùng kích cỡ nhưng chạy nhanh hơn tới năm lần trong quá trình suy luận. Quan trọng hơn, dấu chân bộ nhớ của chúng nhỏ hơn nhiều. Điều này mở ra cánh cửa cho các LLM hiệu suất cao có thể chạy trên các thiết bị trước đây được coi là không thể xử lý chúng, chẳng hạn như máy tính xách tay, mạng tính toán biên hoặc thậm chí điện thoại thông minh, mà không cần offload lên đám mây.

Chúng ta cũng đang chứng kiến sự trỗi dậy của Hyena, một kiến trúc khác dưới bậc hai sử dụng các phép tính toán học rẻ hơn cho phần cứng. Giống như Mamba, Hyena nhằm mục đích loại bỏ các lớp “chú ý” nặng của Transformer và thay thế chúng bằng các phép toán toán học rẻ hơn. Các mô hình này đã bắt đầu thách thức các mô hình Transformer hiện có trên các bảng xếp hạng chính.

Sự Trỗi Dậy Của Các Mô Hình Lai

Cuộc cách mạng, tuy nhiên, có thể không phải là sự thay thế hoàn toàn của Transformer, mà là sự tiến hóa thành các hình thức lai. Chúng ta đang chứng kiến sự xuất hiện của các mô hình như Jamba (từ AI21 Labs), kết hợp các lớp Transformer với các lớp Mamba.

Phương pháp lai này cung cấp một cách thực tế để giải quyết các hạn chế của Transformer. Transformers vẫn vô cùng mạnh mẽ trong một số nhiệm vụ, đặc biệt là khi sao chép các chi tiết chính xác từ ngữ cảnh. Bằng cách trộn các lớp Mamba (xử lý phần lớn dữ liệu và bộ nhớ dài hạn) với một số lớp chú ý Transformer (xử lý lý luận sắc nét và tức thời), chúng ta có được một mô hình kết hợp những ưu điểm của cả hai thế giới.

Một mô hình lai tạo ra một cửa sổ ngữ cảnh khổng lồ thực sự có thể sử dụng. Hiện tại, nhiều “ngữ cảnh dài” Transformer tuyên bố có thể xử lý 100.000 token, nhưng hiệu suất của chúng suy giảm nhanh chóng khi ngữ cảnh được lấp đầy. Hiện tượng này được gọi là “mất trong giữa“. Kiến trúc lai duy trì sự mạch lạc của chúng tốt hơn trên các khoảng cách dài vì các lớp SSM được thiết kế đặc biệt để nén và mang trạng thái theo thời gian.

Những phát triển này thay đổi sự tập trung của ngành công nghiệp từ “Tính toán đào tạo” (làm thế nào để xây dựng một cụm lớn để xây dựng mô hình?) sang “Kinh tế suy luận” (làm thế nào để phục vụ mô hình này cho một tỷ người dùng với chi phí thấp?). Nếu một mô hình lai có thể phục vụ người dùng với chi phí 10% so với Transformer, trường hợp kinh doanh cho các ứng dụng AI thay đổi qua đêm.

Tương Lai Của Việc Triển Khai AI

Các ý nghĩa của cuộc cách mạng hậu Transformer không chỉ giới hạn ở trung tâm dữ liệu. Tường GPU đã từng đóng vai trò là người giữ cổng, đảm bảo rằng chỉ các công ty công nghệ lớn với hàng tỷ đô la trong phần cứng mới có thể xây dựng và chạy các mô hình hàng đầu. Các kiến trúc hiệu quả như Mamba và RWKV dân chủ hóa quyền lực này. Nếu bạn có thể chạy một mô hình cấp GPT-4 trên một thẻ đồ họa tiêu dùng vì bạn không cần terabyte VRAM cho bộ đệm khóa-giá trị, sự kiểm soát tập trung của AI bắt đầu nới lỏng. Chúng ta có thể thấy sự phục hồi của các đại lý AI riêng tư, địa phương sống hoàn toàn trên máy tính của bạn, xử lý dữ liệu riêng tư của bạn mà không cần gửi gói đến đám mây.

Hơn nữa, hiệu quả này là chìa khóa để mở khóa các hệ thống “Agentic AI” chạy ở chế độ nền trong nhiều giờ hoặc nhiều ngày để hoàn thành các nhiệm vụ phức tạp. Các Transformer hiện tại quá tốn kém và chậm để chạy trong các vòng lặp liên tục trong thời gian dài. Một kiến trúc hiệu quả, tuyến tính có thể “nghĩ” và xử lý các vòng lặp liên tục mà không làm cho người dùng phá sản hoặc làm quá nóng phần cứng.

Kết Luận

Transformer đã thống trị các tiêu đề AI, nhưng sau hậu trường, một cuộc cách mạng im lặng đang diễn ra. Tường GPU đang đẩy các nhà nghiên cứu phải suy nghĩ lại về cách các mô hình xử lý bộ nhớ và tính toán. Các kiến trúc hậu Transformer như Mamba và các mô hình lai đang chứng minh rằng hiệu quả, không chỉ là quy mô, sẽ định nghĩa kỷ nguyên tiếp theo. Những đổi mới này làm cho các cửa sổ ngữ cảnh khổng lồ trở nên thực tế, suy luận rẻ hơn và AI tiên tiến trở nên dễ tiếp cận hơn ngoài trung tâm dữ liệu. Tương lai của AI nằm không ở các mô hình lớn hơn, mà ở các mô hình thông minh hơn, những mô hình nhớ, suy luận và tăng quy mô hiệu quả.