Kinh Tế Mới Của Trí Tuệ Nhân Tạo Được Xây Dựng Trên Tokens — Nhưng Chúng Ta Đang Đo Lường Chúng Một Cách Sai

Có một sự thay đổi đang diễn ra trong lĩnh vực trí tuệ nhân tạo mà hầu hết mọi người cảm nhận nhưng chưa hiểu rõ: chúng ta đã chuyển từ việc đếm yêu cầu sang đếm tokens.

Vào thời đại web, chúng ta đo lường hệ thống bằng yêu cầu mỗi giây. Đó là một cách sạch, trực quan và hầu như chính xác. Một yêu cầu đến, một phản hồi đi ra, và bạn có thể mở rộng cơ sở hạ tầng xung quanh mô hình đó.

Ở trí tuệ nhân tạo, đơn vị cơ bản không còn là yêu cầu — mà là token. Mỗi lời nhắc, mỗi phản hồi và mỗi chuỗi lý luận được chia thành tokens, đại diện cho công việc mà hệ thống đang thực hiện, chi phí phát sinh và ngày càng nhiều giá trị được tạo ra.

Nature, ngành công nghiệp đã tập hợp xung quanh sự thay đổi này, giới thiệu các chỉ số như tokens mỗi giây, chi phí mỗi token và thậm chí doanh thu mỗi token. Nó feels như chúng ta đã tìm thấy cách định lượng hệ thống trí tuệ nhân tạo. Nhưng cách định hình đó là không đầy đủ.

Phương Thức Của Ngành Công Nghiệp: Tokens Bằng Giá Trị

Có một câu chuyện đang phát triển rằng tokens là đơn vị tiền tệ mới của trí tuệ nhân tạo — rằng nhiều tokens hơn có nghĩa là nhiều trí tuệ hơn, và do đó, nhiều doanh thu hơn. Đó là một ý tưởng hấp dẫn, nhưng nó đơn giản hóa cái gì thực sự đang xảy ra trong những hệ thống này.

Không phải tất cả tokens đều giống nhau. Một số tokens đại diện cho công việc thực sự: phân tích dữ liệu, tạo ra thông tin, tự động hóa quy trình và hỗ trợ quyết định mà thúc đẩy kết quả kinh doanh. Những tokens khác ít có ý nghĩa hơn — tạo nội dung thông thường, thí nghiệm hoặc các trường hợp sử dụng mà không bao giờ đi vào sản xuất.

Bạn có thể thấy điều này trong các doanh nghiệp. Một nhóm có thể tạo ra hàng triệu tokens để hỗ trợ năng suất của nhà phát triển hoặc hoạt động của khách hàng, trực tiếp ảnh hưởng đến hiệu quả và doanh thu. Một nhóm khác có thể tạo ra cùng một lượng tokens khi thí nghiệm với các công cụ mà không bao giờ vượt qua quá trình khám phá nội bộ. Trên giấy, số lượng tokens trông giống nhau. Trong thực tế, giá trị kinh doanh là hoàn toàn khác nhau.

Xem xét tất cả tokens như các đơn vị có thể hoán đổi cho nhau của giá trị tạo ra một cái nhìn méo mó về những gì trí tuệ nhân tạo thực sự đang làm trong một tổ chức. Các doanh nghiệp không được xây dựng trên số lượng tokens; chúng được xây dựng trên những gì những tokens đó cho phép.

Tại Sao Lời Nhắc Thứ Hai Của Bạn Nhanh Hơn Lời Nhắc Thứ Nhất

Nếu bạn đã từng sử dụng một công cụ như ChatGPT, bạn có thể đã nhận thấy rằng lời nhắc thứ hai của bạn thường nhanh hơn lời nhắc thứ nhất. Hành vi này không phải là về mô hình trở nên thông minh hơn — mà về cách hệ thống tái sử dụng ngữ cảnh từ các lời nhắc trước.

Các hệ thống trí tuệ nhân tạo hiện đại không xử lý mỗi yêu cầu một cách riêng biệt. Chúng xây dựng ngữ cảnh, lưu trữ các lời nhắc và phản hồi trước đó trong bộ nhớ, thường trong cái gọi là bộ nhớ KV. Bộ nhớ này nằm gần GPU để nó có thể được truy cập nhanh chóng khi tạo ra các phản hồi tiếp theo.

Lời nhắc đầu tiên tốn kém vì nó khởi tạo trạng thái đó — phân bổ bộ nhớ, xử lý đầu vào và xây dựng ngữ cảnh. Các yêu cầu tiếp theo tái sử dụng trạng thái đó, giảm độ trễ và cải thiện khả năng phản hồi.

Động lực này trở nên quan trọng hơn khi cửa sổ ngữ cảnh mở rộng từ hàng nghìn đến hàng trăm nghìn — hoặc thậm chí hàng triệu — tokens. Hệ thống càng giữ nhiều ngữ cảnh, càng đặt áp lực lên bộ nhớ và cơ sở hạ tầng, khiến việc quyết định những gì được lưu trữ, nén hoặc loại bỏ trở nên quan trọng.

Đối với người dùng, nó feels như một hệ thống nhanh hơn. Đối với cơ sở hạ tầng, nó là một sự đánh đổi phức tạp giữa bộ nhớ, độ trễ và chi phí.

Giới Hạn Cuối Cùng: Năng Lượng

Một khi bạn vượt qua hiệu suất của mô hình, cuộc trò chuyện nhanh chóng thay đổi.

Các nhóm chạy trí tuệ nhân tạo ở quy mô lớn không chủ yếu hỏi mô hình nào là tốt nhất. Họ hỏi làm thế nào để duy trì nó.

Cơ sở hạ tầng trí tuệ nhân tạo đang đẩy chống lại các giới hạn vật lý: khả năng sẵn có của năng lượng, khả năng làm mát và băng thông bộ nhớ. Các trung tâm dữ liệu đang được thiết kế lại xung quanh các ràng buộc này, và các tổ chức triển khai hệ thống trí tuệ nhân tạo lớn đang bắt đầu hoạt động nhiều hơn như các tiện ích hơn là các công ty phần mềm truyền thống.

Chúng ta đã thấy điều này trong các doanh nghiệp lớn xây dựng cơ sở hạ tầng trí tuệ nhân tạo, nơi điện và làm mát — không phải khả năng của mô hình — đang trở thành ràng buộc chính.

Các công việc trí tuệ nhân tạo không mở rộng một cách sạch sẽ hoặc có thể dự đoán. Chúng tăng nhu cầu trên máy tính, bộ nhớ và mạng cùng một lúc. Tạo ra nhiều tokens hơn không chỉ là vấn đề thêm nhiều GPU hơn; đó là câu hỏi liệu cơ sở hạ tầng cơ bản có thể duy trì năng lượng và tải nhiệt cần thiết để giữ cho những hệ thống đó hoạt động hiệu quả.

Chi phí tạo ra một token do đó mở rộng ra ngoài máy tính. Nó bao gồm điện, làm mát, cơ sở hạ tầng vật lý và khả năng duy trì hiệu suất dưới tải mà không bị suy giảm.

Hầu hết các cuộc thảo luận về “chi phí mỗi token” không phản ánh đầy đủ thực tế này. Ở quy mô lớn, năng lượng trở thành ngân sách, không chỉ là một mục khác.

Tương lai Không Phải Là Mô Hình Lớn Hơn. Đó Là Hệ Thống Tốt Hơn.

Trong hai năm qua, ngành công nghiệp đã tập trung vào việc so sánh mô hình, xem xét các điểm chuẩn, xếp hạng và cải tiến dần dần về khả năng.

Sự tập trung này đang bắt đầu thay đổi.

Trong môi trường sản xuất, hiệu suất ít liên quan đến mô hình bạn chọn và nhiều hơn về cách bạn sử dụng nó. Các tổ chức đang chuyển hướng sang các hệ thống mô hình — kết hợp mô hình lớn và nhỏ, định tuyến nhiệm vụ thông minh và tối ưu hóa cho chi phí, độ trễ và thông lượng trên toàn bộ quy trình.

Thay vì gửi mọi yêu cầu đến một mô hình lớn, các hệ thống chia nhỏ công việc thành các thành phần nhỏ hơn. Các nhiệm vụ đơn giản hơn có thể được xử lý bởi các mô hình hiệu quả hơn, trong khi lý luận phức tạp hơn được dành cho các mô hình lớn hơn. Ngữ cảnh được tái sử dụng ở mọi nơi có thể, và các chiến lược lưu trữ được áp dụng một cách hung hăng.

Các quyết định này thường có tác động lớn hơn đến hiệu suất và chi phí so với việc chuyển từ mô hình này sang mô hình khác. Trong ý nghĩa đó, tokens vẫn là đơn vị công việc, nhưng hệ thống tạo ra và quản lý chúng trở thành yếu tố phân biệt thực sự.

Lớp Phức Tạp Nhất Trong Các Hệ Thống Trí Tuệ Nhân Tạo

Trí tuệ nhân tạo thường được mô tả bằng cách sử dụng mô hình ở một bên và ứng dụng ở bên kia, nhưng lớp ở giữa là nơi hầu hết sự phức tạp — và cơ hội — sống.

Lớp này không chỉ di chuyển yêu cầu; nó định hình chúng. Nó quyết định cách lưu lượng truy cập chảy, cách quyết định được thực thi và cách hệ thống hành xử trong điều kiện thế giới thực.

Giao hàng và bảo mật không thể được coi là những mối quan tâm riêng biệt ở đây. Cùng một lớp di chuyển yêu cầu và quản lý ngữ cảnh cũng là nơi các chính sách được áp dụng, rủi ro được giảm thiểu và niềm tin được thiết lập.

Khi sự phức tạp tăng lên, các giải pháp điểm sẽ bị phá vỡ. Những gì cần thiết là một nền tảng thống nhất có thể phối hợp các chức năng này trong thời gian thực, thay vì khâu chúng lại với nhau sau khi thực tế.

Đây là nơi các sự đánh đổi được thực hiện. Đây là nơi chi phí được kiểm soát, hiệu suất được tối ưu hóa và quyết định bảo mật được thực thi trong thời gian thực. Khi các hệ thống trí tuệ nhân tạo mở rộng quy mô, lớp này trở nên quan trọng hơn. Đó là sự khác biệt giữa một hệ thống hoạt động tốt trong một bản demo và một hệ thống hoạt động đáng tin cậy và hiệu quả trong sản xuất. Sự thay đổi này có những ý nghĩa thực sự về cách các tổ chức thiết kế và quản lý các hệ thống trí tuệ nhân tạo.

Điều Này Có Nghĩa Là Gì Đối Với Các Tổ Chức

Khi các doanh nghiệp chuyển trí tuệ nhân tạo vào sản xuất, câu hỏi không chỉ là mô hình nào để sử dụng — mà là cách hệ thống xung quanh nó được thiết kế để hoạt động.

Điều đó có nghĩa là suy nghĩ vượt ra ngoài các chỉ số tokens và điểm chuẩn mô hình, và tập trung vào cách yêu cầu được định tuyến, cách ngữ cảnh được quản lý và cách chính sách được thực thi trên toàn bộ quy trình.

Hầu hết các tổ chức vẫn đang khâu các mảnh này lại với nhau — và cách tiếp cận này không chịu được áp lực sản xuất thực.

Chúng Ta Đang Đo Lường Điều Sai

Tokens cung cấp một sự trừu tượng hữu ích. Nó cho ngành công nghiệp một cách để định lượng một thứ gì đó từng cảm thấy trừu tượng, nhưng chúng không phải là toàn bộ hình ảnh.

Hiện tại, ngành công nghiệp đang chuyển hướng đến những gì dễ đo lường nhất — số lượng tokens, thông lượng và chỉ số chi phí — thay vì những gì quan trọng nhất. Không có ngữ cảnh, những con số đó có thể gây hiểu lầm.

Giai đoạn tiếp theo của trí tuệ nhân tạo sẽ không được định nghĩa bởi ai tạo ra nhiều tokens nhất. Nó sẽ được định nghĩa bởi ai hiểu những tokens đó đại diện cho gì, và ai có thể xây dựng các hệ thống biến chúng thành kết quả có ý nghĩa, hiệu quả và có thể mở rộng.

Vì trong cuối cùng, tokens không phải là sản phẩm. Chúng chỉ là phụ phẩm của việc tạo ra trí tuệ.