Nghiên cứu mới đặt câu hỏi về giá ‘token’ cho các cuộc trò chuyện AI

Nghiên cứu mới cho thấy cách các dịch vụ AI tính phí dựa trên token che giấu chi phí thực sự từ người dùng. Các nhà cung cấp có thể tăng giá một cách im lặng bằng cách làm cho số lượng token tăng lên hoặc thêm các bước ẩn. Một số hệ thống chạy các quá trình phụ không ảnh hưởng đến đầu ra nhưng vẫn hiển thị trên hóa đơn. Các công cụ kiểm toán đã được đề xuất, nhưng không có sự giám sát thực sự, người dùng phải trả tiền cho nhiều hơn những gì họ nhận ra.

Trong hầu hết các trường hợp, những gì chúng ta trả tiền cho các giao diện trò chuyện AI, chẳng hạn như ChatGPT-4o, hiện được đo lường bằng token: các đơn vị văn bản vô hình mà không được chú ý trong quá trình sử dụng, nhưng được đếm với độ chính xác cho mục đích hóa đơn; và mặc dù mỗi trao đổi được định giá theo số lượng token được xử lý, người dùng không có cách nào trực tiếp để xác nhận số lượng.

Mặc dù chúng ta hiểu (tối ưu) không hoàn hảo về những gì chúng ta nhận được cho đơn vị ‘token’ đã mua, việc tính phí dựa trên token đã trở thành phương pháp tiêu chuẩn trên các nhà cung cấp, dựa trên những gì có thể chứng minh là một giả định về niềm tin mong manh.

Từ Token

Một token không hoàn toàn giống như một từ, mặc dù nó thường đóng vai trò tương tự, và hầu hết các nhà cung cấp sử dụng thuật ngữ ‘token’ để mô tả các đơn vị văn bản nhỏ như từ, dấu câu, hoặc mảnh từ. Ví dụ, từ ‘không thể tin được’ có thể được tính là một token duy nhất bởi một hệ thống, trong khi một hệ thống khác có thể chia nó thành không, thể và tin được, với mỗi mảnh tăng chi phí.

Hệ thống này áp dụng cho cả văn bản người dùng nhập và trả lời của mô hình, với giá dựa trên tổng số các đơn vị này.

Khó khăn nằm ở việc người dùng không thể nhìn thấy quá trình này. Hầu hết các giao diện không hiển thị số lượng token khi cuộc trò chuyện đang diễn ra, và cách tính toán token rất khó để tái tạo. Ngay cả khi số lượng token được hiển thị sau khi trả lời, nó quá muộn để xác định xem nó có công bằng hay không, tạo ra sự không khớp giữa những gì người dùng nhìn thấy và những gì họ phải trả.

Nghiên cứu gần đây chỉ ra những vấn đề sâu sắc hơn: một nghiên cứu cho thấy cách các nhà cung cấp có thể tính phí quá cao mà không bao giờ vi phạm quy tắc, chỉ bằng cách làm cho số lượng token tăng lên theo cách mà người dùng không thể nhìn thấy; một nghiên cứu khác tiết lộ sự không khớp giữa những gì các giao diện hiển thị và những gì thực sự được tính phí, khiến người dùng có ảo giác về hiệu quả khi có thể không có; và một nghiên cứu thứ ba phơi bày cách các mô hình thường tạo ra các bước suy luận nội bộ mà không bao giờ được hiển thị cho người dùng, nhưng vẫn xuất hiện trên hóa đơn.

Những phát hiện mô tả một hệ thống seems chính xác, với các số chính xác ngụ ý sự rõ ràng, nhưng logic cơ bản vẫn còn ẩn. Cho dù đây là thiết kế, hoặc một khiếm khuyết cấu trúc, kết quả vẫn như nhau: người dùng trả tiền cho nhiều hơn những gì họ có thể nhìn thấy, và thường nhiều hơn những gì họ mong đợi.

Rẻ hơn theo Đơn vị?

Trong nghiên cứu đầu tiên – có tiêu đề Liệu LLM của bạn có tính phí quá cao cho bạn? Token hóa, Minh bạch và Khuyến khích, từ bốn nhà nghiên cứu tại Viện Hệ thống Phần mềm Max Planck – các tác giả lập luận rằng rủi ro của việc tính phí dựa trên token vượt ra ngoài sự không rõ ràng, chỉ ra một động lực nội tại cho các nhà cung cấp để làm cho số lượng token tăng lên:

‘Cốt lõi của vấn đề nằm ở việc token hóa một chuỗi không duy nhất. Ví dụ, hãy xem xét người dùng gửi lời nhắc “Nơi diễn ra NeurIPS tiếp theo?” cho nhà cung cấp, nhà cung cấp đưa nó vào LLM, và mô hình tạo ra đầu ra “|San| Diego|” gồm hai token.

‘Vì người dùng không biết về quá trình tạo ra, một nhà cung cấp tự phục vụ có khả năng báo cáo sai token hóa đầu ra cho người dùng mà không thay đổi chuỗi cơ bản. Ví dụ, nhà cung cấp có thể chia sẻ token hóa “|S|a|n| |D|i|e|g|o|” và tính phí người dùng cho chín token thay vì hai!’

Báo cáo này trình bày một phương pháp có thể thực hiện việc tính toán không trung thực này mà không thay đổi đầu ra nhìn thấy được, và không vi phạm các thiết lập giải mã thông thường. Khi được thử nghiệm trên các mô hình từ LLaMA, Mistral và Gemma series, sử dụng các lời nhắc thực tế, phương pháp này đạt được các khoản tính phí quá cao có thể đo lường được mà không có vẻ ngoài bất thường:

Lạm phát token bằng cách ‘báo cáo sai có thể tin được’. Mỗi bảng hiển thị tỷ lệ phần trăm của các token bị tính phí quá cao do nhà cung cấp áp dụng Thuật toán 1 cho các đầu ra từ 400 lời nhắc LMSYS, theo các tham số lấy mẫu khác nhau (m và p). Tất cả đầu ra được tạo ra ở nhiệt độ 1,3, với năm lần lặp lại cho mỗi thiết lập để tính toán khoảng tin cậy 90%. Nguồn: https://arxiv.org/pdf/2505.21627

Để giải quyết vấn đề này, các nhà nghiên cứu kêu gọi việc tính phí dựa trên số lượng ký tự thay vì token, lập luận rằng đây là cách tiếp cận duy nhất cho phép các nhà cung cấp báo cáo sử dụng một cách trung thực, và cho rằng nếu mục tiêu là giá cả công bằng, thì việc gắn chi phí với các ký tự nhìn thấy được, không phải các quá trình ẩn, là lựa chọn duy nhất đứng lên trước sự kiểm tra.

Tại đây có một số yếu tố cần xem xét, tuy nhiên (trong hầu hết các trường hợp được các tác giả thừa nhận). Đầu tiên, kế hoạch dựa trên ký tự được đề xuất giới thiệu thêm các logic kinh doanh có thể có lợi cho nhà cung cấp hơn người tiêu dùng:

‘[Một] nhà cung cấp không bao giờ báo cáo sai có động lực rõ ràng để tạo ra chuỗi token đầu ra ngắn nhất có thể, và cải tiến các thuật toán token hóa hiện tại như BPE, để chúng nén chuỗi token đầu ra càng nhiều càng tốt’

Chủ đề lạc quan ở đây là nhà cung cấp do đó được khuyến khích tạo ra đầu ra ngắn gọn và có ý nghĩa hơn. Trong thực tế, có những cách ít đáng kính hơn để một nhà cung cấp giảm số lượng văn bản.

Thứ hai, có thể giả định hợp lý, các tác giả tuyên bố, rằng các công ty có khả năng sẽ cần hành động lập pháp để chuyển từ hệ thống token cổ điển sang phương pháp tính phí rõ ràng hơn. Dọc theo đường, một công ty khởi nghiệp có thể quyết định phân biệt sản phẩm của mình bằng cách ra mắt nó với mô hình giá này; nhưng bất kỳ ai có sản phẩm cạnh tranh thực sự (và hoạt động ở quy mô thấp hơn EEE category) sẽ không có động lực để làm điều này.

Cuối cùng, các thuật toán gian lận như các tác giả đề xuất sẽ đi kèm với chi phí tính toán của chúng; nếu chi phí tính toán ‘tăng giá’ vượt quá lợi ích tài chính tiềm năng, kế hoạch sẽ rõ ràng không có giá trị. Tuy nhiên, các nhà nghiên cứu nhấn mạnh rằng thuật toán đề xuất của họ là hiệu quả và tiết kiệm.

Các tác giả cung cấp mã cho các lý thuyết của họ trên GitHub.

Sự Thay đổi

Báo cáo thứ hai – có tiêu đề Token vô hình, Hóa đơn nhìn thấy: Sự cần thiết cấp bách để Kiểm toán các Hoạt động ẩn trong các Dịch vụ LLM không minh bạch, từ các nhà nghiên cứu tại Đại học Maryland và Berkeley – lập luận rằng các động lực không phù hợp trong các API mô hình ngôn ngữ thương mại không giới hạn ở việc chia token, mà còn mở rộng đến các lớp các hoạt động ẩn.

Điều này bao gồm các cuộc gọi mô hình nội bộ, suy luận suy đoán, sử dụng công cụ và tương tác đa tác nhân – tất cả đều có thể được tính phí cho người dùng mà không có khả năng nhìn thấy hoặc kháng cáo.

Giá và minh bạch của các API LLM lý luận trên các nhà cung cấp chính. Tất cả các dịch vụ được liệt kê đều tính phí cho người dùng các token lý luận nội bộ ẩn, và không có dịch vụ nào hiển thị các token này tại thời điểm chạy. Chi phí khác nhau đáng kể, với mô hình o1-pro của OpenAI tính phí gấp mười lần nhiều hơn mỗi triệu token so với Claude Opus 4 hoặc Gemini 2,5 Pro, mặc dù có sự không minh bạch như nhau. Nguồn: https://www.arxiv.org/pdf/2505.18471

Không giống như hóa đơn thông thường, nơi số lượng và chất lượng dịch vụ có thể được xác minh, các tác giả cho rằng các nền tảng LLM ngày nay hoạt động dưới không minh bạch cấu trúc: người dùng được tính phí dựa trên số lượng token và sử dụng API được báo cáo, nhưng không có cách nào để xác nhận rằng những chỉ số này phản ánh công việc thực sự hoặc cần thiết.

Báo cáo xác định hai hình thức thao túng chính: tăng lượng, nơi số lượng token hoặc cuộc gọi được tăng lên mà không có lợi ích cho người dùng; và giảm chất lượng, nơi các mô hình hoặc công cụ hiệu suất thấp hơn được sử dụng im lặng thay cho các thành phần cao cấp:

‘Trong các API LLM lý luận, các nhà cung cấp thường duy trì nhiều biến thể của cùng một họ mô hình, khác nhau về khả năng, dữ liệu đào tạo hoặc chiến lược tối ưu hóa (ví dụ: ChatGPT o1, o3). Việc hạ cấp mô hình đề cập đến việc thay thế im lặng các mô hình có chi phí thấp hơn, điều này có thể gây ra sự không phù hợp giữa chất lượng dịch vụ dự kiến và thực tế.

‘Ví dụ, một lời nhắc có thể được xử lý bởi một mô hình có kích thước nhỏ hơn, trong khi việc tính phí vẫn không thay đổi. Thực tiễn này khó cho người dùng phát hiện, vì câu trả lời cuối cùng vẫn có thể có vẻ hợp lý cho nhiều nhiệm vụ.’

Báo cáo ghi lại các trường hợp mà hơn 90% số token được tính phí không bao giờ được hiển thị cho người dùng, với việc tăng token nội bộ làm tăng sử dụng token lên một hệ số lớn hơn hai mươi. Có căn cứ hay không, sự không minh bạch của những bước này từ chối người dùng mọi cơ sở để đánh giá sự liên quan hoặc tính hợp pháp của chúng.

Trong các hệ thống có tác nhân, sự không minh bạch tăng lên, vì các trao đổi nội bộ giữa các tác nhân AI có thể mỗi lần đều phát sinh chi phí mà không ảnh hưởng có ý nghĩa đến đầu ra cuối cùng:

‘Ngoài suy luận nội bộ, các tác nhân giao tiếp bằng cách trao đổi lời nhắc, tóm tắt và hướng dẫn lập kế hoạch. Mỗi tác nhân đều giải thích đầu vào từ những tác nhân khác và tạo ra đầu ra để hướng dẫn luồng công việc. Các tin nhắn trao đổi giữa tác nhân này có thể tiêu thụ một lượng token đáng kể, thường không được hiển thị cho người dùng.

‘Tất cả các token được tiêu thụ trong quá trình phối hợp tác nhân, bao gồm cả lời nhắc, phản hồi và hướng dẫn liên quan đến công cụ được tạo, thường không được hiển thị cho người dùng. Khi các tác nhân tự sử dụng các mô hình lý luận, việc tính phí trở nên không minh bạch hơn ‘

Để đối mặt với những vấn đề này, các tác giả đề xuất một khuôn khổ kiểm toán phân lớp bao gồm các bằng chứng mật mã về hoạt động nội bộ, các dấu hiệu xác minh về danh tính mô hình hoặc công cụ và giám sát độc lập. Tuy nhiên, mối quan tâm cơ bản là cấu trúc: các kế hoạch tính phí LLM hiện tại phụ thuộc vào asymmetry thông tin dai dẳng, để lại người dùng dễ bị tổn thương trước các chi phí mà họ không thể xác minh hoặc phân tích.

Đếm những thứ vô hình

Báo cáo cuối cùng, từ các nhà nghiên cứu tại Đại học Maryland, định hình lại vấn đề hóa đơn không phải là một câu hỏi về lạm dụng hoặc báo cáo sai, mà là về cấu trúc. Báo cáo – có tiêu đề CoIn: Đếm các token lý luận vô hình trong các API LLM thương mại không minh bạch, và từ mười nhà nghiên cứu tại Đại học Maryland – quan sát rằng hầu hết các dịch vụ LLM thương mại hiện che giấu lý luận trung gian đóng góp cho câu trả lời cuối cùng của mô hình, nhưng vẫn tính phí cho những token đó.

Báo cáo khẳng định rằng điều này tạo ra một bề mặt hóa đơn không thể quan sát được, nơi các chuỗi toàn bộ có thể được tạo ra, tiêm hoặc làm phồng lên mà không bị phát hiện:

‘[Điều này] cho phép các nhà cung cấp báo cáo sai số lượng token hoặc tiêm các token lý luận được tạo ra với chi phí thấp để làm tăng số lượng token một cách giả tạo. Chúng tôi gọi thực tiễn này là tăng số lượng token.

‘Ví dụ, một lần chạy ARC-AGI hiệu suất cao của mô hình o3 của OpenAI tiêu thụ 111 triệu token, chi phí 66.772,3 đô la Mỹ. Với quy mô này, ngay cả những sự thay đổi nhỏ cũng có thể dẫn đến tác động tài chính đáng kể.

‘Sự không đối xứng thông tin này cho phép các công ty AI tính phí quá cao cho người dùng, do đó làm suy yếu lợi ích của họ.’

Để chống lại sự không đối xứng này, các tác giả đề xuất CoIn, một hệ thống kiểm toán của bên thứ ba được thiết kế để xác minh các token ẩn mà không tiết lộ nội dung của chúng, và sử dụng các dấu vân tay băm và các kiểm tra ngữ nghĩa để phát hiện dấu hiệu của lạm phát.

Tổng quan về hệ thống kiểm toán CoIn cho các LLM thương mại không minh bạch. Bảng A cho thấy cách các bản nhúng token lý luận được băm vào một cây Merkle để xác minh số lượng token mà không tiết lộ nội dung token. Bảng B minh họa các kiểm tra tính hợp lệ ngữ nghĩa, nơi các mạng nơ-ron nhẹ so sánh các khối lý luận với câu trả lời cuối cùng. Nguồn: https://arxiv.org/pdf/2505.13778

Một thành phần xác minh số lượng token một cách mật mã bằng cách sử dụng một cây Merkle; thành phần kia đánh giá sự liên quan của nội dung ẩn bằng cách so sánh nó với bản nhúng câu trả lời. Điều này cho phép các kiểm toán viên phát hiện ra việc đệm hoặc không liên quan – những dấu hiệu cho thấy các token đang được chèn chỉ để tăng hóa đơn.

Khi được triển khai trong các thử nghiệm, CoIn đạt được tỷ lệ phát hiện thành công gần 95% đối với một số hình thức lạm phát, với sự phơi bày tối thiểu của dữ liệu cơ bản. Mặc dù hệ thống vẫn phụ thuộc vào sự hợp tác tự nguyện của các nhà cung cấp và có độ phân giải hạn chế trong các trường hợp biên, điểm chính của nó vẫn không thể nhầm lẫn: chính kiến trúc của việc tính phí LLM hiện tại cho thấy một sự trung thực không thể được xác minh.

Kết luận

Ngoài lợi thế của việc nhận thanh toán trước từ người dùng, một loại tiền scrip (như hệ thống ‘buzz’ tại CivitAI) giúp người dùng cách ly khỏi giá trị thực của tiền tệ họ đang chi tiêu, hoặc hàng hóa họ đang mua. Tương tự, việc cho phép nhà cung cấp tự định nghĩa đơn vị đo lường của họ còn khiến người tiêu dùng không biết gì về những gì họ thực sự đang chi tiêu, về mặt tiền thật.

Giống như sự thiếu đồng hồ trong Las Vegas, những biện pháp như vậy thường nhằm mục đích khiến người tiêu dùng bất cẩn hoặc thờ ơ với chi phí.

Cái token khó hiểu, có thể được tiêu thụ và định nghĩa theo nhiều cách, có lẽ không phải là đơn vị đo lường phù hợp cho tiêu thụ LLM – không chỉ vì nó có thể tốn nhiều token hơn để tính toán một kết quả LLM kém hơn trong một ngôn ngữ không phải tiếng Anh, so với một phiên tiếng Anh.

Tuy nhiên, đầu ra dựa trên ký tự, như đề xuất bởi các nhà nghiên cứu Max Planck, có thể sẽ ủng hộ các ngôn ngữ ngắn gọn hơn và trừng phạt các ngôn ngữ tự nhiên dài dòng. Vì những dấu hiệu trực quan như một bộ đếm token giảm giá có thể khiến chúng ta trở nên hoang phí hơn trong các phiên LLM của mình, dường như không có khả năng những bổ sung GUI hữu ích như vậy sẽ xuất hiện sớm – ít nhất là không có hành động lập pháp.

* Nhấn mạnh của tác giả. Tôi đã chuyển đổi các trích dẫn nội dòng của tác giả thành liên kết.

Được xuất bản lần đầu vào thứ Năm, ngày 29 tháng 5 năm 2025