新たな研究論文がAIチャットの「トークン」価格設定に疑問を呈する

新たな調査によると、AIサービスがトークンで課金する方法は、ユーザーから実際のコストを隠蔽していることが明らかになりました。プロバイダーはトークン数を偽装したり、隠れた手順を組み込んだりすることで、ひそかに料金を水増しすることができます。一部のシステムでは、出力には影響しない余分なプロセスが実行されているにもかかわらず、請求書に反映されます。監査ツールの導入も提案されていますが、真の監視体制がなければ、ユーザーは想定以上に多くの料金を支払うことになります。

ほとんどの場合、消費者として私たちがAI搭載のチャットインターフェースに支払う金額は、 チャットGPT-4oは現在、 トークン: 使用中には気付かれない目に見えないテキスト単位ですが、課金目的では正確にカウントされます。各取引所は処理されるトークンの数によって価格設定されますが、ユーザーにはその数を直接確認する方法はありません。

購入した「トークン」ユニットで何が得られるのかを（せいぜい）不完全にしか理解していないにもかかわらず、トークンベースの課金は、不安定な信頼の前提に基づいて、プロバイダー間で標準的なアプローチになっています。

トークンワード

トークンは単語と全く同じではありませんが、多くの場合同様の役割を果たします。多くのプロバイダは、単語、句読点、単語の断片などの小さなテキスト単位を説明するために「トークン」という用語を使用しています。 「信じられない」例えば、あるシステムでは1つのトークンとしてカウントされるが、別のシステムではそれを分割してカウントする可能性がある。 un, 信じる および できる各ピースごとにコストが増加します。

このシステムは、ユーザーが入力するテキストとモデルの返信の両方に適用され、価格はこれらのユニットの合計数に基づいて決まります。

問題は、ユーザーが このプロセスを見ることができないほとんどのインターフェースでは、会話中にトークンの数が表示されず、トークンの計算方法を再現するのは困難です。たとえ数が表示されていても After 返信が届くと、それが公平であったかどうかを判断するには遅すぎて、ユーザーが目にする内容と支払う金額との間に不一致が生じます。

最近の研究は、より深刻な問題を指摘しています。 一つの研究 プロバイダーが、ユーザーには見えない方法でトークン数を増やすだけで、ルールに違反することなく過剰請求できる方法を示します。 別の インターフェースに表示されるものと実際に請求されるものとの間に不一致が明らかになり、ユーザーには実際には効率が悪いという幻想を与えてしまう。 三番 モデルが、ユーザーには表示されないものの、請求書には表示される内部推論ステップを定期的に生成する方法を公開します。

調査結果から、 と思われる 正確で、正確な数字は明瞭さを示唆しているものの、その根底にあるロジックは隠されたままです。これが意図的なものなのか、構造上の欠陥なのかは分かりませんが、結果は同じです。ユーザーは目に見えないもの、そして多くの場合、期待以上のものに対して料金を支払うことになります。

12個買うと安くなる？

最初の これらの論文のタイトルは LLMは高額な料金を請求していませんか？トークン化、透明性、インセンティブマックス・プランクソフトウェアシステム研究所の研究者4人による論文によると、トークンベースの課金のリスクは不透明性だけにとどまらず、プロバイダがトークン数を水増しするインセンティブが内在していると指摘している。

問題の核心は、文字列のトークン化が一意ではないという事実にあります。例えば、ユーザーが「次のNeurIPSはどこで開催されますか？」という質問をプロバイダーに送信し、プロバイダーがそれをLLMに入力すると、モデルは2つのトークンからなる「|San| Diego|」という出力を生成します。

「ユーザーは生成プロセスに気づかないため、利己的なプロバイダーは、基になる文字列を変更することさえせずに、出力のトークン化をユーザーに誤って報告する可能性があります。例えば、プロバイダーは単に「|S|a|n| |D|i|e|g|o|」というトークン化を共有し、ユーザーに2トークンではなく9トークンを過剰請求する可能性があります。」

この論文では、目に見える出力を変更することなく、また典型的なデコード設定における妥当性を損なうことなく、この種の不正な計算を実行できるヒューリスティックを提示している。 ラマ, ミストラル および ジェマ この方法は、実際のプロンプトを使用して、異常な外観を示さずに測定可能な過充電を実現します。

「妥当な誤報告」を用いたトークンインフレ。各パネルは、プロバイダーが1個のLMSYSプロンプトの出力にアルゴリズム400を適用した結果、過剰請求されたトークンの割合を示しています。サンプリングパラメータ（mとp）はそれぞれ異なります。すべての出力は温度1.3で生成され、設定ごとに90回の繰り返しでXNUMX%信頼区間を計算しました。 出典: https://arxiv.org/pdf/2505.21627

この問題に対処するために、研究者らは、 文字カウント 彼らは、トークンではなく、これがプロバイダーに使用量を正直に報告する理由を与える唯一のアプローチであると主張し、公正な価格設定を目指すならば、コストを隠れたプロセスではなく目に見える文字に結び付けることが、精査に耐えうる唯一の選択肢であると主張している。文字ベースの価格設定は、誤報告の動機を排除すると同時に、より短く効率的な出力に報奨を与えると彼らは主張している。

ただし、ここではいくつかの追加的な考慮事項があります（ほとんどの場合、著者らも認めています）。まず、提案されている文字ベースのスキームでは、消費者よりもベンダーに有利になる可能性のある追加のビジネスロジックが導入されます。

「決して誤報告をしないプロバイダーは、可能な限り短い出力トークンシーケンスを生成し、BPEなどの現在のトークン化アルゴリズムを改善して、出力トークンシーケンスを可能な限り圧縮するという明確なインセンティブを持っています。」

ここでの楽観的なモチーフは、ベンダーが簡潔で、より有意義かつ価値のある出力を生成するよう促されるというものです。実際には、プロバイダーがテキスト数を削減するための、より低効率な方法は明らかに存在します。

第二に、著者らは、企業が難解なトークンシステムからより明確なテキストベースの課金方法に移行するには、法整備が必要になる可能性が高いと述べている。将来的には、新興企業がこの種の価格モデルで製品を発売することで差別化を図るかもしれないが、真に競争力のある製品（そして、より小規模な事業規模で運営している企業）を持つ企業は、 EEEカテゴリー) は、これを行う意欲をなくします。

最後に、著者らが提案するような窃盗アルゴリズムには、それ自身の計算コストが伴う。「追加料金」の計算コストが潜在的な利益を上回れば、この仕組みには明らかにメリットがない。しかし、研究者らは提案アルゴリズムが効果的かつ経済的であることを強調している。

著者らは自らの理論のコードを提供している GitHubで.

スイッチ

2番目の 紙 – タイトル付き 目に見えないトークン、目に見える請求書：不透明なLLMサービスにおける隠れたオペレーションの監査が緊急に必要メリーランド大学とバークレー大学の研究者による論文は、商用言語モデルAPIにおけるインセンティブの不一致はトークン分割に限らず、 クラス全体 隠された操作の。

これらには、内部モデルの呼び出し、推測による推論、ツールの使用、マルチエージェントのインタラクションなどが含まれますが、これらはすべて、可視性や償還請求なしにユーザーに課金される可能性があります。

主要プロバイダーにおける推論LLM APIの価格設定と透明性。リストされているすべてのサービスは、ユーザーに隠された内部推論トークンに対して課金しており、実行時にこれらのトークンを可視化するサービスは提供していません。コストは大きく異なり、OpenAIのo1-proモデルは、Claude Opus 4やGemini 2.5 Proと同等の透明性にもかかわらず、XNUMX万トークンあたりの課金がXNUMX倍高くなっています。 出典: https://www.arxiv.org/pdf/2505.18471

サービスの量と質が検証可能な従来の請求とは異なり、著者らは、今日のLLMプラットフォームは、 構造的な不透明性: ユーザーは報告されたトークンと API の使用状況に基づいて課金されますが、これらのメトリックが実際の作業または必要な作業を反映しているかどうかを確認する手段はありません。

この論文では、操作の主な形態を 2 つ特定しています。 数量インフレユーザーの利益なくトークンや通話回数が増加する場合。 品質低下プレミアム コンポーネントの代わりに、パフォーマンスの低いモデルやツールが暗黙的に使用される場合:

推論LLM APIでは、プロバイダーは多くの場合、同じモデルファミリーの複数のバリアント（容量、トレーニングデータ、最適化戦略が異なるもの）を維持しています（例：ChatGPT o1、o3）。モデルのダウングレードとは、低コストのモデルへのサイレントな代替を指し、期待されるサービス品質と実際のサービス品質の間に不一致が生じる可能性があります。

例えば、課金はそのままに、プロンプトはより小規模なモデルで処理されることがあります。多くのタスクにおいて最終的な回答が妥当に見える可能性があるため、ユーザーがこの慣行に気付くのは困難です。

この論文では、請求されたトークンの90%以上がユーザーに表示されず、内部的な推論によってトークンの使用量が20倍以上に膨らんでいた事例が記録されています。正当かどうかはさておき、こうした手順の不透明さは、ユーザーがトークンの関連性や正当性を判断する根拠を一切与えません。

エージェント システムでは、AI エージェント間の内部やり取りでそれぞれ料金が発生しても最終的な出力に大きな影響を与えないため、不透明性が高まります。

エージェントは内部推論に加えて、プロンプト、要約、計画指示を交換することでコミュニケーションを行います。各エージェントは、他のエージェントからの入力を解釈し、ワークフローを導くための出力を生成します。これらのエージェント間メッセージは、エンドユーザーには直接表示されないことが多い、大量のトークンを消費する場合があります。

「エージェントの調整中に消費されるトークン（生成されたプロンプト、応答、ツール関連の指示など）は通常、ユーザーには表示されません。エージェント自身が推論モデルを使用する場合、課金はさらに不透明になります。」

これらの問題に対処するため、著者らは、内部活動の暗号的証明、モデルまたはツールの同一性を示す検証可能なマーカー、そして独立した監視を含む階層的な監査フレームワークを提案している。しかし、根本的な懸念は構造的なものである。現在のLLM課金スキームは、永続的な 情報の非対称性ユーザーは、検証したり詳細を調べたりできないコストにさらされることになります。

目に見えないものを数える

メリーランド大学の研究者による最終論文は、請求問題を不正使用や誤報告の問題ではなく、構造の問題として再定義している。 紙 – タイトル付き CoIn: 商用の不透明な LLM API における目に見えない推論トークンのカウント、そしてメリーランド大学の10人の研究者によると、ほとんどの商業LLMサービスは現在、 中級推論 モデルの最終的な答えに貢献するが、 依然としてトークンに料金を請求する.

この論文では、これにより、検出されることなくシーケンス全体を偽造、注入、または膨張させることができる、観察不可能なビリング サーフェスが作成されると主張しています*。

「この不可視性により、プロバイダーは トークン数の誤報告 or 低コストで偽造された推論トークンを注入して、トークン数を人為的に増やす私たちはこの習慣を トークン数のインフレ.

「例えば、OpenAIのo3モデルで実行された単一の高効率ARC-AGIは111億XNUMX万トークンを消費しました。 原価計算 $66,772.3 この規模を考えると、小さな操作でも大きな経済的影響につながる可能性があります。

「このような情報の非対称性により、AI企業はユーザーに大幅な過剰請求をすることができ、その結果、ユーザーの利益が損なわれることになる。」

この非対称性に対抗するために、著者らは コインは、隠されたトークンをその内容を明らかにせずに検証するように設計されたサードパーティの監査システムであり、ハッシュ化されたフィンガープリントとセマンティックチェックを使用してインフレの兆候を見つけます。

不透明な商用LLM向けのCoIn監査システムの概要。パネルAは、推論トークンの埋め込みがMerkle木にハッシュ化され、トークンの内容を明らかにすることなくトークン数を検証する方法を示しています。パネルBは、軽量ニューラルネットワークが推論ブロックと最終解を比較する意味的妥当性チェックを示しています。これらのコンポーネントを組み合わせることで、サードパーティの監査人は、独自のモデル動作の機密性を維持しながら、隠れたトークンインフレを検出できます。出典: https://arxiv.org/pdf/2505.13778

1つのコンポーネントは、 メルクルツリーもう1つは、隠されたコンテンツの関連性を、回答の埋め込みと比較することで評価します。これにより、監査人は、単に請求額を増やすためだけにトークンが挿入されている兆候である、パディングや無関係性を検出できます。

CoInはテスト導入において、基礎データの露出を最小限に抑えながら、一部のインフレ行為において95%近くの検出率を達成しました。このシステムは依然としてプロバイダーからの自主的な協力に依存しており、エッジケースにおける解決能力も限られていますが、その本質は明白です。現在のLLM課金のアーキテクチャそのものが、検証不可能な誠実性を前提としているのです。

まとめ：

ユーザーから前払い金を得るという利点に加えて、 スクリプトを書くベースの通貨（例えば、 CivitAI）は、ユーザーが支払っている通貨や購入している商品の真の価値をユーザーから遠ざけるのに役立ちます。同様に、ベンダーに独自の価値を定義する余地を与えることは、 独自の測定単位 さらに、消費者は実際のお金で何に実際に費やしているのか分からなくなってしまいます。

以下のような ラスベガスの時計不足この種の対策は、消費者をコストに対して無頓着にしたり、無関心にしたりすることを目的としていることが多い。

ほとんど理解されていない トークンは、様々な方法で消費され定義されるので、LLMの消費の測定単位としては適切ではないかもしれません。 トークンのコストが何倍も高い 英語ベースのセッションと比較して、英語以外の言語での LLM 結果がより劣ると計算されます。

しかし、マックス・プランクの研究者が提案したように、文字ベースの出力は、より簡潔な言語を優先し、 自然に冗長な言語減価償却トークンカウンターなどの視覚的な表示は、おそらくLLMセッションで私たちを少し浪費させるだけでしょうから、少なくとも法的な措置が取られない限り、そのような便利なGUIの追加がすぐに実現する可能性は低いでしょう。

* 著者の強調点。著者のインライン引用をハイパーリンクに変換しました。

初版発行日：29年2025月XNUMX日（木）