AIのレイテンシとスループットの違い：TTFT、1秒あたりのトークン数、その他の指標を解説

AIのレイテンシは、リクエストやトークンの処理にかかる時間を示します。一方、スループットは、サービングシステムが単位時間あたりに処理する仕事量を示します。

AIのレイテンシとスループットについては、その名称が特定の情報の流れ、学習上の選択、実行時の仕組み、またはガバナンス上の境界を指すため、正確に説明する必要があります。これを「高度なAI」の同義語として扱うと、主張を検証できなくなります。このガイドでは、入力と前提から観測可能な結果まで概念をたどり、さらに混同されやすい単純化について検証します。

AIのレイテンシとスループット：定義、境界、目的

AIのレイテンシは、リクエストやトークンの処理にかかる時間を示します。一方、スループットは、サービングシステムが単位時間あたりに処理する仕事量を示します。この定義には、実務上の要件が3つあります。特定可能な入力があること、AIのレイテンシとスループットに特徴的な変換または判断があること、そして明示された目標に照らして評価できる結果があることです。いずれかが欠けている場合、その名称は実装済みの仕組みではなく、目指す状態を表しているにすぎない可能性があります。

推論性能は、モデルのアーキテクチャ、数値精度、メモリ移動、スケジューリング、ネットワーク、ハードウェア、ワークロードの形状にまたがるシステム上の特性です。AIのレイテンシとスループットを考えるうえで、このシステム全体の視点が重要なのは、基盤となるモデルが変わらなくても、周辺のデータ、インターフェース、ハードウェア、権限、人員によって性能が左右されるためです。そのため、有用な説明では、モデルが学習によって獲得した振る舞いと、その振る舞いをいつ、どこで、どのような権限のもとで使うかを決める製品とを切り分けます。

誤解を招きやすい最も単純な方法は、目立つ「1秒あたりのリクエスト数」という単一の数値を最適化することです。AIのレイテンシとスループットと表面的な特徴は共通しているかもしれませんが、因果関係の捉え方は異なります。成功を証明するために必要な証拠、コストを大きく左右するリソース、害を防ぐための制御も、それぞれ異なります。したがって、その境界は用語上のものではなく、運用上のものです。

AIのレイテンシとスループットを捉える5段階の運用マップ

この図は、AIのレイテンシとスループットの因果関係を簡潔に示したものであり、あらゆる実装が5つのソフトウェアコンポーネントを使うと主張するものではありません。複数の段階を統合するシステムもあれば、それらをループ状に繰り返すシステムもあります。このマップが有用なのは、情報や権限に変更を加えるたびに、その担当者、入力、出力、検証方法を明確にするためです。

1. キューへの投入受け付けと前処理にタイムスタンプを付与する：AIのレイテンシとスループットにおける入力と前提

AIのレイテンシとスループットのこの段階では、システムはキューへの投入受け付けと前処理にタイムスタンプを付与する必要があります。重要なのは、その処理が行われるかどうかだけではありません。どの情報を取り込み、どの状態を変更し、その変更が妥当だったことをどの証拠で示すのかが問われます。評価者は、この処理を目立つ「1秒あたりのリクエスト数」という単一の数値の最適化と区別し、明示された同一条件のもとで結果を再現できる必要があります。

AIのレイテンシとスループットにおけるこの段階への引き継ぎは、明示された目標から始まり、最初の有用な出力までの時間を測定する根拠となる結果につなげる必要があります。不確実性、採用しなかった代替案、リソースの使用状況、境界で適用された人間またはソフトウェアによる制御を記録してください。こうした記録があれば、バッチのスループットを最大化すると、同じ弱点が重大な影響を及ぼす出力に現れる前に、個々のユーザーへの初回応答が大幅に遅くなる可能性があるかどうかをチームが検知できます。

2. 最初の有用な出力までの時間を測定する：AIのレイテンシとスループットにおける表現または判断

AIのレイテンシとスループットのこの段階では、システムは最初の有用な出力までの時間を測定する必要があります。重要なのは、その処理が行われるかどうかだけではありません。どの情報を取り込み、どの状態を変更し、その変更が妥当だったことをどの証拠で示すのかが問われます。評価者は、この処理を目立つ「1秒あたりのリクエスト数」という単一の数値の最適化と区別し、明示された同一条件のもとで結果を再現できる必要があります。

AIのレイテンシとスループットにおけるこの段階への引き継ぎは、キューへの受け入れと前処理にタイムスタンプを付けることから始まり、トークン間またはアイテムごとの速度を追跡できる結果をもって終える必要がある。境界で生じた不確実性、却下した代替案、リソースの使用状況、人間またはソフトウェアによる制御を記録する。この記録をたどれば、バッチスループットの最大化によって個々のユーザーへの初回応答が大幅に遅くなり、その同じ弱点が重大な結果に及ぶ前に、チームはそれを検知できる。

3. トークン間またはアイテムごとの速度を追跡する：AIのレイテンシとスループットにおける特徴的な変換

AIのレイテンシとスループットにおけるこの段階では、システムはトークン間またはアイテムごとの速度を追跡する必要がある。重要なのは、その処理が行われるかどうかだけではなく、どの情報を取り込み、どの状態を変化させ、その変更が妥当だったことをどの証拠で示せるかである。評価者は、その処理を、単一の目立つリクエスト毎秒の数値を最適化することと区別でき、明示された同一条件のもとで結果を再現できる必要がある。

AIのレイテンシとスループットにおけるこの段階への引き継ぎは、最初の有用な出力までの時間を測定することから始まり、フリート全体で完了した作業量を数えられる結果をもって終える必要がある。境界で生じた不確実性、却下した代替案、リソースの使用状況、人間またはソフトウェアによる制御を記録する。この記録をたどれば、バッチスループットの最大化によって個々のユーザーへの初回応答が大幅に遅くなり、その同じ弱点が重大な結果に及ぶ前に、チームはそれを検知できる。

4. フリート全体で完了した作業量を数える：AIのレイテンシとスループットにおける制約と検証の境界

AIのレイテンシとスループットにおけるこの段階では、システムはフリート全体で完了した作業量を数える必要がある。重要なのは、その処理が行われるかどうかだけではなく、どの情報を取り込み、どの状態を変化させ、その変更が妥当だったことをどの証拠で示せるかである。評価者は、その処理を、単一の目立つリクエスト毎秒の数値を最適化することと区別でき、明示された同一条件のもとで結果を再現できる必要がある。

AIのレイテンシとスループットにおけるこの段階への引き継ぎは、トークン間またはアイテムごとの速度を追跡することから始まり、平均値とテールパーセンタイルを併せて分析できる結果をもって終える必要がある。境界で生じた不確実性、却下した代替案、リソースの使用状況、人間またはソフトウェアによる制御を記録する。この記録をたどれば、バッチスループットの最大化によって個々のユーザーへの初回応答が大幅に遅くなり、その同じ弱点が重大な結果に及ぶ前に、チームはそれを検知できる。

5. 平均値とテールパーセンタイルを併せて分析する：AIのレイテンシとスループットにおける出力、フィードバック、停止ルール

AIのレイテンシとスループットにおけるこの段階では、システムは平均値とテールパーセンタイルを併せて分析する必要がある。重要なのは、その処理が行われるかどうかだけではなく、どの情報を取り込み、どの状態を変化させ、その変更が妥当だったことをどの証拠で示せるかである。評価者は、その処理を、単一の目立つリクエスト毎秒の数値を最適化することと区別でき、明示された同一条件のもとで結果を再現できる必要がある。

AIのレイテンシとスループットにおけるこの段階への引き継ぎは、フリート全体で完了した作業量を数えることから始まり、モニタリングまたは最終判断に役立つ結果をもって終える必要がある。境界で生じた不確実性、却下した代替案、リソースの使用状況、人間またはソフトウェアによる制御を記録する。この記録をたどれば、バッチスループットの最大化によって個々のユーザーへの初回応答が大幅に遅くなり、その同じ弱点が重大な結果に及ぶ前に、チームはそれを検知できる。

AIのレイテンシとスループットの全体像は、本番環境での動作を理解するには順方向に、障害の原因を特定するには逆方向にたどる。順方向の分析では、各段階が次の段階にどのように情報を渡すかを問う。逆方向の分析では、誤った、遅い、高コストな、あるいは安全でない結果を起点に、どの先行する前提がそれを許したのかをたどる。決定的な誤りがモデルの出力前に起きていたとチームが気づくのは、多くの場合、この逆方向の分析においてである。

AIのレイテンシとスループットの具体例

対話型アシスタントでは最初のトークンが出力されるまでの時間が優先される一方、オフラインの埋め込み処理では1秒あたりのアイテム数が優先される場合がある。

この例が有益なのは、AIのレイテンシとスループットを、洗練されたデモを見て評価するのではなく、観測可能な入力、中間状態、結果に結びつけられるからだ。厳密なテストでは、このシナリオをもとに通常のケース、難しいケース、意図的に誤解を招くケースを用意し、その手法を使わないベースラインを維持したうえで、平均的な性能と個々の失敗の深刻さの両方を記録する。

AIのレイテンシとスループットの例で前提を一つ変え、分析を繰り返してみよう。必須の入力を取り除く、相反するシグナルを加える、計算資源を制限する、ユーザー層を変える、あるいはシステムに回答を控えさせる。入念に整えた一つのデモでしか成功しない仕組みでは、実際の運用環境でも汎用的に機能することは立証されていない。

AIのレイテンシとスループットと、よくある近道の比較

AIのレイテンシとスループットは、しばしば「1秒あたりのリクエスト数」という単一の代表値を最適化することに矮小化されます。こうした単純化は、この概念を定義する肝心の境界を取り払ってしまいます。その結果、購入者が条件の異なる製品を比較したり、研究者が実験で示されたことを過大に主張したり、運用担当者がデプロイ後に誤った指標を監視したりするおそれがあります。

比較では、分析の単位も明らかにする必要があります。AIのレイテンシとスループットを扱う論文では、モデルやアルゴリズムだけを切り分けて分析する場合があります。一方、デプロイされたサービスには、検索、ルーティング、キャッシュ、ポリシー、ID管理、ユーザーインターフェース、モニタリングが加わります。2つの製品が同じ代表的な用語を使っていても、スタック内で実装している部分は異なることがあります。どのコンポーネントが定義上の変換処理を担い、報告された結果を得るためにほかのどのコンポーネントが必要なのかを確認してください。

現在のAIシステムでAIのレイテンシとスループットが重要な理由

AIシステムでは、より長いコンテキスト、より多くのモダリティ、より多くの実行時計算資源、より広範なツールへのアクセス、そして組織の意思決定とのより深い連携が進んでいるため、AIのレイテンシとスループットがいま重要になっています。こうした状況では、かつては研究上の細部に見えた要素が、レイテンシ、セキュリティ、アクセシビリティ、環境コスト、製品品質、法的責任を左右することがあります。

重要なのは、AIのレイテンシとスループットによって目を引く結果を1つ出せるかどうかではありません。代表的な条件のもとで重要な成果を改善し、より単純なベースラインよりも効果的に改善できるかどうかです。すべての結果を1つの平均値にまとめるのではなく、分布、失敗の分類、テールレイテンシ、リソース使用量、影響を受けるサブグループを報告してください。

現実的な同時実行数のもとで、実際のリクエスト分布をベンチマークしてください。最初の結果が返るまでの時間、定常状態での速度、テールレイテンシ、スループット、品質、リソース使用率、失敗、そして有用な成果あたりのコストを報告してください。AIのレイテンシとスループットにこの取り組みを適用すれば、別のチームも、異なるモデル、言語、ハードウェアプラットフォーム、データセット、ユーザー集団、リスク許容度のもとで、主張された改善が維持されそうかを判断できるようになり、エビデンスをほかの環境でも活用できます。

AIのレイテンシとスループットがもたらすメリット

AIのレイテンシとスループットを活用する最大の理由は、意図したボトルネックに直接対処できることです。実装によっては、根拠付けの向上、より忠実な表現、汎化性能の改善、レイテンシの短縮、メモリ転送の削減、説明責任の明確化、あるいはモデルの提案と実際のアクションとの間に設ける、より安全な境界として効果が現れる場合があります。

メリットは、意思決定に役立つ形で、測定可能な指標とともに示す必要があります。「より賢い」ことは、AIのレイテンシとスループットの受け入れ基準にはなりません。有用な目標としては、難しいケースにおけるエラー率、矛盾するエビデンスを得た後の回復、トラフィックの特定パーセンタイルでのコスト、人によるレビューに要する時間、キャリブレーション、あるいは定められた権限の範囲内に収まったアクションの割合などが考えられます。

AIのレイテンシとスループットを特徴づける失敗モード

中心的な制約は、バッチ処理のスループットを最大化すると、個々のユーザーへの最初の応答が大幅に遅くなる可能性があることです。この失敗は、開発が完了してから付け足しで列挙すればよいものではありません。AIのレイテンシとスループットについては、データ収集、アーキテクチャ、権限、評価、リリース判定基準、モニタリングを、最初の段階からこの失敗を踏まえて設計する必要があります。

AIのレイテンシとスループットを制御する仕組みが有効なのは、コストのかかる結果や取り返しのつかない結果が生じる前に作動する場合に限られます。失敗の兆候として最も早く観測できるものを特定し、しきい値やルールを定め、責任者を明確にしたうえで、復旧手順をテストしてください。用途によっては、処理を差し控える、より単純なシステムに切り替える、追加の根拠を求める、人にエスカレーションする、モデルを以前の状態に戻す、あるいはアクションを完全に停止するといった対応が復旧に当たります。

AIのレイテンシとスループットを評価する計画

AIのレイテンシとスループットの評価は、証拠によってどのような意思決定を支える必要があるのかを書き出すことから始めます。対象となる運用集団、誤った結果がもたらす影響、意思決定時に実際に利用できる情報、そして信頼性のある最も単純な代替案を定義してください。こうすることで、実施が容易というだけの理由でベンチマークが目的化するのを防げます。

管理された比較には未使用のテストセットを使い、その後、段階的な運用環境でAIのレイテンシとスループットを検証します。オフライン評価によって各バリアントを比較できるようにし、シャドーモード、カナリアリリース、レート制限、承認ゲートなどを通じて、実際のトラフィック、フィードバックループ、人々がどのように挙動を変えるかを明らかにします。改善が見られれば必ず全面展開すべきだと決めつけず、展開段階には明確な停止条件を設けてください。

AIのレイテンシとスループットを再現するために必要な入力をバージョン管理してください。該当するものとして、ソースデータ、前処理、トークナイザーまたはエンコーダー、モデルの重み、設定、プロンプトまたはポリシー、検索インデックス、評価セット、ハードウェアの前提条件、サービングコードが挙げられます。来歴を追跡できなければ、結果の変化が手法、環境、あるいは気づかないうちに変更されたパイプラインのどれに起因するのか、チームは判断できません。

最後に、AIのレイテンシとスループットが役立つという主張を覆すのは、どのような調査結果なのかを考えてください。導入の判断を覆し得る結果が何もないのであれば、その評価はマーケティングにすぎません。受け入れ基準となるしきい値を事前に決め、確認用セットを保持しておくことで、この取り組みを証拠に基づく評価にできます。

AIのレイテンシとスループットを導入する前に確認すべきこと

• 目的：AIのレイテンシとスループットは、測定可能などのボトルネックの解消を目指していますか？
• 仕組み：特徴的な変換が行われるのは、5段階のうちどの段階ですか？
• ベースライン：主要なrequests/秒の数値を1つ最適化する方法や、ほかのより単純な代替案と比べて、どのような結果になりますか？
• 証拠：一般的なケース、難しいケース、敵対的なケース、サブグループごとのケースのうち、どれをテストしましたか？
• 運用：大規模運用では、レイテンシ、メモリ、計算リソース、エネルギー、保守、レビューにどのようなコストが生じますか？
• リスク：バッチスループットの最大化によって、個々のユーザーへの初回応答が大幅に遅くなる事態を、チームはどのように検知しますか？
• 復旧：被害が生じる前に、システムは処理を差し控えたり、切り替えたり、以前の状態に戻したり、人にエスカレーションしたりできますか？

AIのレイテンシとスループットを調べるための主要な情報源

AIのレイテンシとスループットを取り巻くAIスタックについて、信頼できる情報源として出発点となるのは、FlashAttentionに関する論文、vLLMとPagedAttention、投機的デコーディングに関する研究です。これらは、対象となる正確なモデル、データセット、ハードウェア、法域に関するドキュメントと併せて読んでください。一般的な情報源から仕組みを理解することはできますが、特定の実装が適切かどうかを判断するには、導入環境に固有の証拠が必要です。

AIのレイテンシとスループットについて覚えておくべきこと

AIのレイテンシとスループットは、より大きな社会技術システムの中に位置する、明確に定義された仕組みです。その価値は、名称そのものではなく、明示された条件のもとで特定の成果を改善することにあります。5段階のマップは情報の流れを可視化し、比較によってそれが何ではないかを明らかにし、制御経路によって責任を負う運用担当者が介入できる箇所を示します。

AIのレイテンシとスループットを実務に活用するには、目的を定義し、信頼できるベースラインと比較し、最も重要な失敗をテストし、変化を監視するために必要な証拠を保持することが基本です。これらを整えれば、この概念は評価可能なエンジニアリングおよびガバナンス上の選択肢になります。そうでなければ、運用上のリスクが不明なまま、期待を抱かせる名称だけが付いている状態にとどまります。