エッジデバイスは単一のフォワードパスでベンチマークされた。エージェントはループを回す。

エッジAIに関するハードウェアの議論は、昨年に比べて格段に率直になった。このサイトの最近の記事では、従来の設計階層――「スループットを最大化し、そこから電力と熱を管理する」――が逆転し、産業用途では電力が最重要課題となり、純粋なスループットは最後になると論じている。この出版物が以前から主張してきた議論の延長で、エッジデバイスは「MIPS/計算リソースではなく熱が制限要因」であり、スマートフォンはすでにその限界に達しているというものだ。どちらも実際の修正であり、やむを得ない遅れだった。

しかし、そこには依然として修正対象となっている世界からの前提が残っている。その階層のすべての項目は想定されたワークロードに対して予算が組まれており、ほとんどの人がまだ想定しているワークロードは単一のフォワードパスだ。すなわち、モデルが入力を受け取り出力を生成し、シリコンが一瞬冷却されるという流れである。

それはエージェントのやり方ではない。エージェントは判断し、ツールを呼び出し、返ってきた結果を読み取り、再び判断する。そのループを何回回すかはハードウェアの特性でもモデルの特性でもなく、朝に与えられた問題の特性である。エッジハードウェア上でエージェントを動かしてきたが、最も受け入れるのに時間がかかったのは、エージェントが遅いことではなく、実行コストが設計時に見えない場所で設定されていたことだった。

The Loop Is Unbounded Until Someone Types a Number

これは修辞的な枠組みではなく、フレームワークが実際に構築されている方法だ。OpenAI の Agents SDKでは、ランナーが「ループを実行」し、モデルがツール呼び出しを生成すると、ランタイムは「そのツール呼び出しを実行し、結果を付加してループを再実行」する。唯一停止させるのはターン上限で、max_turns を超えると例外が発生する。ドキュメントには max_turns=None を渡すことで上限を完全に無効化できると記載されている。

サーバー上では、その数値は課金の判断である。誰かが請求書に気付く。

デバイス上では、その数値は熱の判断になる。ループ長はデューティサイクルであり、デューティサイクルは受動冷却が対抗できない唯一の変数だ。

Sustained Load Does Something Different to a Phone Than a Benchmark Does

2026年3月のベンチマークは、4つのプラットフォームに対してまさにこの種の負荷をかけた。量子化された15億パラメータのモデル、固定された258トークンのプロンプト、20回連続実行し、各回でスループット、電力、温度を測定した。これはプレプリントで、1つのモデルを4つのデバイスでベンチマークしているため、具体的な数値は各プラットフォームの特性を示すものであり、自然法則とは見なさない。重要なのは結果の形状である。

iPhone 16 Pro は最大で 40.35 トークン/秒に達したが、維持できなかった。2回の推論以内に劣化が現れ、最終的に 22.56 トークン/秒（44% の低下）に落ち着き、ベンチマークの 65% でスロットルがかかった。結合温度が上昇するとクロック速度を下げる動的電圧・周波数スケーリング（DVFS）は、まさにその目的通りに機能した。

Galaxy S24 Ultra は異なる、しかもより深刻な形で失敗した。劣化する代わりに、Android のサーマルガバナーが 6 回目のイテレーションで 78.3°C にハードな GPU 周波数下限を設定し、推論が停止した。著者らはここで重要な点を私以上に的確に指摘している。エージェントの展開において、これは「優雅な劣化」よりも「より破壊的」であり、システムが遅くなるのではなく、使用不能になるからだ。

ここで注目すべきは、単に興味深いだけでなく致命的である点だ。その20回すべての実行で同じプロンプトが使用された。これはエージェントのハードウェアが遭遇する最も優しいワークロードであり、2つのフラッグシップフォンでも20回の繰り返しを維持できなかった。これは新たな発見でもない。2024年の MobiCom で発表された MELTing point は、エネルギーと熱の観点から「LLM の継続的実行は依然として困難である」と結論付けている。2 年と数世代のプロセスノードが変わっても、壁は同じだ。

Two Curves Move Toward Each Other, and Your Product Breaks Where They Cross

エージェントのループは、単なる繰り返しプロンプトよりも特定の機械的な点で劣る。

デコードはメモリ帯域幅に制約される。スループットはチップが理論的に実行できる演算数ではなく、モデルがキー・バリューキャッシュをどれだけ速く読み取れるかで決まる。そのキャッシュはコンテキストとともに拡大する。ループの各ステップでツールの結果、観測、部分計画が付加されるため、ステップ10はステップ1に比べて実質的に大きなキャッシュに対してトークンを生成している。

その間、デバイスは熱くなり、ガバナーはクロックを下げている。

したがって、ステップごとのコストはデバイスの支払い能力が低下する瞬間に上昇する。2 つの曲線は収束し、交差する地点が製品の失敗点になる。失敗は決してステップ1では起きない。ステップ1はテストした地点に過ぎない。

この点にもスケールの問題がある。生成タスクは、エッジシリコンが過去10年にわたって実行してきたものとは費用構造が根本的に異なる。88モデルにわたる測定によると、テキスト分類は千回推論あたり約 0.002 kWh であるのに対し、テキスト生成は約 0.047 kWh で、約20倍のエネルギーが必要である（ループでさらに増幅する前の数値）。これらの測定はデータセンターの GPU で行われており、スマートフォン上の数値ではないので、デバイスの消費電力としてではなく、作業種別間の比率として捉えるべきだ。同じ研究では、スマートフォンをフル充電するのに 0.022 kWh が必要と示されている。

Buy on Joules per Finished Task, Not on Tokens per Second

その2026年ベンチマークで最も有用な結果は、見た目が最も印象に欠けるものだ。

Hailo-10H NPU は 2 ワット未満で 6.9 トークン/秒を達成した。遅い――実際に遅く、著者らもそう述べている。しかし、スループットの変動係数は 0.04% で、他のすべてのテスト対象よりも 2 桁安定していた。同じ研究のラップトップ GPU は 34.1 ワットで 131.7 トークン/秒を提供した。

次に速度ではなくエネルギーで比較すると、小さな NPU はトークンあたり 270.5 ミリジュール、GPU は 297.3 ミリジュールである。スループットが19倍の差があるにもかかわらず、小さな部品はジュールあたりわずかに多くの計算を行い、しかもほぼ変動がなかった。

トークン/秒でハードウェアを選べば高速なものを購入することになる。エージェントが実際に必要とする、予測可能なコストで有界ループを完了できる能力で選べば、順位は変わる。仕様書に記載すべき単位は完了タスクあたりのジュールで、隣に変動値を示すべきだ。ピークスループットを報告するベンチマークは、1日の最初の推論について語っているに過ぎない。

The Honest Objection, and What It Does Not Solve

明白な反論は、これは一時的な問題であり、シリコンは進化し、NPU は成熟し、2026年の電話に関する記述は古臭く見えるだろう、というものだ。あるいは、実務的には高コストのステップをサーバーにオフロードする。

私自身はハードウェアに賭けてもいいが、オフロードはエッジに持ち込んだ往復であり、エージェントはそれを一度だけ支払うのではなく、ループステップごとに支払う。ループ長は予測できない要素だ。ハイブリッド設計は変動を除去するのではなく、ネットワーク上に再配置するだけだ。

根本的な非対称性はプロセスノードとともに変わらない。デバイスの予算は設計時に固定され、エージェントの要求は実行時にユーザーの指示によって決まる。優れたシリコンは上限を引き上げるが、エージェントにその上限がどこかを示すわけではない。

したがって、明示すべきだ。コードレビューで見つけるのではなく、製品仕様でターン上限を設定し、熱予算から数値を選ぶ。何ステップまで収まるかを決め、その上限内でエージェントが利用可能な最良の回答を生成するよう設計する。理想的な回答を任意の上限で求めるのではなく、締め切りとして扱うべきで、目標ではない。

次に、エージェントに予算を入力として与える。残りの余裕、バッテリー状態、プラットフォームがすでにスロットルを開始しているかどうか――これらは現在時刻と同様にコンテキストに含めるべきだ。10 ステップ中 8 ステップ目であることを認識しているエージェントは要約してコミットできるが、認識していないエージェントは OS が決定するまで探索し続ける。

そして、中央値ではなくテールをテストすべきだ。実機ではシミュレーションでテストすることになる。失敗ケースは決してクリーンな実行ではなく、ツールが3ステップ目で曖昧な結果を返したために14ステップかかった実行である。試行間に冷却が必要なスマートフォンで手作業で列挙することはできない。私のシステムがシミュレーションで訓練するのは主にこの理由で、興味深い挙動は長時間の実行に現れ、長時間の実行こそがハードウェアが手作業でサンプリングできないものなのだ。

これらは高速なチップを必要とするわけではない。ワークロードの形状が変化したことを認める必要があるだけだ。バッテリーが1枚の写真用に設計されたデバイスは出荷されない。現在も、熱予算が1回の推論用に設計されたデバイスが出荷されている。