Ihr Edge-Gerät wurde mit einem Vorwärtsdurchlauf benchmarked. Ihr Agent wird eine Schleife ausführen.

Die Diskussion über Hardware im Bereich Edge‑KI ist im letzten Jahr deutlich ehrlicher geworden. Ein kürzlich veröffentlichter Beitrag auf dieser Seite argumentierte, dass die alte Design‑Hierarchie – “maximize throughput, then manage power and thermals around it” – umgekehrt wurde und dass bei industriellen Einsätzen die Leistung jetzt oberste Priorität hat, während der rohe Durchsatz zuletzt kommt. Das greift einen Argumentzug auf, den diese Publikation schon seit einiger Zeit vertritt: Edge‑Geräte sind “thermal-limited, not MIPS/compute-limited“, und Smartphones liegen bereits an diesen Grenzen. Beide stellen echte Korrekturen dar und sind überfällig.

Aber es trägt immer noch eine Annahme aus der Welt, die es korrigiert. Jeder Punkt in dieser Hierarchie wird gegen eine angenommene Arbeitslast budgetiert, und die Arbeitslast, gegen die fast alle noch budgetieren, ist ein einzelner Forward Pass: ein Modell erhält einen Input, erzeugt einen Output, und das Silizium bekommt einen Moment zum Abkühlen.

Das ist nicht das, was ein Agent tut. Ein Agent entscheidet, ruft ein Werkzeug auf, liest die Rückmeldung und entscheidet erneut. Wie oft er diese Schleife durchläuft, ist keine Eigenschaft Ihrer Hardware und auch nicht wirklich eine Eigenschaft Ihres Modells. Es ist eine Eigenschaft des Problems, das ihm an diesem Morgen zugewiesen wurde. Ich habe Agenten, die auf Edge‑Hardware laufen, und das, was mich am längsten akzeptieren ließ, war nicht, dass sie langsam waren. Es war, dass die Kosten eines Durchlaufs irgendwo festgelegt wurden, zu dem ich zur Entwurfszeit keine Einsicht hatte.

Die Schleife ist unbeschränkt, bis jemand eine Zahl eingibt

Dies ist keine rhetorische Formulierung; so sind die Frameworks tatsächlich aufgebaut. In OpenAI’s Agents SDK führt der Runner “runs a loop”, und wenn das Modell Werkzeugaufrufe erzeugt, wird die Laufzeit “run those tool calls, append the results, and re-run the loop.” Das Einzige, was sie stoppt, ist ein Turn‑Limit — überschreitet man max_turns, erhält man eine Ausnahme — und die Dokumentation weist darauf hin, dass man max_turns=None übergeben kann, um das Limit vollständig zu deaktivieren.

Auf einem Server ist diese Zahl eine Abrechnungsentscheidung. Jemand bemerkt die Rechnung.

Auf einem Gerät ist diese Zahl eine thermische Entscheidung, weil die Schleifenlänge dem Duty‑Cycle entspricht. Und der Duty‑Cycle ist die eine Variable, mit der passives Kühlen nicht argumentieren kann.

Dauerhafte Belastung bewirkt etwas anderes bei einem Telefon als ein Benchmark

Ein Benchmark vom März 2026 stellte vier Plattformen genau dieser Belastung aus: ein quantisiertes 1,5‑Milliarden‑Parameter‑Modell, ein fester Prompt mit 258 Token, zwanzig aufeinanderfolgende Durchläufe, wobei Durchsatz, Leistung und Temperatur jeweils gemessen wurden. Es handelt sich um ein Pre‑Print, das ein Modell auf vier Geräten benchmarked, sodass die konkreten Zahlen eher eine Charakterisierung dieser Plattformen als ein Naturgesetz darstellen. Die Form des Ergebnisses ist entscheidend.

Ein iPhone 16 Pro erreichte maximal 40,35 Token pro Sekunde und konnte das nicht halten. Die Degradation zeigte sich bereits nach zwei Inferenzvorgängen. Es stabilisierte sich bei 22,56 Token pro Sekunde – eine Reduktion von 44 % – und blieb für 65 % des Benchmarks gedrosselt. Dynamic voltage and frequency scaling, der Mechanismus, der die Taktfrequenz senkt, wenn die Junction‑Temperatur steigt, tat genau das, wofür er vorgesehen ist.

Das Galaxy S24 Ultra scheiterte anders und schlimmer. Anstatt zu degradieren, setzte der Android‑Thermal‑Governor bei der sechsten Iteration eine harte GPU‑Frequenzuntergrenze bei 78,3 °C, und die Inferenz stoppte. Die Autoren bringen den hier relevanten Punkt besser auf den Punkt als ich: Für Agent‑Deployments ist das “more disruptive than graceful degradation”, weil das System nicht langsamer wird, sondern unbrauchbar.

Nun halten Sie an dem Detail fest, das dies eher verurteilend als nur interessant macht. Jeder der zwanzig Durchläufe nutzte den gleichen Prompt. Das ist die freundlichste Arbeitslast, die die Hardware eines Agenten je sehen wird, und zwei Flaggschiff‑Handys konnten sie nicht zwanzigmal wiederholen. Das ist ebenfalls keine neue Erkenntnis – der MELT‑Punkt, präsentiert auf der MobiCom 2024, kam zu dem Schluss, dass aus Energie‑ und Thermik‑Gründen “the continuous execution of LLMs remains elusive.” Zwei Jahre und mehrere Prozess‑Knoten später, dieselbe Grenze.

Zwei Kurven nähern sich einander, und Ihr Produkt versagt dort, wo sie sich kreuzen

Die Schleife eines Agenten ist in einer spezifischen, mechanischen Weise schlechter als ein wiederholter Prompt.

Das Decoding ist speicherbandbreitengebunden: Der Durchsatz wird davon bestimmt, wie schnell das Modell seinen Schlüssel‑Wert‑Cache lesen kann, nicht davon, wie viele Operationen der Chip theoretisch ausführen kann. Dieser Cache wächst mit dem Kontext. Jeder Schleifenschritt hängt ein Werkzeug‑Ergebnis, eine Beobachtung, einen Teilplan an – sodass Schritt zehn Token gegen einen deutlich größeren Cache generiert als Schritt eins.

Währenddessen erwärmt sich das Gerät, und der Governor senkt die Takte.

Damit steigt die Kosten pro Schritt genau in dem Moment, in dem die Fähigkeit des Geräts, sie zu tragen, sinkt. Die beiden Kurven konvergieren, und wo immer sie sich treffen, versagt Ihr Produkt. Es ist niemals Schritt eins. Schritt eins ist der Punkt, an dem Sie getestet haben.

Auch darunter liegt ein Skalierungsproblem. Generative Arbeit ist einfach eine andere Kostenordnung als das, was Edge‑Silizium ein Jahrzehnt lang verbraucht hat: gemessen über 88 Modelle kostet die Textklassifikation etwa 0,002 kWh pro tausend Inferenzvorgänge gegenüber 0,047 kWh für die Textgenerierung – also ungefähr zwanzigmal mehr, bevor irgendeine Schleife sie noch multipliziert. Diese Messungen wurden auf einer Rechenzentrums‑GPU und nicht auf einem Handy durchgeführt, sodass man sie als Verhältnis zwischen Arbeitsarten und nicht als Leistungswert für Ihr Gerät verstehen sollte. Für das Skalierungsbeispiel legt dieselbe Studie eine vollständige Smartphone‑Aufladung mit 0,022 kWh an.

Kaufen Sie nach Joule pro abgeschlossener Aufgabe, nicht nach Token pro Sekunde

Das nützlichste Ergebnis dieses Benchmarks von 2026 ist das, das am wenigsten beeindruckend wirkt.

Ein Hailo‑10H NPU schaffte 6,9 Token pro Sekunde bei weniger als 2 Watt. Langsam – wirklich langsam, und die Autoren bestätigen das. Doch sein Durchsatz‑Variationskoeffizient lag bei 0,04 %, also zwei Größenordnungen stabiler als alles andere getestete. Die Laptop‑GPU in derselben Studie lieferte 131,7 Token pro Sekunde bei 34,1 Watt.

Vergleicht man nun beide nach Energie statt nach Geschwindigkeit: 270,5 Millijoule pro Token beim kleinen NPU gegenüber 297,3 Millijoule beim GPU. Trotz einer neunzehnfachen Durchsatzlücke leistete das kleine Bauteil etwas mehr Berechnung pro Joule – und das nahezu ohne Schwankungen.

Wenn Sie Hardware nach Token pro Sekunde auswählen, kaufen Sie das schnelle. Wenn Sie nach der Fähigkeit wählen, eine begrenzte Schleife zu einem vorhersehbaren Kostenpunkt abzuschließen – was ein Agent tatsächlich benötigt – ändert sich das Ranking. Die Kennzahl, die im Datenblatt stehen sollte, ist Joule pro abgeschlossener Aufgabe, ergänzt um eine Varianzangabe. Ein Benchmark, der Spitzen‑Durchsatz meldet, beschreibt lediglich die erste Inferenz des Tages.

Der ehrliche Einwand und was er nicht löst

Die offensichtliche Antwort lautet, dass dies ein vorübergehendes Problem ist: Silizium verbessert sich, NPUs reifen, und alles, was über ein Telefon von 2026 geschrieben wurde, wirkt veraltet. Oder, praktischer: Die kostenintensiven Schritte auf einen Server auslagern.

Ich würde selbst auf die Hardware setzen. Aber das Auslagern ist die Rundreise, die Sie an den Rand verlagert haben, um sie zu vermeiden, und ein Agent zahlt sie nicht einmal – er zahlt sie pro Schleifenschritt, und die Schleifenlänge ist das, was Sie nicht vorhersagen können. Hybride Designs entfernen die Varianz nicht; sie verlagern sie auf ein Netzwerk.

Die tiefere Asymmetrie verschiebt sich nicht mit den Prozessknoten. Das Budget eines Geräts ist zur Entwurfszeit festgelegt. Der Bedarf eines Agenten wird zur Laufzeit entschieden, basierend auf dem, was ein Nutzer verlangt. Besseres Silizium hebt die Obergrenze an. Es sagt dem Agenten jedoch nicht, wo diese Obergrenze liegt.

Also geben Sie das vor. Legen Sie das Turn‑Limit in der Produktspezifikation fest, anstatt es in einer Code‑Review zu entdecken, und wählen Sie die Zahl aus dem thermischen Rahmen: entscheiden Sie, wie viele Schritte passen, und konstruieren Sie den Agenten so, dass er seine bestmögliche verfügbare Antwort innerhalb dieser Grenze liefert, statt seine ideale Antwort in einer beliebigen Grenze. Betrachten Sie es als Frist, nicht als Ziel.

Geben Sie dem Agenten dann das Budget als Eingabe. Verbleibender Spielraum, Batteriezustand, ob die Plattform bereits gedrosselt hat – das gehört in den Kontext, genauso wie die aktuelle Uhrzeit. Ein Agent, der weiß, dass er sich im Schritt acht von zehn befindet, kann zusammenfassen und abschließen. Ein Agent, dem das nicht bewusst ist, wird weiter erkunden, bis das Betriebssystem für ihn entscheidet.

Und testen Sie das Ende, nicht den Median, was bei einem physischen Gerät bedeutet, in einer Simulation zu testen. Der Fehlfall ist nie der saubere Durchlauf. Es ist der Durchlauf, der vierzehn Schritte benötigte, weil ein Werkzeug in Schritt drei etwas Mehrdeutiges zurückgab, und Sie können diese nicht von Hand auf einem Telefon aufzählen, das zwischen den Versuchen abkühlen muss. Meine eigenen Systeme trainieren größtenteils gegen Simulationen aus genau diesem Grund: Das interessante Verhalten zeigt sich in langen Durchläufen, und lange Durchläufe sind genau das, was die Hardware Ihnen nicht per Hand erlauben wird.

Keines davon erfordert einen schnelleren Chip. Es erfordert das Eingeständnis, dass sich die Arbeitslast verändert hat. Niemand liefert ein Gerät, dessen Akku für ein einziges Foto dimensioniert ist. Wir versenden immer noch Geräte, deren thermisches Budget für eine einzige Inferenz ausgelegt ist.