Perangkat Edge Anda Diukur pada Satu Forward Pass. Agen Anda Akan Menjalankan Loop.

Percakapan tentang perangkat keras dalam AI edge menjadi jauh lebih jujur dalam setahun terakhir. Sebuah artikel terbaru di situs ini berargumen bahwa hierarki desain lama — “maksimalkan throughput, lalu kelola daya dan termal di sekitarnya” — telah terbalik, dan untuk penerapan industri daya kini menjadi prioritas utama, sementara throughput mentah berada di urutan terakhir. Ini melanjutkan argumen yang telah dibawa publikasi ini selama beberapa waktu: bahwa perangkat edge adalah “terbatas oleh termal, bukan oleh MIPS/komputasi”, dan bahwa ponsel pintar sudah berada pada batas tersebut. Kedua hal ini merupakan koreksi nyata, dan sudah lama tertunda.

Namun masih terdapat satu asumsi dari dunia yang sedang dikoreksinya. Setiap elemen dalam hierarki tersebut dianggarkan berdasarkan beban kerja yang diasumsikan, dan beban kerja yang hampir semua orang masih menganggarkan adalah satu forward pass: model menerima input, menghasilkan output, dan silikon mendapatkan waktu singkat untuk mendingin.

Itu bukanlah apa yang dilakukan agen. Agen memutuskan, memanggil alat, membaca hasil yang kembali, dan memutuskan lagi. Berapa kali ia berputar dalam loop bukanlah sifat perangkat keras Anda, dan juga bukan sifat model Anda. Itu adalah sifat masalah yang diberikan seseorang padanya pada pagi itu. Saya memiliki agen yang berjalan di perangkat edge, dan hal yang paling lama saya terima bukanlah bahwa mereka lambat. Melainkan biaya satu run ditetapkan di tempat yang tidak saya lihat pada saat perancangan.

Loop Tidak Terbatas Sampai Seseorang Menetapkan Angka

Ini bukan sekadar framing retoris; itulah cara kerangka kerja sebenarnya dibangun. Dalam OpenAI’s Agents SDK, runner “menjalankan sebuah loop”, dan ketika model menghasilkan panggilan alat, runtime akan “menjalankan panggilan alat tersebut, menambahkan hasilnya, dan menjalankan kembali loop”. Satu‑satunya yang menghentikannya adalah batas putaran — melewati max_turns akan menghasilkan pengecualian — dan dokumentasi mencatat bahwa Anda dapat memberikan max_turns=None untuk menonaktifkan batas sepenuhnya.

Di server, angka tersebut adalah keputusan penagihan. Seseorang memperhatikan faktur.

Di perangkat, angka tersebut adalah keputusan termal, karena panjang loop adalah siklus kerja. Dan siklus kerja adalah satu variabel yang pendinginan pasif tidak dapat menentangnya.

Beban Berkelanjutan Melakukan Sesuatu yang Berbeda pada Ponsel Dibandingkan dengan Benchmark

Sebuah benchmark Maret 2026 menempatkan empat platform di bawah beban seperti ini: model terkuantisasi 1,5 miliar parameter, prompt tetap 258 token, dua puluh run berurutan, mengukur throughput, daya, dan suhu pada masing‑masing. Itu adalah preprint, dan benchmark tersebut menguji satu model pada empat perangkat, jadi perlakukan angka‑angka spesifik sebagai karakterisasi platform tersebut, bukan sebagai hukum alam. Bentuk hasilnya yang penting.

iPhone 16 Pro mencapai puncak 40,35 token per detik namun tidak dapat mempertahankannya. Penurunan kinerja muncul dalam dua inferensi. Ia stabil pada 22,56 token per detik — penurunan 44 persen — dan tetap terbatasi selama 65 persen benchmark. Dynamic voltage and frequency scaling, mekanisme yang menurunkan kecepatan clock ketika suhu sambungan naik, melakukan tepat apa yang seharusnya dilakukannya.

Galaxy S24 Ultra gagal dengan cara yang berbeda, dan lebih buruk. Alih‑alih menurun secara bertahap, pengatur termal Android memberlakukan batas frekuensi GPU keras pada iterasi keenam, pada 78,3 °C, dan inferensi berhenti. Penulis menekankan poin penting di sini lebih baik daripada yang dapat saya sampaikan: untuk penyebaran agen, ini “lebih mengganggu daripada degradasi yang elegan”, karena sistem tidak menjadi lebih lambat; ia menjadi tidak dapat digunakan.

Sekarang perhatikan detail yang membuat temuan ini memalukan bukan sekadar menarik. Semua dua puluh run tersebut menggunakan prompt yang sama. Itu adalah beban kerja paling ramah yang pernah dilihat perangkat keras agen, dan dua ponsel flagship tidak dapat mempertahankannya selama dua puluh pengulangan. Ini bukan temuan baru — titik MELTing, dipresentasikan di MobiCom 2024, menyimpulkan bahwa dari sisi energi dan termal “eksekusi berkelanjutan LLM tetap sulit dicapai.” Dua tahun dan beberapa node proses terpisah, tembok yang sama.

Dua Kurva Bergerak Mendekati Satu Sama Lain, dan Produk Anda Gagal di Titik Perpotongan

Loop agen lebih buruk daripada prompt berulang dalam cara yang spesifik dan mekanis.

Dekoding dibatasi oleh bandwidth memori: throughput ditentukan oleh seberapa cepat model dapat membaca cache key‑value‑nya, bukan oleh berapa banyak operasi yang secara teoritis dapat dilakukan chip. Cache itu tumbuh seiring konteks. Setiap langkah loop menambahkan hasil alat, observasi, rencana parsial — sehingga langkah sepuluh menghasilkan token dengan cache yang secara material jauh lebih besar dibandingkan langkah pertama.

Sementara itu perangkat semakin panas, dan pengatur menurunkan clock.

Jadi biaya per langkah naik tepat pada saat kapasitas perangkat untuk membayarnya turun. Kedua kurva konvergen, dan di mana pun mereka bertemu itulah produk Anda gagal. Tidak pernah pada langkah pertama. Langkah pertama adalah tempat Anda mengujinya.

Ada juga masalah skala di bawah ini. Pekerjaan generatif hanyalah urutan biaya yang berbeda dari apa yang silikon edge habiskan selama satu dekade: diukur pada 88 model, biaya klasifikasi teks sekitar 0,002 kWh per seribu inferensi dibandingkan 0,047 kWh untuk generasi teks — kira‑kira dua puluh kali lebih banyak, sebelum ada loop yang memperbanyaknya. Pengukuran itu diambil pada GPU data‑center, bukan pada handset, jadi bacalah sebagai rasio antara jenis pekerjaan, bukan sebagai angka daya untuk perangkat Anda. Untuk skala, studi yang sama memperkirakan pengisian penuh smartphone memerlukan 0,022 kWh.

Beli Berdasarkan Joule per Tugas Selesai, Bukan Token per Detik

Hasil paling berguna dalam benchmark 2026 itu justru yang tampak paling tidak mengesankan.

Sebuah Hailo-10H NPU mengelola 6,9 token per detik dengan daya di bawah 2 watt. Lambat — benar‑benar lambat, dan penulisnya menyatakan demikian. Namun koefisien variasi throughput‑nya 0,04 persen, dua orde besaran lebih stabil daripada apa pun yang diuji. GPU laptop dalam studi yang sama menghasilkan 131,7 token per detik dengan 34,1 watt.

Bandingkan keduanya berdasarkan energi, bukan kecepatan: 270,5 milijoule per token pada NPU kecil versus 297,3 pada GPU. Meskipun ada selisih throughput sembilan belas kali lipat, bagian kecil melakukan sedikit lebih banyak komputasi per joule — dan melakukannya dengan hampir tidak ada variasi.

Jika Anda memilih perangkat keras berdasarkan token per detik, Anda membeli yang paling cepat. Jika Anda memilih berdasarkan kemampuan menyelesaikan loop terbatas dengan biaya yang dapat diprediksi, yang memang dibutuhkan agen, peringkatnya berubah. Unit yang seharusnya muncul pada lembar spesifikasi adalah joule per tugas selesai, dengan angka variasi di sampingnya. Benchmark yang melaporkan throughput puncak hanya memberi tahu Anda tentang inferensi pertama hari itu.

Keberatan Jujur, dan Apa yang Tidak Diselesaikannya

Balasan yang jelas adalah bahwa ini masalah sementara: silikon semakin baik, NPU semakin matang, dan apa pun yang ditulis tentang ponsel 2026 akan tampak kuno. Atau, secara lebih praktis, alihkan langkah mahal ke server.

Saya sendiri akan bertaruh pada perangkat keras. Namun offloading adalah perjalanan bolak‑balik yang Anda pindahkan ke edge untuk dihindari, dan agen tidak membayarnya sekali — ia membayarnya per langkah loop, dan panjang loop adalah hal yang tidak dapat Anda prediksi. Desain hibrida tidak menghilangkan variasi; mereka memindahkannya ke jaringan.

Asimetri yang lebih dalam tidak bergerak bersama node proses. Anggaran perangkat tetap tetap pada saat perancangan. Permintaan agen diputuskan pada saat runtime, berdasarkan apa yang diminta pengguna. Silikon yang lebih baik menaikkan batas atas. Namun tidak memberi tahu agen di mana batas atas itu.

Jadi beri tahu agen. Tetapkan batas putaran dalam spesifikasi produk alih‑alih menemukannya dalam tinjauan kode, dan pilih angka dari envelope termal: tentukan berapa banyak langkah yang muat, lalu rancang agen untuk menghasilkan jawaban terbaik yang tersedia pada batas itu, bukan jawaban ideal pada batas sewenang‑wenang. Anggap itu sebagai tenggat waktu, bukan target.

Kemudian berikan agen anggaran sebagai input. Sisa ruang kepala, status baterai, apakah platform sudah mulai throttling — semua itu masuk ke konteks, sama seperti waktu saat ini. Agen yang tahu bahwa ia berada pada langkah delapan dari sepuluh dapat menyimpulkan dan mengirimkan. Agen yang tidak akan terus menjelajah hingga sistem operasi memutuskan untuknya.

Dan uji ekor, bukan median, yang pada perangkat fisik berarti menguji dalam simulasi. Kasus kegagalan tidak pernah berupa run bersih. Itu adalah run yang memakan empat belas langkah karena sebuah alat mengembalikan sesuatu yang ambigu pada langkah tiga, dan Anda tidak dapat menghitungnya secara manual pada ponsel yang harus mendingin di antara percobaan. Sistem saya sendiri melatih dengan simulasi terutama karena alasan ini: perilaku menarik muncul pada run panjang, dan run panjang justru yang tidak dapat perangkat keras Anda sampel secara manual.

Tidak ada satupun dari ini yang memerlukan chip yang lebih cepat. Yang diperlukan adalah mengakui bahwa beban kerja berubah bentuk. Tidak ada yang mengirimkan perangkat dengan baterai yang cukup untuk satu foto. Kami masih mengirimkan perangkat dengan anggaran termal yang cukup untuk satu inferensi.