Thiết bị Edge của bạn đã được đo hiệu năng trên một lần truyền tiến. Tác nhân của bạn sẽ chạy một vòng lặp.

Cuộc trò chuyện về phần cứng trong AI biên đã trở nên trung thực hơn rất nhiều trong năm qua. Một bài viết gần đây trên trang này cho rằng hệ thống phân cấp thiết kế cũ — “tối đa hoá thông lượng, sau đó quản lý năng lượng và nhiệt độ quanh nó” — đã bị đảo ngược, và đối với các triển khai công nghiệp, năng lượng hiện là yếu tố hàng đầu, trong khi thông lượng thô lại đứng cuối cùng. Điều này tiếp nối lập luận mà ấn phẩm này đã đưa ra một thời gian: các thiết bị biên là “bị giới hạn bởi nhiệt, không phải bởi MIPS/tính toán”, và điện thoại thông minh đã đạt tới những giới hạn đó. Cả hai đều là những chỉnh sửa thực tế và đã quá muộn để thực hiện.

Nhưng nó vẫn mang một giả định từ thế giới mà nó đang sửa chữa. Mỗi mục trong hệ thống phân cấp đó được dự trù dựa trên một khối lượng công việc giả định, và khối lượng công việc mà hầu hết mọi người vẫn dự trù là một lần truyền tiến duy nhất: mô hình nhận đầu vào, tạo ra đầu ra, và silicon có một khoảng thời gian để làm mát.

Đó không phải là những gì một tác nhân làm. Một tác nhân quyết định, gọi một công cụ, đọc kết quả trả về, và lại quyết định tiếp. Số lần nó quay vòng không phải là thuộc tính của phần cứng của bạn, và cũng không thực sự là thuộc tính của mô hình của bạn. Đó là thuộc tính của vấn đề mà ai đó đã giao cho nó vào buổi sáng đó. Tôi có các tác nhân chạy trên phần cứng biên, và điều khiến tôi mất thời gian lâu nhất để chấp nhận không phải là chúng chậm. Đó là chi phí của một lần chạy được đặt ở nơi tôi không có khả năng quan sát vào thời điểm thiết kế.

The Loop Is Unbounded Until Someone Types a Number

Đây không phải là một cách diễn đạt tu từ; đó là cách các khung làm việc thực sự được xây dựng. Trong OpenAI’s Agents SDK, trình chạy “runs a loop”, và khi mô hình tạo ra các lời gọi công cụ, môi trường thực thi sẽ “run those tool calls, append the results, and re-run the loop.” Điều duy nhất ngăn cản nó là giới hạn lượt — vượt quá max_turns bạn sẽ nhận được ngoại lệ — và tài liệu ghi chú rằng bạn có thể truyền max_turns=None để tắt hoàn toàn giới hạn.

Trên máy chủ, con số đó là quyết định thanh toán. Ai đó nhận thấy hoá đơn.

Trên thiết bị, con số đó là quyết định nhiệt, vì độ dài vòng lặp là chu kỳ làm việc. Và chu kỳ làm việc là biến duy nhất mà làm mát thụ động không thể tranh cãi.

Sustained Load Does Something Different to a Phone Than a Benchmark Does

Một bản benchmark tháng 3/2026 đặt bốn nền tảng dưới đúng loại tải này: một mô hình 1,5 tỷ tham số đã được lượng tử hoá, một lời nhắc cố định 258 token, hai mươi lần chạy liên tiếp, đo thông lượng, công suất và nhiệt độ trên mỗi lần. Đó là một bản preprint, và nó benchmark một mô hình trên bốn thiết bị, vì vậy hãy xem các con số cụ thể như một mô tả về những nền tảng đó hơn là một định luật tự nhiên. Hình dạng của kết quả mới là điều quan trọng.

iPhone 16 Pro đạt đỉnh 40,35 token mỗi giây nhưng không thể duy trì. Sự suy giảm xuất hiện sau hai lần suy luận. Nó ổn định ở mức 22,56 token mỗi giây — giảm 44 % — và bị throttling trong 65 % thời gian benchmark. Điều chỉnh điện áp và tần số động, cơ chế hạ tốc độ khi nhiệt độ nối tăng, đã làm đúng những gì nó tồn tại để thực hiện.

Galaxy S24 Ultra thất bại theo cách khác, và tệ hơn. Thay vì suy giảm, bộ điều khiển nhiệt Android áp đặt một mức tần số GPU tối thiểu ở vòng lặp thứ sáu, ở 78,3 °C, và quá trình suy luận dừng lại. Các tác giả nhấn mạnh điểm quan trọng hơn tôi có thể: đối với các triển khai tác nhân, đây là “gây gián đoạn hơn là suy giảm nhẹ nhàng”, vì hệ thống không chậm lại; nó trở nên không sử dụng được.

Bây giờ hãy chú ý đến chi tiết khiến điều này trở nên đáng chỉ trích hơn là chỉ thú vị. Mỗi một trong hai mươi lần chạy đó đều sử dụng cùng lời nhắc. Đó là khối lượng công việc thân thiện nhất mà phần cứng của một tác nhân từng thấy, và hai chiếc điện thoại flagship không thể duy trì nó trong hai mươi lần lặp. Đây cũng không phải là một phát hiện mới — điểm MELTing, được trình bày tại MobiCom năm 2024, kết luận rằng về mặt năng lượng và nhiệt “việc thực thi liên tục các LLM vẫn còn là một thách thức”. Hai năm và một vài node quy trình sau, cùng một bức tường.

Two Curves Move Toward Each Other, and Your Product Breaks Where They Cross

Vòng lặp của một tác nhân tệ hơn một lời nhắc lặp lại theo một cách cụ thể, cơ học.

Giải mã bị ràng buộc bởi băng thông bộ nhớ: thông lượng được quyết định bởi tốc độ mô hình có thể đọc bộ nhớ đệm key‑value, không phải bởi số lượng phép tính chip lý thuyết có thể thực hiện. Bộ đệm này tăng theo ngữ cảnh. Mỗi bước vòng lặp thêm một kết quả công cụ, một quan sát, một kế hoạch một phần — vì vậy bước thứ mười tạo token dựa trên bộ đệm lớn hơn đáng kể so với bước thứ nhất.

Trong khi đó thiết bị đang nóng lên, và bộ điều khiển đang hạ tốc độ đồng hồ.

Do đó chi phí mỗi bước tăng ngay tại thời điểm khả năng chi trả của thiết bị giảm. Hai đường cong hội tụ, và bất kỳ nơi nào chúng gặp nhau là nơi sản phẩm của bạn thất bại. Nó không bao giờ là bước một. Bước một là nơi bạn đã thử nghiệm.

Cũng có một vấn đề về quy mô ẩn sau đây. Công việc sinh ra chỉ đơn giản là một loại chi phí khác so với những gì silicon biên đã tiêu tốn trong một thập kỷ: được đo trên 88 mô hình, chi phí phân loại văn bản khoảng 0,002 kWh cho mỗi nghìn lần suy luận, so với 0,047 kWh cho sinh văn bản — khoảng hai mươi lần nhiều hơn, trước khi bất kỳ vòng lặp nào nhân lên. Các đo lường này được thực hiện trên GPU trung tâm dữ liệu, không phải trên điện thoại, vì vậy hãy đọc chúng như một tỉ lệ giữa các loại công việc hơn là một con số công suất cho thiết bị của bạn. Đối với quy mô, cùng một nghiên cứu đưa ra mức tiêu thụ năng lượng cho một lần sạc đầy điện thoại thông minh là 0,022 kWh.

Buy on Joules per Finished Task, Not on Tokens per Second

Kết quả hữu ích nhất trong benchmark 2026 đó là kết quả trông ít ấn tượng nhất.

Một NPU Hailo-10H đạt 6,9 token mỗi giây với mức tiêu thụ dưới 2 watt. Chậm — thực sự chậm, và các tác giả cũng xác nhận. Nhưng hệ số biến thiên của thông lượng chỉ 0,04 %, ổn định hơn hai bậc độ so với bất kỳ thiết bị nào khác được thử. GPU laptop trong cùng nghiên cứu cung cấp 131,7 token mỗi giây với 34,1 watt.

Sau đó so sánh hai thiết bị về năng lượng thay vì tốc độ: 270,5 millijoule cho mỗi token trên NPU nhỏ so với 297,3 trên GPU. Mặc dù có khoảng cách chín mươi lần về thông lượng, bộ phận nhỏ đã thực hiện một chút tính toán nhiều hơn trên mỗi joule — và làm điều đó với gần như không có biến thiên.

Nếu bạn chọn phần cứng dựa trên token mỗi giây, bạn sẽ mua thiết bị nhanh. Nếu bạn chọn dựa trên khả năng hoàn thành một vòng lặp có giới hạn với chi phí dự đoán được, đó là những gì một tác nhân thực sự cần, thứ hạng sẽ thay đổi. Đơn vị nên xuất hiện trên bảng thông số là joule cho mỗi nhiệm vụ hoàn thành, kèm theo một con số biến thiên. Một benchmark báo cáo thông lượng đỉnh chỉ cho bạn biết về lần suy luận đầu tiên trong ngày.

The Honest Objection, and What It Does Not Solve

Câu trả lời rõ ràng là đây là một vấn đề tạm thời: silicon cải tiến, NPU trưởng thành, và bất kỳ điều gì viết về điện thoại năm 2026 sẽ trông lạ lùng. Hoặc, thực tế hơn, chuyển các bước tốn kém sang máy chủ.

Tôi sẽ tự mình đặt cược vào phần cứng. Nhưng việc chuyển tải là chuyến đi vòng mà bạn đã di chuyển tới biên để tránh, và một tác nhân không trả một lần — nó trả cho mỗi bước vòng lặp, và độ dài vòng lặp là thứ bạn không thể dự đoán. Các thiết kế lai không loại bỏ biến thiên; chúng chỉ chuyển nó sang mạng.

Sự bất đối xứng sâu hơn không di chuyển cùng các node quy trình. Ngân sách của một thiết bị được cố định tại thời điểm thiết kế. Nhu cầu của một tác nhân được quyết định tại thời gian chạy, tùy theo yêu cầu của người dùng. Silicon tốt hơn chỉ nâng cao trần, nhưng không cho tác nhân biết trần nằm ở đâu.

Vì vậy hãy thông báo cho nó. Đặt giới hạn lượt trong thông số kỹ thuật sản phẩm thay vì phát hiện nó trong một cuộc rà soát mã, và chọn con số từ phạm vi nhiệt: quyết định bao nhiêu bước phù hợp, sau đó thiết kế tác nhân để đưa ra câu trả lời tốt nhất có thể tại giới hạn đó thay vì câu trả lời lý tưởng ở một mức bất kỳ. Xem nó như một thời hạn, không phải một mục tiêu.

Sau đó cung cấp ngân sách cho tác nhân như một đầu vào. Dung lượng còn lại, trạng thái pin, liệu nền tảng đã bắt đầu throttling chưa — tất cả đều thuộc ngữ cảnh, giống như thời gian hiện tại. Một tác nhân biết mình đang ở bước tám trong mười bước có thể tóm tắt và cam kết. Một tác nhân không biết sẽ tiếp tục khám phá cho đến khi hệ điều hành quyết định cho nó.

Và hãy kiểm tra phần cuối, không phải trung bình, điều này trên thiết bị thực tế có nghĩa là kiểm tra trong mô phỏng. Trường hợp thất bại không bao giờ là lần chạy sạch sẽ. Đó là lần chạy mất mười bốn bước vì một công cụ trả về điều gì đó mơ hồ ở bước ba, và bạn không thể liệt kê chúng bằng tay trên một chiếc điện thoại cần thời gian làm mát giữa các lần thử. Hệ thống của tôi tự đào tạo dựa trên mô phỏng phần lớn vì lý do này: hành vi thú vị nằm trong các lần chạy dài, và các lần chạy dài chính là những gì phần cứng sẽ không cho bạn lấy mẫu bằng tay.

Không có gì trong số này yêu cầu một con chip nhanh hơn. Nó đòi hỏi phải thừa nhận rằng khối lượng công việc đã thay đổi hình dạng. Không ai xuất bán một thiết bị có pin được thiết kế cho một bức ảnh duy nhất. Chúng ta vẫn đang xuất bán các thiết bị có ngân sách nhiệt được thiết kế cho một lần suy luận.