อุปกรณ์ขอบของคุณถูกวัดประสิทธิภาพบนการประมวลผลแบบหนึ่งขั้นตอน ตัวแทนของคุณจะทำงานในลูป

การสนทนาเรื่องฮาร์ดแวร์สำหรับ edge AI ได้กลายเป็นเรื่องที่ซื่อสัตย์มากขึ้นในปีที่ผ่านมา บทความล่าสุด บนเว็บไซต์นี้ได้โต้แย้งว่าลำดับชั้นการออกแบบแบบเดิม — “เพิ่มอัตราการผ่านข้อมูลให้สูงสุด แล้วจัดการพลังงานและความร้อนรอบ ๆ มัน” — ได้กลับหัว และสำหรับการใช้งานในอุตสาหกรรม พลังงานตอนนี้เป็นสิ่งสำคัญที่สุด ส่วนอัตราการผ่านข้อมูลดิบกลับมาอยู่สุดท้าย สิ่งนี้สอดคล้องกับข้อโต้แย้งที่สำนักพิมพ์นี้ได้กล่าวมาตลอดว่า อุปกรณ์ขอบเป็น “จำกัดโดยความร้อน ไม่ได้จำกัดโดย MIPS/การคำนวณ” และสมาร์ทโฟนอยู่ที่ขีดจำกัดเหล่านั้นแล้ว ทั้งสองเป็นการแก้ไขที่แท้จริงและค้างคามานาน

แต่ยังคงมีสมมติฐานหนึ่งจากโลกที่กำลังแก้ไขอยู่ ทุกรายการในลำดับชั้นนั้นถูกคำนวณตามภาระงานที่คาดไว้ และภาระงานที่คนส่วนใหญ่ยังคำนวณอยู่คือการประมวลผลแบบหนึ่งขั้นตอน: โมเดลรับอินพุต ผลลัพธ์ออกมา แล้วซิลิคอนได้เวลาพักเพื่อเย็นลง

นั่นไม่ใช่งานของตัวแทน ตัวแทนจะตัดสินใจ เรียกใช้เครื่องมือ อ่านผลลัพธ์ที่กลับมา แล้วตัดสินใจใหม่ จำนวนครั้งที่ลูปวนกลับไม่ได้เป็นคุณสมบัติของฮาร์ดแวร์ของคุณ และก็ไม่ได้เป็นคุณสมบัติของโมเดลของคุณเช่นกัน มันเป็นคุณสมบัติของปัญหาที่มีคนมอบให้ในเช้าวันนั้น ฉันมีตัวแทนทำงานบนฮาร์ดแวร์ขอบ และสิ่งที่ใช้เวลานานที่สุดในการยอมรับไม่ได้คือความช้า แต่เป็นต้นทุนของการรันที่ถูกกำหนดไว้ในที่ที่ฉันไม่มีการมองเห็นในระยะออกแบบ

The Loop Is Unbounded Until Someone Types a Number

นี่ไม่ใช่การตั้งคำถามเชิงอุปมา แต่เป็นวิธีที่เฟรมเวิร์กถูกสร้างขึ้นจริง ๆ ใน SDK ของ OpenAI สำหรับ Agents ตัวรัน “ทำลูป” และเมื่อโมเดลสร้างการเรียกเครื่องมือ รันไทม์จะ “รันการเรียกเครื่องมือนั้น เพิ่มผลลัพธ์ แล้วรันลูปใหม่” สิ่งเดียวที่หยุดได้คือข้อจำกัดจำนวนรอบ — หากเกิน max_turns จะเกิดข้อยกเว้น — และเอกสารระบุว่าคุณสามารถส่งค่า max_turns=None เพื่อปิดการจำกัดโดยสมบูรณ์

บนเซิร์ฟเวอร์ ตัวเลขนั้นเป็นการตัดสินใจด้านการเรียกเก็บเงิน ใครสักคนสังเกตใบแจ้งหนี้

บนอุปกรณ์ ตัวเลขนั้นเป็นการตัดสินใจด้านความร้อน เพราะความยาวของลูปคืออัตราการทำงาน (duty cycle) และอัตราการทำงานเป็นตัวแปรเดียวที่การระบายความร้อนแบบพาสซีฟไม่อาจโต้แย้งได้

Sustained Load Does Something Different to a Phone Than a Benchmark Does

การทดสอบในเดือนมีนาคม 2026 ได้วางสี่แพลตฟอร์มภายใต้ภาระงานแบบนี้อย่างแม่นยำ: โมเดลที่มีพารามิเตอร์ 1.5 พันล้านตัวที่ถูกควอนต้า, คำสั่งที่คงที่ 258 โทเคน, การรันต่อเนื่อง 20 ครั้ง, วัดอัตราการผ่านข้อมูล, พลังงาน, และอุณหภูมิในแต่ละครั้ง เป็นงานพรีพริ้นท์และทำการทดสอบโมเดลเดียวบนสี่อุปกรณ์ ดังนั้นให้ถือว่าตัวเลขเฉพาะเป็นการอธิบายลักษณะของแพลตฟอร์มนั้น ๆ มากกว่ากฎของธรรมชาติ รูปร่างของผลลัพธ์คือสิ่งสำคัญ

iPhone 16 Pro พุ่งถึง 40.35 โทเคนต่อวินาทีแต่ไม่สามารถคงไว้ได้ การเสื่อมสภาพปรากฏภายในสองการสรุปผล มันค่อยๆ ลดลงเหลือ 22.56 โทเคนต่อวินาที — ลดลง 44 เปอร์เซ็นต์ — และอยู่ในสภาวะจำกัด 65 เปอร์เซ็นต์ของการทดสอบ การปรับความถี่และแรงดันไฟฟ้าแบบไดนามิก (Dynamic voltage and frequency scaling) ซึ่งเป็นกลไกที่ลดความเร็วสัญญาณนาฬิกาเมื่ออุณหภูมิของจุดเชื่อมต่อเพิ่มขึ้น ทำหน้าที่ตามที่ออกแบบไว้

Galaxy S24 Ultra ล้มเหลวในแบบที่แตกต่างและแย่กว่า แทนที่จะเสื่อมสภาพ ตัวควบคุมความร้อนของ Android กำหนดค่าขั้นต่ำของความถี่ GPU อย่างเข้มงวดที่รอบที่หก ที่อุณหภูมิ 78.3°C และการสรุปผลหยุดลง ผู้เขียนชี้ให้เห็นว่าประเด็นสำคัญนี้ดีกว่าที่ฉันอธิบายได้: สำหรับการใช้งานตัวแทน สิ่งนี้ “ทำลายการทำงานมากกว่าการเสื่อมสภาพอย่างนุ่มนวล” เพราะระบบไม่ได้ช้าลง แต่กลายเป็นใช้งานไม่ได้

ตอนนี้ให้จับรายละเอียดที่ทำให้สิ่งนี้เป็นการตัดสินใจที่รุนแรง ไม่ใช่แค่สนใจ ทุกการรันทั้ง 20 ครั้งใช้ เดียวกัน คำสั่ง นั่นคือภาระงานที่เป็นมิตรที่สุดที่ฮาร์ดแวร์ของตัวแทนจะเคยเจอ และสองสมาร์ทโฟนระดับไฮไลท์ก็ไม่สามารถคงไว้ได้ตลอด 20 ครั้ง นี่ก็ไม่ใช่การค้นพบใหม่ — นำเสนอ ที่ MobiCom 2024 สรุปว่าด้านพลังงานและความร้อน “การทำงานต่อเนื่องของ LLMs ยังคงเป็นเรื่องที่หาได้ยาก” สองปีและหลายโหนดกระบวนการต่างกัน แต่กำแพงเดียวกันยังคงอยู่

Two Curves Move Toward Each Other, and Your Product Breaks Where They Cross

ลูปของตัวแทนแย่กว่าการใช้คำสั่งซ้ำในลักษณะเชิงกลไกเฉพาะ

การถอดรหัสถูกจำกัดโดยแบนด์วิดธ์ของหน่วยความจำ: อัตราการผ่านข้อมูลขึ้นอยู่กับความเร็วที่โมเดลอ่านแคชคีย์‑ค่า ไม่ใช่จำนวนการดำเนินการที่ชิปสามารถทำได้ตามทฤษฎี แคชนี้เติบโตตามบริบท ทุกขั้นตอนของลูปเพิ่มผลลัพธ์ของเครื่องมือ การสังเกต แผนย่อย — ดังนั้นขั้นที่สิบจะสร้างโทเคนโดยใช้แคชที่ใหญ่กว่าขั้นที่หนึ่งอย่างมีนัยสำคัญ

ในขณะเดียวกันอุปกรณ์กำลังร้อนขึ้น และตัวควบคุมกำลังลดความถี่ของสัญญาณนาฬิกา

ดังนั้นต้นทุนต่อขั้นจะเพิ่มขึ้นในขณะเดียวกับที่ความสามารถของอุปกรณ์ในการจ่ายต้นทุนนั้นลดลง สองเส้นโค้งบรรจบกัน และที่จุดที่บรรจบคือจุดที่ผลิตภัณฑ์ของคุณล้มเหลว มันไม่ใช่ขั้นที่หนึ่งเลย ขั้นที่หนึ่งคือจุดที่คุณทำการทดสอบ

ยังมีปัญหาขนาดใต้พื้นฐานนี้อีก งานสร้างสรรค์เป็นค่าใช้จ่ายที่ต่างจากที่ซิลิคอนขอบใช้ในทศวรรษที่ผ่านมา: วัดจาก 88 โมเดล ค่าใช้จ่ายของการจำแนกข้อความอยู่ที่ประมาณ 0.002 kWh ต่อพันการสรุปผล เทียบกับ 0.047 kWh สำหรับการสร้างข้อความ — มากกว่าประมาณยี่สิบเท่า ก่อนที่ลูปใด ๆ จะคูณเพิ่ม การวัดเหล่านี้ทำบน GPU ของศูนย์ข้อมูล ไม่ใช่บนอุปกรณ์พกพา ดังนั้นจึงควรอ่านเป็นอัตราส่วนระหว่างประเภทงาน มากกว่าตัวเลขกำลังไฟของอุปกรณ์ของคุณ สำหรับสเกลเดียวกัน การศึกษานี้ระบุว่าการชาร์จสมาร์ทโฟนเต็มหนึ่งครั้งใช้พลังงาน 0.022 kWh

Buy on Joules per Finished Task, Not on Tokens per Second

ผลลัพธ์ที่เป็นประโยชน์ที่สุดในการทดสอบ 2026 นั้นคือผลลัพธ์ที่ดูไม่น่าประทับใจที่สุด

Hailo-10H NPU ทำงานได้ 6.9 โทเคนต่อวินาทีที่กำลังไฟต่ำกว่า 2 วัตต์ ช้า — ช้าอย่างแท้จริง และผู้เขียนก็ยืนยันเช่นนั้น แต่ค่าสัมประสิทธิ์การแปรผันของอัตราการผ่านข้อมูลอยู่ที่ 0.04 เปอร์เซ็นต์ คงที่กว่าสองระดับคำสั่งที่ทดสอบอื่น ๆ มาก Laptop GPU ในการศึกษาเดียวกันให้ 131.7 โทเคนต่อวินาทีที่ 34.1 วัตต์

จากนั้นเปรียบเทียบสองอุปกรณ์ในแง่พลังงานแทนความเร็ว: 270.5 มิลลิจูลต่อโทเคนบน NPU ตัวเล็กเทียบกับ 297.3 มิลลิจูลบน GPU แม้จะมีช่องว่างอัตราการผ่านข้อมูลเก้าสิบเก้าเท่า แต่ส่วนประกอบเล็กนั้นทำการคำนวณต่อจูลได้มากกว่าเล็กน้อย — และทำได้โดยไม่มีการแปรผันเลย

หากคุณเลือกฮาร์ดแวร์ตามโทเคนต่อวินาที คุณจะซื้ออุปกรณ์ที่เร็วที่สุด หากคุณเลือกตามความสามารถในการทำลูปที่จำกัดด้วยต้นทุนที่คาดการณ์ได้ ซึ่งเป็นสิ่งที่ตัวแทนต้องการจริง ๆ การจัดอันดับก็จะเปลี่ยน หน่วยที่ควรแสดงบนแผ่นสเปคคือจูลต่อภารกิจที่สำเร็จ พร้อมตัวเลขแปรผัน หากการทดสอบรายงานอัตราการผ่านข้อมูลสูงสุด นั่นหมายถึงการสรุปผลแรกของวันเท่านั้น

The Honest Objection, and What It Does Not Solve

คำตอบที่ชัดเจนคือปัญหานี้เป็นปัญหาชั่วคราว: ซิลิคอนพัฒนา NPUs เติบโต และสิ่งใดที่เขียนเกี่ยวกับโทรศัพท์ปี 2026 จะดูเก่าแก่ หรืออย่างเป็นจริงมากกว่านั้นคือการย้ายขั้นตอนที่มีค่าใช้จ่ายสูงไปยังเซิร์ฟเวอร์

ฉันเองก็พร้อมเดิมพันฮาร์ดแวร์ แต่การย้ายงานออกไปเป็นรอบการเดินทางที่คุณย้ายไปที่ขอบเพื่อหลีกเลี่ยง และตัวแทนไม่ได้จ่ายค่าใช้จ่ายนั้นเพียงครั้งเดียว — มันจ่ายต่อขั้นของลูป และความยาวของลูปคือสิ่งที่คุณไม่สามารถคาดการณ์ได้ การออกแบบแบบไฮบริดไม่ได้ขจัดความแปรผัน; มันย้ายความแปรผันไปยังเครือข่าย

ความไม่สมดุลที่ลึกลงไม่ได้เปลี่ยนแปลงตามโหนดกระบวนการ งบประมาณของอุปกรณ์ถูกกำหนดตั้งแต่ขั้นตอนออกแบบแล้ว ความต้องการของตัวแทนถูกตัดสินในเวลารัน โดยสิ่งที่ผู้ใช้ร้องขอ ซิลิคอนที่ดีกว่าอาจยกเพดานขึ้น แต่ไม่ได้บอกตัวแทนว่าเพดานอยู่ที่ไหน

ดังนั้นให้บอกมัน ตั้งค่าขีดจำกัดรอบในสเปคผลิตภัณฑ์แทนการค้นพบในรีวิวโค้ด และเลือกตัวเลขจากขอบเขตความร้อน: ตัดสินใจว่ามีกี่ขั้นที่พอดี จากนั้นออกแบบตัวแทนให้ให้คำตอบที่ดีที่สุดภายในขอบเขตนั้น แทนที่จะให้คำตอบอุดมคติในขอบเขตที่กำหนดเอง ถือเป็นกำหนดเวลา ไม่ใช่เป้าหมาย

จากนั้นให้ตัวแทนรับงบประมาณเป็นอินพุต ส่วนเหลือของพื้นที่ว่าง, สถานะแบตเตอรี่, หรือว่าแพลตฟอร์มเริ่มจำกัดแล้ว — สิ่งเหล่านี้ควรอยู่ในบริบท เช่นเดียวกับเวลาปัจจุบัน ตัวแทนที่รู้ว่าตนอยู่ที่ขั้นที่แปดจากสิบสามารถสรุปและทำการคอมมิตได้ ตัวแทนที่ไม่รู้จะยังคงสำรวจต่อไปจนระบบปฏิบัติการตัดสินใจให้

และให้ทดสอบส่วนท้าย ไม่ใช่ค่ากลาง ซึ่งบนอุปกรณ์จริงหมายถึงการทดสอบในจำลอง กรณีล้มเหลวไม่ใช่การรันที่สะอาด แต่เป็นการรันที่ต้องใช้สิบสี่ขั้นตอนเพราะเครื่องมือให้ผลลัพธ์ที่คลุมเครือในขั้นที่สาม และคุณไม่สามารถนับขั้นเหล่านั้นด้วยมือบนโทรศัพท์ที่ต้องรอให้เย็นระหว่างความพยายาม ระบบของฉันฝึกด้วยการจำลองส่วนใหญ่เพื่อเหตุผลนี้: พฤติกรรมที่น่าสนใจอยู่ในรันที่ยาว และรันที่ยาวคือสิ่งที่ฮาร์ดแวร์จะไม่ให้คุณสุ่มตัวอย่างด้วยมือ

ทั้งหมดนี้ไม่ต้องการชิปที่เร็วกว่า มันต้องการการยอมรับว่าภาระงานเปลี่ยนรูปแบบแล้ว ไม่มีใครส่งอุปกรณ์ที่แบตเตอรี่ออกแบบมาสำหรับการถ่ายรูปหนึ่งรูป เรายังคงส่งอุปกรณ์ที่งบประมาณความร้อนออกแบบมาสำหรับการสรุปผลหนึ่งครั้ง