Η Συσκευή Edge Σας Βαθμολογήθηκε σε Μία Προώθηση. Ο Πράκτοράς Σας Θα Εκτελεί Έναν Βρόχο.

Η συζήτηση για το υλικό σχετικά με το edge AI έχει γίνει πολύ πιο ειλικρινής τον τελευταίο χρόνο. Ένα πρόσφατο άρθρο σε αυτόν τον ιστότοπο υποστήριξε ότι η παλιά ιεραρχία σχεδίασης — «μεγιστοποίηση του ρυθμού διαμεταγωγής, έπειτα διαχείριση της ενέργειας και των θερμικών» — έχει αντιστραφεί, και ότι για βιομηχανικές εφαρμογές η ενέργεια τώρα είναι η κορυφαία προτεραιότητα, ενώ η ακατέργαστη διαμεταγωγή βρίσκεται στο τέλος. Ακολουθεί ένα επιχείρημα που αυτή η δημοσίευση προβάλλει εδώ και κάποιο χρόνο: ότι οι συσκευές edge είναι «περιορισμένες θερμικά, όχι περιορισμένες σε MIPS/υπολογιστική ισχύ», και ότι τα smartphones βρίσκονται ήδη σε αυτά τα όρια. Και τα δύο είναι πραγματικές διορθώσεις και έχουν καθυστερήσει πολύ.

Αλλά εξακολουθεί να φέρει μια υπόθεση από τον κόσμο που διορθώνει. Κάθε στοιχείο σε αυτήν την ιεραρχία προϋπολογίζεται με βάση ένα υποτιθέμενο φορτίο εργασίας, και το φορτίο εργασίας που σχεδόν όλοι εξακολουθούν να προϋπολογίζουν είναι μια ενιαία προώθηση: ένα μοντέλο λαμβάνει μια είσοδο, παράγει μια έξοδο, και το πυρίτιο παίρνει μια στιγμή για να ψύξει.

Αυτό δεν είναι αυτό που κάνει ένας πράκτορας. Ένας πράκτορας αποφασίζει, καλεί ένα εργαλείο, διαβάζει τι επιστρέφει, και ξανααποφασίζει. Πόσες φορές περνάει από αυτόν τον βρόχο δεν είναι χαρακτηριστικό του υλικού σας, ούτε πραγματικά χαρακτηριστικό του μοντέλου σας. Είναι χαρακτηριστικό του προβλήματος που του δόθηκε εκείνο το πρωί. Έχω πράκτορες που τρέχουν σε υλικό edge, και το πράγμα που μου πήρε περισσότερο χρόνο να αποδεχτώ δεν ήταν ότι ήταν αργοί. Ήταν ότι το κόστος μιας εκτέλεσης οριζόταν κάπου που δεν είχα ορατότητα κατά τη φάση του σχεδιασμού.

Ο Βρόχος Είναι Απέραντος Μέχρι Κάποιος Να Πληκτρολογήσει Έναν Αριθμό

Αυτό δεν είναι ρητορική διατύπωση· είναι ο τρόπος με τον οποίο τα πλαίσια είναι πραγματικά δομημένα. Στο OpenAI’s Agents SDK, ο εκτελεστής «εκτελεί έναν βρόχο», και όταν το μοντέλο παράγει κλήσεις εργαλείων, το runtime θα «εκτελέσει αυτές τις κλήσεις εργαλείων, προσθέσει τα αποτελέσματα και επανεκτελέσει τον βρόχο». Το μόνο που το σταματά είναι ένα όριο γύρων — αν ξεπεράσετε το max_turns λαμβάνετε εξαίρεση — και η τεκμηρίωση σημειώνει ότι μπορείτε να περάσετε max_turns=None για να απενεργοποιήσετε εντελώς το όριο.

Σε έναν διακομιστή, αυτός ο αριθμός είναι μια απόφαση χρέωσης. Κάποιος παρατηρεί το τιμολόγιο.

Σε μια συσκευή, αυτός ο αριθμός είναι μια θερμική απόφαση, επειδή το μήκος του βρόχου είναι ο κύκλος λειτουργίας. Και ο κύκλος λειτουργίας είναι η μοναδική μεταβλητή με την οποία η παθητική ψύξη δεν μπορεί να διαπραγματευτεί.

Η Συνεχής Φόρτωση Κάνει Κάτι Διαφορετικό σε Ένα Τηλέφωνο Από Ό,τι Κάνει Ένα Benchmark

Ένα benchmark Μαρτίου 2026 έβαλε τέσσερις πλατφόρμες ακριβώς σε αυτό το είδος φόρτωσης: ένα κβαντισμένο μοντέλο 1,5 δισεκατομμυρίων παραμέτρων, ένα σταθερό prompt 258 tokens, είκοσι διαδοχικές εκτελέσεις, με μέτρηση του ρυθμού διαμεταγωγής, της ενέργειας και της θερμοκρασίας σε κάθε μία. Πρόκειται για προτύπωση, και αξιολογεί ένα μοντέλο σε τέσσερις συσκευές, οπότε θεωρήστε τους συγκεκριμένους αριθμούς ως χαρακτηρισμό αυτών των πλατφορμών και όχι ως νόμο της φύσης. Το σχήμα του αποτελέσματος είναι αυτό που μετράει.

Ένα iPhone 16 Pro έφτασε στο μέγιστο 40,35 tokens ανά δευτερόλεπτο και δεν μπόρεσε να το διατηρήσει. Η υποβάθμιση εμφανίστηκε μέσα σε δύο προβλέψεις. Σταθεροποιήθηκε στα 22,56 tokens ανά δευτερόλεπτο — μείωση 44 % — και παρέμεινε περιορισμένο για το 65 % του benchmark. Η δυναμική κλιμάκωση τάσης και συχνότητας, ο μηχανισμός που μειώνει τις ταχύτητες ρολογιού όταν η θερμοκρασία της συνδέσεως αυξάνεται, έκανε ακριβώς αυτό για το οποίο υπάρχει.

Το Galaxy S24 Ultra απέτυχε διαφορετικά, και χειρότερα. Αντί για υποβάθμιση, ο θερμικός διαχειριστής Android επέβαλε ένα σκληρό όριο συχνότητας GPU στην έκτη επανάληψη, στα 78,3 °C, και η πρόβλεψη σταμάτησε. Οι συγγραφείς υπογραμμίζουν το σημαντικό σημείο καλύτερα από εμένα: για τις εκτελέσεις πρακτόρων, αυτό είναι «πιο διαταρακτικό από την ήπια υποβάθμιση», επειδή το σύστημα δεν γίνεται πιο αργό· γίνεται αχρησιμοποίητο.

Τώρα κρατήστε τη λεπτομέρεια που καθιστά αυτό καταδικάζον, όχι απλώς ενδιαφέρον. Κάθε μία από αυτές τις είκοσι εκτελέσεις χρησιμοποίησε το ίδιο prompt. Αυτό είναι το πιο φιλικό φορτίο εργασίας που θα δει ποτέ το υλικό ενός πράκτορα, και δύο κορυφαία τηλέφωνα δεν μπόρεσαν να το διατηρήσουν για είκοσι επαναλήψεις. Αυτό δεν είναι καινούργιο εύρημα — το MELTing point, παρουσιάστηκε στο MobiCom το 2024, κατέληξε στο ότι για ενεργειακούς και θερμικούς λόγους «η συνεχής εκτέλεση LLM παραμένει ακατόρθωτη». Δύο χρόνια και αρκετοί κόμβοι επεξεργασίας αργότερα, το ίδιο εμπόδιο.

Δύο Καμπύλες Συγγίνονται, και το Προϊόν Σας Αποτυγχάνει Στο Σημείο Σταύρωσής τους

Ο βρόχος ενός πράκτορα είναι χειρότερος από ένα επαναλαμβανόμενο prompt με συγκεκριμένο, μηχανικό τρόπο.

Η αποκωδικοποίηση περιορίζεται από το εύρος ζώνης μνήμης: ο ρυθμός διαμεταγωγής καθορίζεται από το πόσο γρήγορα το μοντέλο μπορεί να διαβάσει την κρυφή μνήμη κλειδιού-τιμής, όχι από το πόσες λειτουργίες μπορεί θεωρητικά να εκτελέσει το τσιπ. Η κρυφή μνήμη αυτή μεγαλώνει με το πλαίσιο. Κάθε βήμα του βρόχου προσθέτει ένα αποτέλεσμα εργαλείου, μια παρατήρηση, ένα μερικό σχέδιο — έτσι το δέκατο βήμα παράγει tokens ενάντια σε μια ουσιαστικά μεγαλύτερη κρυφή μνήμη από ό,τι το πρώτο βήμα.

Εν τω μεταξύ η συσκευή θερμαίνεται, και ο διαχειριστής μειώνει τις ταχύτητες ρολογιού.

Έτσι το κόστος ανά βήμα αυξάνεται ακριβώς τη στιγμή που η ικανότητα της συσκευής να το πληρώσει μειώνεται. Οι δύο καμπύλες συγκλίνουν, και όπου συναντιούνται είναι το σημείο αποτυχίας του προϊόντος σας. Δεν είναι ποτέ το πρώτο βήμα. Το πρώτο βήμα είναι εκεί που δοκιμάσατε.

Υπάρχει επίσης ένα πρόβλημα κλίμακας. Η δημιουργική εργασία είναι απλώς μια διαφορετική σειρά εξόδων από ό,τι ξόδεψε το edge silicon μια δεκαετία λειτουργώντας: μετρήθηκε σε 88 μοντέλα, το κόστος ταξινόμησης κειμένου περίπου 0,002 kWh ανά χίλιες προβλέψεις έναντι 0,047 kWh για δημιουργία κειμένου — περίπου είκοσι φορές περισσότερο, πριν οποιοσδήποτε βρόχος το πολλαπλασιάσει. Οι μετρήσεις αυτές έγιναν σε GPU κέντρου δεδομένων, όχι σε κινητό, οπότε ερμηνεύστε τα ως λόγο μεταξύ τύπων εργασίας και όχι ως αριθμό ισχύος για τη συσκευή σας. Για κλίμακα, η ίδια μελέτη τοποθετεί μια πλήρη φόρτιση smartphone στα 0,022 kWh.

Αγοράστε με Βάση τα Joules ανά Ολοκληρωμένη Εργασία, Όχι με Tokens ανά Δευτερόλεπτο

Το πιο χρήσιμο αποτέλεσμα σε αυτό το benchmark του 2026 είναι αυτό που φαίνεται λιγότερο εντυπωσιακό.

Ένα Hailo-10H NPU παρήγαγε 6,9 tokens ανά δευτερόλεπτο με λιγότερο από 2 watt. Αργό — πραγματικά αργό, και οι συγγραφείς το επιβεβαιώνουν. Αλλά ο συντελεστής μεταβολής του ρυθμού διαμεταγωγής ήταν 0,04 %, δύο τάξεις μεγέθους πιο σταθερός από οτιδήποτε άλλο δοκιμάστηκε. Η GPU φορητού υπολογιστή στην ίδια μελέτη παρήγαγε 131,7 tokens ανά δευτερόλεπτο με 34,1 watt.

Στη συνέχεια συγκρίνετε τα δύο με βάση την ενέργεια αντί για την ταχύτητα: 270,5 μιλιζουλ ανά token στο μικρό NPU έναντι 297,3 στη GPU. Παρά τη διαφορά 19 φορές στον ρυθμό διαμεταγωγής, το μικρό τμήμα έκανε ελαφρώς περισσότερους υπολογισμούς ανά ζουλ — και το έκανε ουσιαστικά χωρίς μεταβολή.

Αν επιλέξετε υλικό με βάση τα tokens ανά δευτερόλεπτο, αγοράζετε το γρήγορο. Αν επιλέξετε με βάση την ικανότητα ολοκλήρωσης ενός περιορισμένου βρόχου με προβλέψιμο κόστος, που είναι ό,τι χρειάζεται πραγματικά ένας πράκτορας, η κατάταξη αλλάζει. Η μονάδα που θα πρέπει να εμφανίζεται στο φύλλο προδιαγραφών είναι τα joules ανά ολοκληρωμένη εργασία, με έναν δείκτη μεταβλητότητας δίπλα της. Ένα benchmark που αναφέρει το μέγιστο ρυθμό διαμεταγωγής σας λέει για την πρώτη πρόβλεψη της ημέρας.

Η Ειλικρινής Ενστάδα, και Τι Δεν Λύνει

Η προφανής απάντηση είναι ότι αυτό είναι ένα παροδικό πρόβλημα: το πυρίτιο βελτιώνεται, τα NPUs ωριμάζουν, και οτιδήποτε γράφτηκε για ένα τηλέφωνο του 2026 θα φαίνεται παλιό. Ή, πιο πρακτικά, να εκχωρήσετε τα ακριβά βήματα σε έναν διακομιστή.

Θα έκανα εγώ το στοίχημα στο υλικό. Αλλά η εκφόρτωση είναι το ταξίδι που μεταφέρατε στο edge για να το αποφύγετε, και ένας πράκτορας δεν το πληρώνει μία φορά — το πληρώνει ανά βήμα βρόχου, και το μήκος του βρόχου είναι αυτό που δεν μπορείτε να προβλέψετε. Τα υβριδικά σχέδια δεν αφαιρούν τη μεταβλητότητα· τη μεταφέρουν σε ένα δίκτυο.

Η βαθύτερη ασυμμετρία δεν μεταβάλλεται με τους κόμβους επεξεργασίας. Ο προϋπολογισμός μιας συσκευής είναι σταθερός κατά τη φάση του σχεδιασμού. Η ζήτηση ενός πράκτορα αποφασίζεται κατά το χρόνο εκτέλεσης, από ό,τι ζητήσει ο χρήστης. Καλύτερο πυρίτιο αυξάνει το όριο. Δεν λέει στον πράκτορα πού είναι το όριο.

Άρα, πείτε του. Ορίστε το όριο γύρων στις προδιαγραφές του προϊόντος αντί να το ανακαλύπτετε σε ανασκόπηση κώδικα, και επιλέξτε τον αριθμό από το θερμικό περιβάλλον: αποφασίστε πόσα βήματα χωρούν, έπειτα σχεδιάστε τον πράκτορα να παράγει την καλύτερη διαθέσιμη απάντηση σε αυτό το όριο αντί για την ιδανική του απάντηση σε ένα αυθαίρετο. Θεωρήστε το ως προθεσμία, όχι ως στόχο.

Στη συνέχεια δώστε στον πράκτορα τον προϋπολογισμό ως είσοδο. Το υπόλοιπο περιθώριο, η κατάσταση της μπαταρίας, το αν η πλατφόρμα έχει ήδη αρχίσει να περιορίζει — όλα αυτά ανήκουν στο πλαίσιο, όπως και η τρέχουσα ώρα. Ένας πράκτορας που ξέρει ότι βρίσκεται στο βήμα οκτώ από δέκα μπορεί να συνοψίσει και να δεσμευτεί. Ένας πράκτορας που δεν το ξέρει θα συνεχίσει την εξερεύνηση μέχρι το λειτουργικό σύστημα να αποφασίσει για αυτόν.

Και δοκιμάστε την ουρά, όχι το μέσο, που σε φυσική συσκευή σημαίνει δοκιμή σε προσομοίωση. Η περίπτωση αποτυχίας δεν είναι ποτέ η καθαρή εκτέλεση. Είναι η εκτέλεση που χρειάστηκε δεκατέσσερα βήματα επειδή ένα εργαλείο επέστρεψε κάτι ασαφές στο βήμα τρία, και δεν μπορείτε να τα απαριθμήσετε με το χέρι σε ένα τηλέφωνο που πρέπει να ψύχεται μεταξύ των προσπαθειών. Τα δικά μου συστήματα εκπαιδεύονται κυρίως με προσομοιώσεις για αυτόν τον λόγο: η ενδιαφέρουσα συμπεριφορά βρίσκεται στις μακρές εκτελέσεις, και οι μακρές εκτελέσεις είναι ακριβώς αυτό που το υλικό δεν θα σας επιτρέψει να δείτε με το χέρι.

Τίποτα από αυτά δεν απαιτεί πιο γρήγορο τσιπ. Απαιτεί την παραδοχή ότι το φορτίο εργασίας άλλαξε σχήμα. Κανείς δεν αποστέλλει μια συσκευή της οποίας η μπαταρία είναι διαμορφωμένη για μία φωτογραφία. Συνεχίζουμε να αποστέλλουμε συσκευές του οποίου ο θερμικός προϋπολογισμός είναι διαμορφωμένος για μία πρόβλεψη.