Η Νέα Οικονομία του AI Χτίζεται σε Tokens — Αλλά Τα Μετράμε Όλα Λάθος

Υπάρχει μια μετατόπιση που συμβαίνει στο AI που οι περισσότεροι άνθρωποι την αντιλαμβάνονται αλλά δεν την κατανοούν πλήρως ακόμη: abbiamo μετατοπίσουμε από το να μετράμε τις αιτήσεις σε το μετρήσιμο των tokens.

Στην εποχή του web, μετράγαμε τα συστήματα σε αιτήσεις ανά δευτερόλεπτο. Ήταν καθαρό, εύκολο να κατανοηθεί και κυρίως ακριβές. Μια αίτηση έφτανε, μια απάντηση εξέπεμπε και μπορούσατε να κλιμακώσετε την υποδομή γύρω από αυτό το μοντέλο.

Αυτή η αφαίρεση έχει πλέον εξαφανιστεί.

Στο AI, η θεμελιώδης μονάδα δεν είναι πλέον η αίτηση—αλλά το token. Κάθε πρόκληση, κάθε απάντηση και κάθε αλυσίδα συλλογισμού διασπάται σε tokens, που αντιπροσωπεύουν το έργο που εκτελεί το σύστημα, το κόστος που προκύπτει και, όλο και περισσότερο, την αξία που δημιουργείται.

Φυσικά, η βιομηχανία έχει συσπειρωθεί γύρω από αυτή τη μετατόπιση, εισάγοντας μετρήσεις όπως tokens ανά δευτερόλεπτο, κόστος ανά token και ακόμη και έσοδα ανά token. Φαίνεται ότι τελικά βρήκαμε έναν τρόπο να ποσοτικοποιήσουμε τα συστήματα AI. Αλλά αυτή η προσέγγιση είναι ανεπαρκής.

Το βιομηχανικό συντόμευμα: tokens ισούται με αξία

Υπάρχει μια αυξανόμενη αφήγηση ότι τα tokens είναι το νέο νόμισμα του AI—ότι περισσότερα tokens σημαίνουν περισσότερη νοημοσύνη και, κατά παράταση, περισσότερα έσοδα. Είναι μια πειστική ιδέα, αλλά απλοποιεί τι συμβαίνει πραγματικά μέσα σε αυτά τα συστήματα.

Όχι όλα τα tokens είναι ίσα. Κάποια tokens αντιπροσωπεύουν πραγματική δουλειά: ανάλυση δεδομένων, δημιουργία ερευνών, αυτοματοποίηση ροών εργασίας και υποστήριξη αποφάσεων που οδηγούν σε επιχειρηματικά αποτελέσματα. Άλλα είναι πολύ λιγότερο σημαντικά—ελαφριά δημιουργία περιεχομένου, πειραματισμός ή περιπτώσεις χρήσης που δεν φτάνουν ποτέ στην παραγωγή.

Μπορείτε ήδη να δείτε αυτό μέσα στις επιχειρήσεις. Μια ομάδα μπορεί να δημιουργήσει εκατομμύρια tokens για την υποστήριξη της παραγωγικότητας των développers ή των επιχειρηματικών λειτουργιών, επηρεάζοντας trực tiếp την αποτελεσματικότητα και τα έσοδα. Μια άλλη ομάδα μπορεί να δημιουργήσει τον ίδιο όγκο πειραματισμού με εργαλεία που δεν περνούν ποτέ την εσωτερική εξέταση. Σε χαρτί, οι μετρήσεις των tokens φαίνονται идентικές. Στην πραγματικότητα, η επιχειρηματική αξία είναι完全 διαφορετική.

Η μεταχείριση όλων των tokens ως ανταλλάξιμων μονάδων αξίας δημιουργεί μια διαστρεβλωμένη άποψη για το τι πραγματικά κάνει το AI μέσα σε μια οργάνωση. Οι επιχειρήσεις δεν χτίζονται σε όγκο tokens· χτίζονται σε αυτά που αυτά τα tokens επιτρέπουν.

Για να κατανοήσετε αυτή τη διαφορά, πρέπει να κοιτάξετε κάτω από την επιφάνεια και να δείτε πώς λειτουργούν πραγματικά αυτά τα συστήματα.

Γιατί η δεύτερη πρόκλησή σας είναι ταχύτερη από την πρώτη

Εάν έχετε χρησιμοποιήσει ένα εργαλείο όπως το ChatGPT, πιθανότατα έχετε παρατηρήσει ότι η δεύτερη ερώτησή σας είναι συχνά ταχύτερη από την πρώτη. Αυτή η συμπεριφορά δεν οφείλεται στο ότι το μοντέλο γίνεται πιο έξυπνο—αλλά στο πώς το σύστημα επαναχρησιμοποιεί το контекστ από τις προηγούμενες προκλήσεις.

Τα σύγχρονα συστήματα AI δεν επεξεργάζονται κάθε αίτηση σε απομόνωση. Κτίζουν контекστ, αποθηκεύοντας προηγούμενες προκλήσεις και απαντήσεις στη μνήμη, συχνά σε αυτό που ονομάζεται KV cache. Αυτό το cache βρίσκεται κοντά στη GPU, ώστε να μπορεί να προσεγγιστεί γρήγορα όταν δημιουργούνται απαντήσεις.

Η πρώτη αίτηση είναι ακριβή επειδή αρχικοποιεί αυτή την κατάσταση—αλλοκующий μνήμη, επεξεργαζόμενο την είσοδο και κτίζοντας το контекστ. Οι επόμενες αιτήσεις επαναχρησιμοποιούν αυτή τη κατάσταση, μειώνοντας την καθυστέρηση και βελτιώνοντας την απόκριση.

Αυτή η δυναμική γίνεται πιο σημαντική καθώς τα παράθυρα контекστ επεκτείνονται από χιλιάδες σε εκατοντάδες χιλιάδες—ή ακόμη και εκατομμύρια—tokens. Όσο περισσότερο контекστ διατηρεί το σύστημα, τόσο περισσότερη πίεση ασκεί στη μνήμη και την υποδομή, καθιστώντας κρίσιμο να αποφασιστεί τι αποθηκεύεται, συμπιέζεται ή απορρίπτεται.

Από την πλευρά του χρήστη, φαίνεται σαν ένα ταχύτερο σύστημα. Από την πλευρά της υποδομής, είναι ένα σύνθετο εμπόριο μεταξύ μνήμης, καθυστέρησης και κόστους.

Αυτή είναι η πραγματική δουλειά που συμβαίνει: όχι μόνο στο μοντέλο selbst, αλλά στο σύστημα που το περιβάλλει.

Το απόλυτο περιορισμό: η ενέργεια

Μόλις ξεπεράσετε την απόδοση του μοντέλου, η συζήτηση μετατοπίζεται γρήγορα.

Οι ομάδες που τρέχουν το AI σε κλίμακα δεν ζητούν πρωτίστως ποιο μοντέλο είναι το καλύτερο. Ζητούν πώς να το διατηρήσουν.

Η υποδομή του AI πιέζει τα φυσικά όρια: διαθεσιμότητα ενέργειας, ικανότητα ψύξης και εύρος ζώνης μνήμης. Τα κέντρα δεδομένων σχεδιάζονται ξανά γύρω από αυτά τα περιορισμοί, και οι οργανώσεις που αναπτύσσουν μεγάλα συστήματα AI αρχίζουν να λειτουργούν περισσότερο σαν υπηρεσίες παρά σαν παραδοσιακές εταιρείες λογισμικού.

Ηδη βλέπουμε αυτό στις μεγάλες επιχειρήσεις που χτίζουν υποδομή AI, όπου η δύναμη και η ψύξη—όχι η ικανότητα του μοντέλου—γίνονται το πρωταρχικό περιορισμό.

Οι εργασίες AI δεν κλιμακώνονται καθαρά ή προβλέψιμα. Συμπιέζουν την ζήτηση σε υπολογιστές, μνήμη και δίκτυο την ίδια στιγμή. Η δημιουργία περισσότερων tokens δεν είναι απλώς ένα ζήτημα προσθήκης περισσότερων GPU· είναι ένα ζήτημα αν η υποκείμενη υποδομή μπορεί να διατηρήσει την ενέργεια και τη θερμική φόρτιση που απαιτείται για να διατηρήσει αυτά τα συστήματα να τρέχουν αποτελεσματικά.

Το κόστος της δημιουργίας ενός token επεκτείνεται πέρα από τον υπολογισμό. Περιλαμβάνει ηλεκτρική ενέργεια, ψύξη, φυσική υποδομή και την ικανότητα να διατηρήσετε την απόδοση υπό φόρτο χωρίς υποβάθμιση.

Οι περισσότερες συζητήσεις για “κόστος ανά token” δεν αντανακλούν πλήρως αυτή τη πραγματικότητα. Σε κλίμακα, η ενέργεια γίνεται το προϋπολογισμό, όχι μόνο ένα άλλο στοιχείο.

Το μέλλον δεν είναι μεγαλύτερα μοντέλα. Είναι καλύτερα συστήματα.

Για τα τελευταία δύο χρόνια, η βιομηχανία έχει επικεντρωθεί στις συγκρίσεις μοντέλων, κοιτάζοντας τα βENCHMARKS, τις βαθμολογίες και τις σταδιακές βελτιώσεις στην ικανότητα.

Αυτή η εστίαση αρχίζει να μετατοπίζεται.

Σε περιβάλλοντα παραγωγής, η απόδοση είναι λιγότερο για το ποιο μοντέλο επιλέγετε και περισσότερο για το πώς το χρησιμοποιείτε. Οι οργανώσεις μετατοπίζονται προς συστήματα μοντέλων—συνδυάζοντας μεγάλα και μικρά μοντέλα, κατευθύνοντας εργασίες με νοημοσύνη και βελτιώνοντας για κόστος, καθυστέρηση και απόδοση σε ολόκληρη τη ροή εργασίας.

Αντί να στείλετε κάθε αίτηση σε ένα μεγάλο μοντέλο, τα συστήματα σπάζουν τις εργασίες σε μικρότερες συνιστώσες. Απλότερες εργασίες μπορούν να χειριστούν από πιο αποτελεσματικά μοντέλα, ενώ πιο σύνθετη συλλογιστική είναι आरτημένη για μεγαλύτερα μοντέλα. Ο контекστ επαναχρησιμοποιείται όπου είναι δυνατόν, και οι στρατηγικές caching εφαρμόζονται επιθετικά.

Αυτές οι αποφάσεις έχουν συχνά μεγαλύτερη επίδραση στην απόδοση και το κόστος από το να αλλάξετε από ένα μοντέλο σε ένα άλλο. Σε αυτή τη σημασία, τα tokens παραμένουν η μονάδα εργασίας, αλλά το σύστημα που τα δημιουργεί και τα διαχειρίζεται γίνεται ο πραγματικός διαφοροποιητής.

Το πιο παραμελημένο στρώμα στα συστήματα AI

Το AI περιγράφεται συχνά σε όρους μοντέλων από τη μια πλευρά και εφαρμογών από την άλλη, αλλά το στρώμα μεταξύ τους είναι όπου ζει η περισσότερη πολυπλοκότητα—και ευκαιρία.

Αυτό το στρώμα δεν μεταφέρει απλώς αιτήσεις· το διαμορφώνει. Καθορίζει πώς ρέει ο трафик, πώς εφαρμόζονται οι αποφάσεις και πώς συμπεριφέρονται τα συστήματα υπό πραγματικές συνθήκες.

Η παράδοση και η ασφάλεια δεν μπορούν να αντιμετωπιστούν ως ξεχωριστά προβλήματα εδώ. Το ίδιο στρώμα που κατευθύνει αιτήσεις και διαχειρίζεται τον контекστ είναι επίσης εκεί όπου εφαρμόζονται πολιτικές, μετριάζονται οι κίνδυνοι και καθιερώνεται η εμπιστοσύνη.

Όσο αυξάνεται η πολυπλοκότητα, οι λύσεις σημείου καταρρέουν. Τι χρειάζεται είναι μια ενοποιημένη πλατφόρμα που μπορεί να συντονίσει αυτές τις λειτουργίες σε πραγματικό χρόνο, αντί να τις ράβει μαζί μετά το γεγονός.

Αυτή είναι η θέση όπου γίνονται οι συμβιβασμοί. Είναι η θέση όπου ελέγχεται το κόστος, βελτιώνεται η απόδοση και εφαρμόζονται αποφάσεις ασφάλειας σε πραγματικό χρόνο. Όσο τα συστήματα AI κλιμακώνονται, αυτό το στρώμα γίνεται όλο και πιο σημαντικό. Είναι η διαφορά μεταξύ ενός συστήματος που εκτελείται καλά σε μια demo και ενός που λειτουργεί αξιόπιστα και αποτελεσματικά σε παραγωγή. Αυτή η μετατόπιση έχει πραγματικές επιπτώσεις για το πώς οι οργανώσεις σχεδιάζουν και διαχειρίζονται τα συστήματα AI.

Τι σημαίνει αυτό για τις οργανώσεις

Όσο οι επιχειρήσεις μεταφέρουν το AI στην παραγωγή, το ερώτημα δεν είναι μόνο ποιο μοντέλο να χρησιμοποιήσουν—αλλά πώς το σύστημα γύρω του σχεδιάζεται να λειτουργήσει.

Αυτό σημαίνει να σκεφτείτε πέρα από τις μετρήσεις των tokens και τις βαθμολογίες των μοντέλων, και να εστιάσετε σε πώς κατευθύνονται οι αιτήσεις, πώς διαχειρίζεται ο контекστ και πώς εφαρμόζονται οι πολιτικές σε ολόκληρη τη ροή εργασίας.

Οι περισσότερες οργανώσεις vẫn ράβουν αυτά τα κομμάτια μαζί—και αυτή η προσέγγιση δεν αντέχει dưới πραγματική πίεση παραγωγής.

Μετράμε το λάθος πράγμα

Τα tokens παρέχουν μια χρήσιμη αφαίρεση. Δίνουν στη βιομηχανία έναν τρόπο να ποσοτικοποιήσει κάτι που κάποτε φαινόταν αόριστο, αλλά δεν είναι η πλήρης εικόνα.

Τώρα, η βιομηχανία προσελκύεται σε αυτό που είναι ευκολότερο να μετρηθεί—μετρήσεις tokens, απόδοση και μετρήσεις κόστους—αντί για αυτό που έχει την μεγαλύτερη σημασία. Χωρίς контекστ, αυτά τα νούμερα μπορούν να είναι παραπλανητικά.

Η επόμενη φάση του AI δεν θα οριστεί από ποιος παράγει τα περισσότερα tokens. Θα οριστεί από ποιος κατανοεί τι αυτά τα tokens αντιπροσωπεύουν, και ποιος μπορεί να χτίσει συστήματα που τα μετατρέπουν σε σημαντικά, αποτελεσματικά και κλιμακωτά αποτελέσματα.

Επειδή στο τέλος, τα tokens δεν είναι το προϊόν. Είναι απλώς το παραπροϊόν της νοημοσύνης που δημιουργείται.