Γιατί το κόστος των token δεν δείχνει αν αποδίδει η εταιρική τεχνητή νοημοσύνη

Η εταιρική τεχνητή νοημοσύνη διανύει έναν γνώριμο κύκλο. Αρχικά, οι οργανισμοί επένδυσαν μαζικά, επιλέγοντας τα μεγαλύτερα και πιο ικανά μοντέλα, επειδή η τεχνολογία ήταν συναρπαστική και ο λογαριασμός δεν είχε φτάσει ακόμη. Όταν έφτασε, η αντίδραση ήταν εξίσου προβλέψιμη: οι ομάδες άρχισαν να περιορίζουν την πρόσβαση, να μειώνουν τους πειραματισμούς και να αναζητούν φθηνότερα μοντέλα.

Ο Ali Ghodsi, συνιδρυτής και διευθύνων σύμβουλος της Databricks, έχει περιγράψει το αρχικό στάδιο αυτού του κύκλου ως «υπερκατανάλωση token», όπου η χρήση περισσότερων token εκλαμβάνεται ως ένδειξη προόδου. Το σημαντικότερο στάδιο είναι η «μεγιστοποίηση της αξίας», δηλαδή να κατανοούμε τι αποδίδει αυτή η δαπάνη και να την κατευθύνουμε σε εργασίες που έχουν πραγματική σημασία.

Δεν πρόκειται απλώς για μια νέα ονομασία της βελτιστοποίησης κόστους. Η βελτιστοποίηση κόστους εξετάζει πώς μπορεί ένας οργανισμός να δαπανήσει λιγότερα, ενώ η μεγιστοποίηση της αξίας εξετάζει πώς μπορεί να αποκομίσει περισσότερα από όσα δαπανά. Αυτή η διάκριση θα αποκτά ολοένα μεγαλύτερη σημασία καθώς η τεχνητή νοημοσύνη περνά από μεμονωμένους πειραματισμούς στην καθημερινή λειτουργία των επιχειρήσεων.

Το μεγαλύτερο μοντέλο δεν είναι πάντα το κατάλληλο

Πολλοί οργανισμοί ξεκίνησαν τα προγράμματα τεχνητής νοημοσύνης τους χρησιμοποιώντας το ισχυρότερο διαθέσιμο μοντέλο για σχεδόν κάθε εργασία. Αυτή η προσέγγιση ήταν λογική στην αρχική πειραματική φάση, όταν οι ομάδες προσπαθούσαν να καταλάβουν τι μπορούσε να κάνει η τεχνολογία και οι δυνατότητες των μοντέλων είχαν μεγαλύτερη σημασία από την προβλεψιμότητα.

Ωστόσο, καθώς οι εφαρμογές επεκτάθηκαν, έγινε δύσκολο να δικαιολογηθεί το κόστος χρήσης ενός μοντέλου αιχμής για κάθε αίτημα. Ορισμένοι οργανισμοί αντέδρασαν περιορίζοντας την πρόσβαση ή ζητώντας από τις ομάδες να κάνουν λιγότερα, όμως οι γενικευμένοι περιορισμοί μπορούν να καταπνίξουν τους χρήσιμους πειραματισμούς μαζί με την πραγματική σπατάλη.

Αναδύεται μια πιο ώριμη προσέγγιση. Οι ομάδες αρχίζουν να αντιστοιχίζουν μικρότερα, εξειδικευμένα μοντέλα σε εργασίες ρουτίνας, reserving τα ικανότερα μοντέλα για εργασίες που απαιτούν σύνθετο συλλογισμό ή έχουν υψηλό κόστος αποτυχίας. Με την πάροδο του χρόνου, ορισμένοι οργανισμοί ενδέχεται επίσης να αναπτύξουν μοντέλα στη δική τους υποδομή, ώστε να αποκτήσουν μεγαλύτερο έλεγχο στο κόστος, την απόδοση και τα ευαίσθητα δεδομένα.

Το σημαντικό ερώτημα δεν είναι αν ένα μεγάλο ή ένα μικρό μοντέλο είναι καλύτερο. Είναι αν το μοντέλο είναι κατάλληλο για την εργασία και αν το αποτέλεσμα δικαιολογεί το συνολικό κόστος παραγωγής του.

Τα token δείχνουν δραστηριότητα, όχι αξία

Οι περισσότεροι πίνακες ελέγχου εταιρικής τεχνητής νοημοσύνης είναι σχεδιασμένοι γύρω από την κατανάλωση. Δείχνουν πόσα token χρησιμοποιήθηκαν, ποια μοντέλα τα επεξεργάστηκαν και πόσα δαπάνησε ο οργανισμός. Αυτά τα στοιχεία είναι απαραίτητα, αλλά δεν αποκαλύπτουν αν η εργασία απέφερε χρήσιμο αποτέλεσμα.

Μια ομάδα που καταναλώνει διπλάσια token δεν δημιουργεί κατ’ ανάγκη διπλάσια αξία. Μπορεί να διαχειρίζεται δυσκολότερες εργασίες, να χρησιμοποιεί ένα μοντέλο ισχυρότερο από όσο χρειάζεται ή να βασίζεται σε έναν πράκτορα που επαναλαμβάνει συνεχώς αποτυχημένες προσπάθειες. Ένας φόρτος εργασίας με υψηλό κόστος μοντέλων μπορεί παρ’ όλα αυτά να αποτελεί εξαιρετική επένδυση, αν αποτρέπει διακοπές λειτουργίας, επιλύει προβλήματα πελατών ή εξοικονομεί στους εργαζομένους ώρες πολύτιμου χρόνου.

Το ίδιο πρόβλημα υπάρχει εδώ και χρόνια στην παρατηρησιμότητα, μόνο που εκεί μετρούνται gigabyte αντί για token. Οι ομάδες ξεκίνησαν συλλέγοντας τα πάντα, επειδή η μέγιστη ορατότητα φαινόταν η ασφαλέστερη στρατηγική. Όταν αυξήθηκαν οι λογαριασμοί αποθήκευσης και επεξεργασίας, άρχισαν να δειγματοληπτούν τα δεδομένα, να μειώνουν τον χρόνο διατήρησής τους και να απορρίπτουν πληροφορίες για το περιβάλλον, προκειμένου να ελέγξουν τη δαπάνη.

Και στις δύο περιπτώσεις, η συνηθισμένη αντίδραση στην αύξηση του κόστους ήταν να γίνονται λιγότερα. Αντί γι’ αυτό, οι οργανισμοί χρειάζονται τη δυνατότητα να εντοπίζουν ποια δραστηριότητα έχει αξία, ποια είναι σπατάλη και ποια θα μπορούσε να γίνει πιο αποδοτική χωρίς να υποβαθμιστεί το αποτέλεσμα.

Το πραγματικό κόστος υπερβαίνει την εκτέλεση μοντέλων

Μια κλήση μοντέλου σπάνια περιλαμβάνει ολόκληρο τον φόρτο εργασίας της τεχνητής νοημοσύνης. Πριν δώσει μια απάντηση, ένας πράκτορας μπορεί να ανακτήσει έγγραφα, να υποβάλει ερωτήματα σε μια βάση δεδομένων, να αναζητήσει δεδομένα τηλεμετρίας, να καλέσει εξωτερικές υπηρεσίες και να δημιουργήσει νέα δραστηριότητα σε εφαρμογές ή υποδομές.

Ας εξετάσουμε έναν πράκτορα που διερευνά γιατί αυξήθηκε η καθυστέρηση κατά την ολοκλήρωση αγοράς μετά από μια ανάπτυξη. Μπορεί να εξετάσει αρχεία καταγραφής, να συγκρίνει μετρήσεις, να επιθεωρήσει ίχνη, να ανακτήσει αρχεία ανάπτυξης και να αναλύσει τις εξαρτημένες υπηρεσίες. Αν η αρχική του υπόθεση αποδειχθεί λανθασμένη, μπορεί να προσαρμόσει το χρονικό διάστημα, να αναζητήσει με διαφορετικές ονομασίες υπηρεσιών και να διερευνήσει αρκετές εναλλακτικές αιτίες.

Έτσι, μία ανθρώπινη εντολή μπορεί να δημιουργήσει εκατοντάδες λειτουργίες που εκτελούνται από μηχανές. Αυτές οι λειτουργίες καταναλώνουν υπολογιστικούς πόρους, πόρους εισόδου και εξόδου αποθήκευσης, χωρητικότητα δικτύου και διαθέσιμα όρια χρήσης API τρίτων· τίποτα από αυτά μπορεί να μην εμφανίζεται στον πίνακα ελέγχου δαπανών του οργανισμού για μοντέλα.

Αυτό σημαίνει ότι ένα μοντέλο που φαίνεται φθηνό μπορεί να υποστηρίζει μια δαπανηρή ροή εργασιών. Ένα ικανότερο μοντέλο μπορεί να κοστίζει περισσότερο ανά κλήση, αλλά να καταλήγει στο σωστό συμπέρασμα με λιγότερα βήματα, απαιτώντας λιγότερες επαναλήψεις και λιγότερη υποστηρικτική υποδομή. Ο μόνος τρόπος να γίνει αυτή η σύγκριση είναι να παρατηρηθεί ολόκληρη η εργασία.

Συνδέστε τη δραστηριότητα, το κόστος και τα αποτελέσματα

Η μεγιστοποίηση της αξίας προϋποθέτει οι οργανισμοί να συνδέουν τρία είδη πληροφοριών που συχνά μετρώνται χωριστά.

Το πρώτο είναι η δραστηριότητα της ΤΝ, συμπεριλαμβανομένων της επιλογής μοντέλου, της κατανάλωσης token, της καθυστέρησης, των κλήσεων εργαλείων, των επαναλήψεων και των παράλληλων κλάδων. Το δεύτερο είναι το κόστος υποδομής και το οικονομικό κόστος που προκύπτει από αυτή τη δραστηριότητα, συμπεριλαμβανομένων των υπολογιστικών πόρων, της αποθήκευσης, της χρήσης δικτύου, του φόρτου της βάσης δεδομένων και των χρεώσεων για εξωτερικά API. Το τρίτο είναι το αποτέλεσμα, το οποίο θα πρέπει να δείχνει αν η εργασία ολοκληρώθηκε με επιτυχία και αν κάποιος έκρινε χρήσιμο το αποτέλεσμα.

Δεν χρειάζεται κάθε αποτέλεσμα να αποτιμάται σε ακριβές χρηματικό ποσό. Μπορεί να αρκεί ένας πρακτικός δείκτης, όπως το αν έγινε αποδεκτή μια απάντηση, αν κάποιος χρειάστηκε να επαναλάβει την εργασία, αν ένα περιστατικό επιλύθηκε πιο γρήγορα ή αν μια αυτοματοποιημένη ροή εργασιών ολοκληρώθηκε χωρίς παρέμβαση.

Για παράδειγμα, μια διερεύνηση περιστατικού που παράγει εκατοντάδες ερωτήματα μπορεί να αξίζει τον κόπο, αν βοηθήσει τους μηχανικούς να αποκαταστήσουν μια κρίσιμη υπηρεσία 30 λεπτά νωρίτερα. Μια πολύ μικρότερη ροή εργασιών μπορεί και πάλι να είναι σπατάλη, αν παράγει μια αναφορά που δεν διαβάζει κανείς. Η κατανάλωση token από μόνη της δεν αρκεί για να διακρίνει κανείς τις δύο περιπτώσεις.

Όταν οι οργανισμοί μπορούν να συνδέσουν τη δραστηριότητα με τα αποτελέσματα, είναι σε θέση να αποφασίζουν συνειδητά πού θα χρησιμοποιούν μοντέλα αιχμής, πού επαρκούν μικρότερα μοντέλα και πού χρειάζεται ανασχεδιασμός μιας ροής εργασιών.

Η ορατότητα δεν θα πρέπει να απαιτεί την εκχώρηση του ελέγχου

Για να κατανοήσει κανείς την αξία της ΤΝ, χρειάζεται πρόσβαση σε ευαίσθητα δεδομένα και πληροφορίες. Οι προτροπές, οι παραγόμενες απαντήσεις, ο πηγαίος κώδικας, οι πληροφορίες πελατών και η τηλεμετρία του περιβάλλοντος παραγωγής μπορεί να αποτελούν όλα μέρος της ίδιας ροής εργασιών.

Οι οργανισμοί δεν θα πρέπει να αναγκάζονται να εξάγουν αυτές τις πληροφορίες σε μια εξωτερική υπηρεσία απλώς και μόνο για να κατανοήσουν την απόδοση των συστημάτων ΤΝ τους. Οι προτροπές και τα δεδομένα του περιβάλλοντος παραγωγής που καθιστούν χρήσιμη τη μέτρηση μπορεί να είναι τα ίδια στοιχεία που οι ομάδες ασφάλειας, προστασίας της ιδιωτικότητας και συμμόρφωσης δεν επιτρέπεται να αφήσουν να φύγουν από το περιβάλλον του οργανισμού.

Επομένως, τα ανώτερα στελέχη επιχειρήσεων θα πρέπει να ρωτούν πού υποβάλλονται σε επεξεργασία τα δεδομένα ΤΝ και παρατηρησιμότητας του οργανισμού τους, ποιοι έχουν πρόσβαση σε αυτά, για πόσο διάστημα διατηρούνται και αν η ανάλυση μπορεί να πραγματοποιηθεί εντός των υφιστάμενων ορίων ασφαλείας τους. Η ορθή διακυβέρνηση εξαρτάται από την ορατότητα, αλλά αυτή δεν θα πρέπει να δημιουργεί ένα νέο πρόβλημα ελέγχου των δεδομένων.

Η ανάλυση κοντά στα υποκείμενα δεδομένα διευκολύνει επίσης τη σύνδεση της δραστηριότητας της ΤΝ με τις εφαρμογές, τις υποδομές και τις επιχειρηματικές διαδικασίες που επηρεάζει. Αυτή η ολοκληρωμένη εικόνα επιτρέπει στις ομάδες να κατανοήσουν όχι μόνο πόσα ξόδεψαν, αλλά και τι απέδωσαν οι δαπάνες τους.

Βελτιστοποίηση για την αξία, όχι για τον όγκο

Οι οργανισμοί που θα πετύχουν στην επόμενη φάση της εταιρικής ΤΝ δεν θα είναι κατ’ ανάγκη εκείνοι που χρησιμοποιούν τα περισσότερα token ή ξοδεύουν τα λιγότερα. Θα είναι εκείνοι που μπορούν να διακρίνουν ποια μοντέλα και φόρτοι εργασίας αποφέρουν ουσιαστικά αποτελέσματα και, στη συνέχεια, να αξιοποιούν αυτή τη γνώση για να καθοδηγούν την ανάπτυξη και χρήση τους.

Αυτό απαιτεί να ξεπεράσουμε τους απομονωμένους πίνακες ελέγχου για το κόστος των μοντέλων. Οι ομάδες πρέπει να παρακολουθούν ολόκληρη τη διαδρομή, από το αίτημα του χρήστη έως τις κλήσεις μοντέλων, τα εργαλεία, την υποδομή και το τελικό αποτέλεσμα, διασφαλίζοντας παράλληλα ότι οι ευαίσθητες πληροφορίες παραμένουν υπό τον κατάλληλο έλεγχο του οργανισμού.

Το tokenmaxxing ήταν μια χρήσιμη φάση, καθώς ενθάρρυνε τους πειραματισμούς και ανέδειξε τις δυνατότητες της ΤΝ. Το valuemaxxing είναι η μεθοδολογία που πρέπει να ακολουθήσει: συνδυάζει την ορατότητα, το κόστος και τα αποτελέσματα, ώστε οι οργανισμοί να μπορούν να συνεχίσουν τους πειραματισμούς χωρίς να χάσουν τον έλεγχο των δαπανών ή των δεδομένων τους.

Η εταιρική ΤΝ δεν χρειάζεται να περιοριστεί απλώς και μόνο επειδή έφτασαν οι πρώτοι λογαριασμοί. Χρειάζεται πιο συνειδητή αξιοποίηση, με την προσπάθεια να αντιστοιχεί στη δυσκολία, τα μοντέλα στις εργασίες και οι δαπάνες στη μετρήσιμη αξία.