Γιατί οι πιλότοι της επιχειρηματικής νοημοσύνης σταματούν πριν την παραγωγή: Είναι το χαράκωμα, όχι το μοντέλο

Το μοντέλο δεν ήταν ποτέ το δύσκολο μέρος. Από μέσα στη κατασκευή, η παραγωγή κερδίζεται ή χάνεται στο στρώμα γύρω του: ανάκτηση, εναπόθεση, δρομολόγηση και αξιολόγηση.

Κάθε μεγάλη έρευνα για την επιχειρηματική νοημοσύνη περιγράφει τώρα το ίδιο εμπόδιο: οι οργανώσεις μπορούν να έχουν πρόσβαση στα μοντέλα, να εκτελέσουν πιλότους και να δείξουν κάτι εντυπωσιακό, και στη συνέχεια σχεδόν κανένα από αυτά δεν φτάνει στην παραγωγή. Οι εκθέσεις περιγράφουν αυτό το χάσμα από την εξωτερική πλευρά, μέσω των εκτελεστικών που απαντούν σε ερωτηματολόγια. Αυτή είναι η άποψη από την άλλη πλευρά: από μέσα στις κατασκευές, όπου οι πιλότοι είτε διασχίζουν στην παραγωγή είτε σιωπηλά πεθαίνουν.

Το χάσμα που μετράει mọibody

Τα νούμερα έχουν γίνει οικεία. Η έκθεση του Deloitte για την κατάσταση της νοημοσύνης στην επιχείρηση βρήκε ότι η πρόσβαση στη νοημοσύνη είναι τώρα σχεδόν καθολική, ωστόσο μόνο περίπου ένα τέταρτο των οργανισμών φτάνει ακόμη και στο 40% των πειραμάτων στην παραγωγή, και περίπου ένας στους πέντε αναφέρει ωριμότητα διακυβέρνησης για αυτόνομους πράκτορες. Η έκθεση του MIT το έθεσε πιο απλά: σε εκατοντάδες αναπτύξεις, η συντριπτική πλειοψηφία δεν παρήγαγε κανένα μετρήσιμο οικονομικό όφελος. Η Gartner έχει προβλέψει ότι ένα μεγάλο μερίδιο των έργων γεννητικής νοημοσύνης θα εγκαταλειφθεί μετά το στάδιο της απόδειξης της концепτός, επικαλούμενη κακή ποιότητα δεδομένων, αυξανόμενο κόστος και ασαφή επιχειρηματική αξία.

Συγκεντρώνοντας αυτά τα ευρήματα μαζί και μια seule μορφή εμφανίζεται. Το εμπόδιο δεν είναι η πρόσβαση στα ικανά μοντέλα. Αυτό το πρόβλημα έχει λυθεί. Το εμπόδιο είναι η απόσταση μεταξύ ενός μοντέλου που λειτουργεί σε μια επίδειξη και ενός συστήματος που λειτουργεί στην παραγωγή, κάθε φορά, για κάθε χρήστη, υπό πραγματική φόρτωση, με πραγματικές συνέπειες για το λάθος.

Μια επιφύλαξη που αξίζει να αναφερθεί σαφώς: πολλές πιλότοι δεν στέλνονται ποτέ για λόγους που δεν έχουν να κάνουν με την μηχανική: δεν υπάρχει πραγματική επιχειρηματική περίπτωση, δεν υπάρχει χρησιμοποιήσιμο δεδομένο, δεν υπάρχει εκτελεστικός χορηγός, ή ένα συνολικό κόστος που κανείς δεν μοντέλο. Βάζοντας αυτά στην άκρη. Αυτό που ακολουθεί είναι για το μεγάλο και εκνευριστικό σύνολο πιλότων που είναι τεχνικά πραγματικά, δείχνουν μια πειστική επίδειξη και έχουν μια γνήσια περίπτωση χρήσης πίσω τους, και ακόμη σταματούν στην παραγωγή. Για αυτά, ο αποφασιστικός παράγοντας είναι σχεδόν ποτέ το μοντέλο.

Αυτό που δεν μπορεί να σας πει τα δεδομένα της έρευνας είναι τι κλείνει πραγματικά αυτή τη απόσταση. Αυτή η απάντηση δεν ζει σε ένα ερωτηματολόγιο. Ζει στις μηχανικές αποφάσεις που λαμβάνονται μετά την επίδειξη εντυπωσιάζει όλους και πριν το σύστημα εμπιστευτεί με πραγματικούς πελάτες.

Το πρότυπο: η αποφασιστική διόρθωση είναι σχεδόν ποτέ το μοντέλο

Σε όλες τις επιχειρηματικές αναπτύξεις της νοημοσύνης που μπορούμε να μιλήσουμε, ένα συνεπές πρότυπο ισχύει: όταν ένας σταματημένος πιλότος τελικά έφτασε στην παραγωγή, η αλλαγή που τον οδήγησε εκεί ήταν σπάνια ένα καλύτερο μοντέλο. Ήταν το στρώμα γύρω από το μοντέλο: πώς η πληροφορία ανακτάται και εναποτίθεται, πώς οι έξοδοι ελέγχονται πριν φτάσουν σε ένα χρήστη, πώς η δουλειά δρομολογείται στο σωστό μοντέλο και nicht στο πιο ισχυρό, και πώς το σύνολο αξιολογείται συνεχώς.

Το ονομάζουμε το στρώμα του χαράκωματος. Ένας πράκτωρ, σε πρακτικούς όρους, είναι ένα μοντέλο με πρόσβαση σε εργαλεία, και το χαράκωμα είναι όλα αυτά που διέπουν πώς το μοντέλο ανακτά контекστό, χρησιμοποιεί αυτά τα εργαλεία και είναι υπόλογο για αυτό που παράγει: ανάκτηση, ελέγχους εναπόθεσης, δρομολόγηση μοντέλων, φρουρά και αξιολόγηση. Αυτά τα στοιχεία δεν λειτουργούν σε απομόνωση. Πρέπει να τα συνδυάσετε, σκόπιμα, για μια συγκεκριμένη περίπτωση χρήσης. Αυτή η συνδυαστική дисциплина είναι αυτό που ονομάζουμε χαράκωμα του πράκτορα, και είναι όπου η ετοιμότητα παραγωγής πραγματικά κερδίζεται ή χάνεται.

Αυτό αναδιαμορφώνει την παγίδα της απόδειξης της концепτός. Οι ομάδες σταματούν γιατί συνεχίζουν να βελτιώνουν το μέρος που ήδη λειτουργεί. Ανταλλάσσουν ένα καινούριο μοντέλο, ξανασχεδιάζουν τις προτροπές και περιμένουν την επόμενη κυκλοφορία, ενώ τα πραγματικά σημεία αποτυχίας καθίστανται ένα στρώμα έξω, στα μέρη του συστήματος που μια επίδειξη ποτέ δεν तनίζει.

Εναπόθεση, όχι ένα έξυπνο μοντέλο, είναι αυτό που κάνει έναν πράκτορα αρκετά ασφαλή για να σταλεί

Σκεφτείτε ένα συμβουλευτικό σύστημα και σύστημα αναφοράς που κατασκευάσαμε στον τομέα των ασφαλειών, έναν τομέα όπου μια θαρραλέα λανθασμένη απάντηση δεν είναι ένα σφάλμα αλλά μια ευθύνη. Η πρώτη σκέψη σε περιπτώσεις όπως αυτή είναι να φτάσει στο πιο ικανό διαθέσιμο μοντέλο και να υποθέσει ότι η ικανότητα αγοράζει ασφάλεια. Δεν το κάνει. Ένα πιο ευφραδές μοντέλο παράγει πιο πειστικές ψευδαισθήσεις, οι οποίες σε ένα ρυθμιζόμενο περιβάλλον είναι χειρότερο, όχι καλύτερο.

Αυτό που έκανε το σύστημα στέλσιμο ήταν το χαράκωμα: ένας σχεδιασμός ανάκτησης που έτρεχε μόνο από διευθυνόμενα, ασφαλή πηγές; ελέγχοι εναπόθεσης που επαλήθευαν τις γεννημένες αξιώσεις κατά των πηγών πριν φτάσουν σε ένα χρήστη; και ένα βήμα επαλήθευσης που θα προτιμούσε να απέχει παρά να υποστηρίξει κάτι που δεν υποστηρίζεται. Το αποτέλεσμα ήταν μια μετρημένη μείωση των ψευδαισθήσεων κατά 80 έως 90 τοις εκατό έναντι μιας βάσης μόνο LLM, με ακρίβεια εναπόθεσης πάνω από 95 τοις εκατό, ενώ διατηρούσε υπο-δύο δευτερόλεπτα P95 καθυστέρηση, ώστε το στρώμα ασφάλειας να μην έκανε το σύστημα να αισθανθεί αργό.

Η αντίθετη μάθηση για όποιον εξακολουθεί να ισοδυναμεί την ασφάλεια με την επιλογή του μοντέλου: το στρώμα εναπόθεσης και επαλήθευσης είναι η διακυβέρνηση. Τα έγγραφα πολιτικής και οι επιτροπές έγκρισης έχουν σημασία, αλλά δεν σταματούν ένα μοντέλο από το να εφευρεί ένα γεγονός κατά τη διάρκεια της εύρεσης. Ένα στρώμα ανάκτησης και επαλήθευσης το κάνει. Σε τις αναπτύξεις μας, το τεχνικό στρώμα εναπόθεσης είναι το πραγματικό μηχανισμό διακυβέρνησης: ο τόπος όπου «η νοημοσύνη δεν πρέπει να κάνει πράγματα» σταματά να είναι ένα αρχή και γίνεται μια επιβαλλόμενη ιδιότητα του συστήματος.

Δρομολόγηση μοντέλων, όχι επιλογή μοντέλων, είναι όπου ο κόστος της νοημοσύνης quyếtίζεται

Ο δεύτερος τόπος όπου οι πιλότοι πεθαίνουν είναι η ανασκόπηση του προϋπολογισμού. Ένα σύστημα μπορεί να λειτουργήσει όμορφα και ακόμη να ακυρωθεί όταν η οικονομία ανά συμβόλαιο, πολλαπλασιασμένη σε χιλιάδες χρήστες και δεκάδες περιπτώσεις χρήσης, γίνεται ένα πρόβλημα συνολικού κόστους που κανείς δεν μοντέλο στο στάδιο της αρχικής σχεδίασης.

Εδώ επίσης η σκέψη, επιλέξτε ένα ισχυρό μοντέλο και δρομολογήστε όλα μέσω αυτού, είναι το λάθος. Οι περισσότερες επιχειρηματικές εργασίες είναι ένα μείγμα: ένα μεγάλο μερίδιο των αιτημάτων είναι ρουτίνα, και ένα μικρό μερίδιο είναι πραγματικά δύσκολο. Στέλνοντας κάθε αίτημα σε ένα μοντέλο της επικράτειας σημαίνει πληρωμή των τιμών της επικράτειας για δουλειά τριών που ένα μικρότερο, φθηνότερο μοντέλο χειρίζεται τέλεια.

Σε μια μετανάστευση που εκτελέσαμε από μια API LLM τρίτου μέρους στο Amazon Bedrock , οι κέρδη προήλθαν από την ανασχεδιασμό του στρώματος του μοντέλου και όχι από την ανταλλαγή του μοντέλου. Δρομολόγηση κάθε εργασίας στο κατάλληλο στρώμα μοντέλου, σε συνδυασμό με ελέγχους κόστους και διακυβέρνησης του Bedrock, παρείχε μια μείωση 42 τοις εκατό στο κόστος της υποδομής της νοημοσύνης και 60 τοις εκατό ταχύτερη δημιουργία περιεχομένου που συμμορφώνεται, χωρίς να ξαναχτίζεται η εφαρμογή.

Εκτείνετε αυτό το πρότυπο και αυτό συνδυάζεται. Μια αρχιτεκτονική “συμβούλου” σε στρώματα, φθηνά μοντέλα που δρομολογούν και χειρίζονται το μεγαλύτερο μέρος των αιτημάτων, μοντέλα της επικράτειας που διατηρούνται για τις περιπτώσεις που πραγματικά τις χρειάζονται, μετατρέπει τη δρομολόγηση από μια μια φορά οικονομία σε μια δομική.

Αυτό το πρότυπο έχει οδηγήσει το κόστος της επιχειρηματικής νοημοσύνης xuống κατά 60 έως 80 τοις εκατό για τις εργασίες του πράκτορα, και μέχρι 85 τοις εκατό σε ορισμένες αναπτύξεις. Το σημείο δεν είναι το ποσοστό των επικεφαλίδων; είναι ότι το κόστος ενός συστήματος νοημοσύνης ορίζεται από την αρχιτεκτονική του, όχι από το ποιο μοντέλο επέλεξες.

Γιατί αυτό είναι αόρατο στα δεδομένα της έρευνας

Κανένα από αυτά δεν εμφανίζεται καθαρά σε μια έρευνα, γιατί οι έρευνες ρωτούν τους εκτελεστικούς για αποτελέσματα, όχι τους μηχανικούς για μηχανισμούς. «Εφτάσε ο πιλότος σας στην παραγωγή;» είναι ένα ναι/όχι που ένας εκτελεστικός μπορεί να απαντήσει. «Τι συγκεκριμένα τον οδήγησε εκεί;» είναι μια ερώτηση που μόνο η ομάδα της κατασκευής μπορεί να απαντήσει, και η απάντηση είναι σπάνια «βρήκαμε ένα καλύτερο μοντέλο». Είναι σχεδόν πάντα μια εκδοχή του «διόρθωσα το στρώμα γύρω από το μοντέλο».

Αυτό το αντίφατο εξηγεί την περίεργη επιμονή της παγίδας της απόδειξης της концепτός. Η βιομηχανία συνεχίζει να διαγιγνώσκει ένα πρόβλημα μοντέλου και αγοράζει λύσεις μοντέλου, ενώ το πραγματικό εμπόδιο καθίσταται στο στρώμα ανάκτησης, εναπόθεσης, δρομολόγησης και αξιολόγησης: το μη γλαμούρο πλυντήριο που keine επίδειξη δείχνει και keine εκκίνηση του μοντέλου διαφημίζει.

Εξηγεί επίσης γιατί η διακυβέρνηση και η ταχύτητα παράδοσης δεν είναι οι αντίθετοι που θεωρούνται. Η κοινή αφήγηση αντιμετωπίζει τη διακυβέρνηση ως το φρένο της αποστολής. Στην εμπειρία μας είναι πιο κοντά στο αντίθετο: η δουλειά εναπόθεσης και επαλήθευσης που κάνει ένα σύστημα διακυβερνήσιμο είναι η ίδια δουλειά που το κάνει αρκετά αξιόπιστο για να το βάλει μπροστά σε πραγματικούς χρήστες. Κατασκευασμένο στο στρώμα του χαράκωματος, η διακυβέρνηση δεν είναι αυτό που επιβραδύνει την κατασκευή. Είναι αυτό που της επιτρέπει να πλεύσει καθόλου.

Τι σημαίνει αυτό αν ο πιλότος σας είναι σταματημένος

Εάν έχετε ένα έργο γεννητικής νοημοσύνης που κάθεται σε μια παγίδα απόδειξης της концепτός, το πιο χρήσιμο που μπορείτε να κάνετε είναι να αντισταθείτε στην έμφυτη τάση να κοιτάξετε το μοντέλο πρώτα. Το μοντέλο είναι το μέρος που είναι πιο πιθανό να είναι ήδη αρκετά καλό. Κοίταξτε αντίθετα στο στρώμα γύρω από αυτό:

• Ανάκτηση και εναπόθεση: το σύστημα απαντά από διευθυνόμενα, επαλήθευμένες πηγές, ή εφευρίσκει από την εκπαίδευσή του;
• Επαλήθευση: υπάρχει κάτι που ελέγχει την έξοδο πριν φτάσει σε ένα χρήστη, ή η εμπιστοσύνη του μοντέλου περνάει κατευθείαν;
• Δρομολόγηση: κάθε αίτημα πληρώνει τις τιμές της επικράτειας, ή η δουλειά αντιστοιχεί στο φθηνότερο μοντέλο που μπορεί να το κάνει καλά;
• Αξιολόγηση: η ποιότητα μετράται συνεχώς έναντι των δικών σας προτύπων, ή επαλήθευτηκε μια φορά στην επίδειξη και ποτέ ξανά;

Οι οργανώσεις που διασχίζουν από πιλότους σε παραγωγή το 2026 δεν είναι αυτές που έχουν πρόσβαση στα καλύτερα μοντέλα. Όλοι έχουν αυτό. Είναι αυτές που κατάλαβαν ότι το μοντέλο δεν ήταν ποτέ το δύσκολο μέρος, και που έβαλαν την μηχανική τους προσπάθεια στο χαράκωμα, όπου η παραγωγή πραγματικά κερδίζεται.