Το Πρόβλημα Αξιοπιστίας του AI που Κανείς Δεν Θέλει να Μιλήσει

Η κυρίαρχη αφήγηση σχετικά με την αξιοπιστία του AI είναι απλή: τα μοντέλα οραματίζουν. Έτσι, για τις εταιρείες να αποκτήσουν την μεγαλύτερη δυνατή αξιοποίηση από αυτά, τα μοντέλα πρέπει να βελτιωθούν. Περισσότεροι παράμετροι. Καλύτερα δεδομένα εκπαίδευσης. Περισσότερη ενίσχυση μάθησης. Περισσότερη ευθυγράμμιση.

Και όμως, ακόμη και καθώς τα μοντέλα της επικράτειας γίνονται πιο ικανά, η συζήτηση για την αξιοπιστία αρνείται να φύγει. Οι ηγέτες των επιχειρήσεων εξακολουθούν να διστάζουν να επιτρέψουν στους πράκτορες να thựcήσουν σημαντικές ενέργειες εντός των βασικών συστημάτων. Τα διοικητικά συμβούλια εξακολουθούν να ρωτούν: «Μπορούμε να τους εμπιστευτούμε;»

Αλλά τα οράματα δεν είναι κυρίως ένα πρόβλημα μοντέλου. Είναι ένα πρόβλημα контекstu. Ζητάμε από τα συστήματα AI να λειτουργούν σε επιχειρηματική υποδομή χωρίς να τους δώσουμε τη δομική ορατότητα που απαιτείται για να συλλογιστεί ασφαλώς. Τότε κατηγορούμε το μοντέλο όταν κάνει υποθέσεις.

Η πραγματική διαφορά αξιοπιστίας δεν βρίσκεται τόσο στα βάρη όσο στην πληροφοριακή στρώση.

Ένας Χειρουργός Χωρίς Εικόνα

Φανταστείτε έναν χειρουργό που εκτελεί χειρουργική επέμβαση χωρίς εικόνα. Χωρίς MRI. Χωρίς τομογραφία. Χωρίς πραγματική ορατότητα του περιβάλλοντος ιστού. Μόνο μια γενική κατανόηση της ανατομίας και ένα σκαλπέλ. Ακόμη και ο πιο εξειδικευμένος χειρουργός θα ήταν αναγκασμένος να υποθέσει. Να προσεγγίσει. Να βασιστεί στη πιθανολογική λογική.

Αυτό κάνουν τώρα τα επιχειρηματικά συστήματα AI.

Όταν ένα σύστημα AI ζητηθεί να τροποποιήσει μια ροή εργασιών, να ενημερώσει μια κανόνα ERP ή να ενεργοποιήσει αυτοματοποίηση σε διάφορα εργαλεία, σπάνια έχει einen πλήρη γράφο εξαρτήσεων του περιβάλλοντος. Δεν γνωρίζει ποιο «αχρησιμοποίητο» πεδίο τροφοδοτεί μια κάτω ροή. Δεν βλέπει ποια αυτοματοποίηση αναφέρεται σε αυτήν την κανόνα επαλήθευσης. Δεν μπορεί να προσομοιώσει αξιόπιστα την επίδραση δεύτερης τάξης.

Έτσι, κάνει αυτό που έχουν εκπαιδευτεί τα μεγάλα μοντέλα γλώσσας να κάνουν: προβλέπει. Η πρόβλεψη δεν είναι κατανόηση. Και η πρόβλεψη χωρίς δομική контекστ φαίνεται σαν οραματισμός.

Συνεχίζουμε να Πλαισιώνουμε την Λάθος Συζήτηση

Η κοινότητα του AI έχει κλειδωθεί σε μια συζήτηση αξιοπιστίας που επικεντρώνεται στο μοντέλο. Έρευνες για νόμους κλιμάκωσης. Έρευνες για σειρά σκέψης προώθησης. Τεχνικές αυξήσεως ανάκτησης. Βάσεις αξιολόγησης.

Όλα απαραίτητα. Όλα πολύτιμα. Αλλά παρατηρήστε τι λείπει: συζήτηση για την τοπολογία των επιχειρηματικών συστημάτων.

Η αξιοπιστία σε ένα επιχειρηματικό контекスト δεν σημαίνει απλά «το μοντέλο παράγει σωστό κείμενο». Σημαίνει «το σύστημα κάνει αλλαγές που είναι ασφαλείς, ιχνηλατούμενες και προβλέψιμες».

Αυτό είναι μια θεμελιωδώς διαφορετική απαίτηση.

Όταν η OpenAI και η Anthropic δημοσιεύουν αξιολογήσεις της απόδοσης του μοντέλου, μετρούν την ακρίβεια σε εργασίες λογικής, προτύπων κώδικα ή ανάκλησης γνώσεων. Αυτά είναι χρήσιμα σήματα. Ωστόσο, δεν μετρούν την ικανότητα ενός πράκτορα AI να τροποποιήσει ασφαλώς ένα ζωντανο σύστημα εσόδων με 15 χρόνια συσσωρευμένης αυτοματοποίησης.

Το πρόβλημα δεν είναι αν το μοντέλο μπορεί να γράψει συντακτικά σωστό κώδικα, αλλά αν το AI καταλαβαίνει το περιβάλλον στο οποίο εκτελείται ο κώδικας.

Τα Ζωντανά Συστήματα Συγκεντρώνουν Εντροπία

Τα επιχειρηματικά συστήματα δεν είναι στατικά βάσεις δεδομένων. Είναι ζωντανά συστήματα. Κάθε νέα ενσωμάτωση αφήνει ένα ίχνος. Κάθε εκστρατεία εισάγει ένα πεδίο. Κάθε «γρήγορη επιδιόρθωση» εισάγει μια επιπλέον στρώση αυτοματοποίησης. Με τον καιρό, αυτές οι στρώσεις αλληλεπιδρούν με τρόπους που κανείς δεν καταλαβαίνει πλήρως.

Αυτό είναι μια συνάρτηση της ανάπτυξης. Τα σύνθετα προσαρμοζόμενα συστήματα φυσικά συσσωρεύουν εντροπία. Έρευνες από το/MIT’s Sloan School έχουν επί μακρόν υπογραμμίσει πώς η ασυμμετρία της πληροφορίας εντός των οργανισμών συσσωρεύει τον επιχειρηματικό κίνδυνο. Εν τω μεταξύ, η Gartner εκτιμά ότι η κακή ποιότητα των δεδομένων κοστίζει τους οργανισμούς κατά μέσο όρο $12.9 εκατομμύρια ανά έτος.

Τώρα φανταστείτε την εισαγωγή αυτόνομων πρακτόρων σε αυτό το περιβάλλον χωρίς να αντιμετωπίσουμε πρώτα την δομική του αδιαφάνεια.

Δεν πρέπει να μας εκπλήσσει όταν τα αποτελέσματα φαίνονται απρόβλεπτα. Ο πράκτορας δεν είναι κακόβουλος ή ανόητος. Είναι τυφλός. Κτίζει στο σκοτάδι.

Η Ανακτάσταση Δεν Είναι Ικανή

Ορισμένοι θα ισχυριστούν ότι η ανακτάσταση-ενισχυμένη γεννήτρια (RAG) λύνει αυτό το πρόβλημα. Δώστε στο μοντέλο πρόσβαση σε τεκμηρίωση. Τροφοδοτήστε το με περιγραφές σχήματος. Συνδέστε το με API.

Βοηθά.

Η τεκμηρίωση δεν είναι τοπολογία.

Ένα PDF που εξηγεί πώς μια ροή εργασιών «πρέπει» να λειτουργήσει δεν είναι το ίδιο με einen πραγματικό γράφο πώς αλληλεπιδρά πραγματικά με 17 άλλες αυτοματοποιήσεις.

Η πραγματικότητα της επιχείρησης σπάνια ταιριάζει με την τεκμηρίωση της επιχείρησης.

Μια μελέτη του 2023 που δημοσιεύθηκε στο Communications of the ACM βρήκε ότι η ξεπερασμένη τεκμηρίωση είναι ένας основικός συντελεστής των αποτυχιών συντήρησης λογισμικού. Τα συστήματα εξελίσσονται πιο γρήγορα από τις αφηγήσεις τους.

Έτσι, ακόμη και όταν παρέχουμε στους πράκτορες AI τεκμηρίωση, συχνά τους δίνουμε einen μερική ή ιδανική χάρτα.

Οι μερικές χάρτες vẫn παράγουν αυτοπεποίθητες λάθη.

Το Στρώμα του Πράκτορα Είναι το Πραγματικό Στρώμα Ασφαλείας

Τείνουμε να σκεφτόμαστε την ασφάλεια ως εκπαίδευση ευθυγράμμισης, φράγματα, κόκκινο teaming, και φίλτρα πολιτικής. Όλα σημαντικά. Αλλά σε επιχειρηματικούς контекστ, η ασφάλεια είναι контεκστική. Είναι γνωρίζοντας:

• Τι εξαρτάται από αυτό το πεδίο;
• Ποια αυτοματοποίηση αναφέρεται σε αυτό το αντικείμενο;
• Ποια κάτω ροή αναφορών θα σπάσει;
• Ποιος είναι ο ιδιοκτήτης αυτής της διαδικασίας;
• Πότε τροποποιήθηκε τελευταία;
• Ποια ιστορικά αλλαγές προηγήθηκαν της τρέχουσας διαμόρφωσης;

Χωρίς αυτό το στρώμα, ένας πράκτορας AI είναι αποτελεσματικά αυτοσχεδιασμός μέσα σε μια μαύρη θήκη. Με αυτό το στρώμα, μπορεί να προσομοιώσει την επίδραση πριν από την ενέργεια. Η διαφορά μεταξύ οραματισμού και αξιοπιστίας είναι συχνά ορατότητα.

Γιατί το Μοντέλο Καταλογίζεται

Γιατί, τότε, η συζήτηση επικεντρώνεται τόσο πολύ στα μοντέλα; Γιατί τα μοντέλα είναι αναγνώσιμα. Μπορούμε να μετρήσουμε την περιπλέξη. Μπορούμε να συγκρίνουμε βαθμολογίες προτύπων. Μπορούμε να δημοσιεύσουμε καμπύλες κλιμάκωσης. Μπορούμε να συζητήσουμε την ποιότητα των δεδομένων εκπαίδευσης.

Η τοπολογία της πληροφορίας εντός των επιχειρήσεων είναι πολύ, πολύ πιο ακατάστατη. Απαιτεί διαλειτουργική συντονισμό. Απαιτεί πειθαρχία διακυβέρνησης. Απαιτεί τους οργανισμούς να αντιμετωπίσουν την συσσωρευμένη複雑ότητα των δικών τους συστημάτων.

Είναι πιο εύκολο να πούμε «το μοντέλο δεν είναι έτοιμο» παρά να ομολογήσουμε «η υποδομή μας είναι αδιαφανής».

Αλλά καθώς οι πράκτορες AI μετακινούνται από τη γεννήτρια περιεχομένου στην επιχειρησιακή εκτέλεση, αυτή η πλαισίωση γίνεται επικίνδυνη.

Εάν αντιμετωπίσουμε την αξιοπιστία αποκλειστικά ως πρόβλημα μοντέλου, θα συνεχίσουμε να αναπτύσσουμε πράκτορες σε περιβάλλοντα που δεν μπορούν να αντιληφθούν σημαντικά.

Η Αυτονομία Απαιτεί Κοντέκστ

Οι πρόσφατες πειραματικές δοκιμές της Anthropic με ομάδες ανάπτυξης λογισμικού πολλαπλών πρακτόρων δείχνουν ότι τα συστήματα AI μπορούν να συντονιστούν σε σύνθετες εργασίες όταν παρέχονται με δομημένο κοντέκστ και μόνιμη μνήμη. Το μέτωπο της ικανότητας προχωράει γρήγορα. Αλλά αυτή η μορφή αυτονομίας χωρίς περιβαλλοντική ευαισθησία είναι εύθραυστη.

Ένα αυτοκινούμενο όχημα δεν βασίζεται μόνο σε ένα ισχυρό νευρωνικό δίκτυο. Εξαρτάται από lidar, κάμερες, συστήματα χαρτογράφησης και πραγματική ορατότητα του περιβάλλοντος. Το μοντέλο είναι ένα στρώμα μέσα σε ένα ευρύτερο στρώμα αντίληψης.

Το επιχειρηματικό AI χρειάζεται το ισοδύναμο του lidar. Όχι μόνο πρόσβαση API. Όχι μόνο τεκμηρίωση. Αλλά μια δομημένη, δυναμική κατανόηση των εξαρτήσεων του συστήματος.

Μέχρι να υπάρξει αυτό, οι συζητήσεις για τον οραματισμό θα συνεχίσουν να διαγνώσουν λανθασμένα την ριζική αιτία.

Ο Κρυφός Κίνδυνος: Η Υπερπεποίθηση

Υπάρχει ένας άλλος λεπτός κίνδυνος στη τρέχουσα πλαισίωση.

Όσο τα μοντέλα βελτιώνονται, οι έξοδοί τους γίνονται πιο ευφλεχτές, πιο πειστικές, πιο αυθεντικές.

Η ευφλεχτότητα ενισχύει την υπερπεποίθηση.

Όταν ένας πράκτορας τροποποιεί με αυτοπεποίθηση ένα σύστημα χωρίς πλήρη κοντέκστ, η αποτυχία δεν είναι αμέσως εμφανής. Μπορεί να εμφανιστεί εβδομάδες αργότερα ως μια αναφορά διακύμανσης, μια κενή συμμόρφωση ή ένα λάθος προβλέψεως εσόδων. Επειδή το μοντέλο φαίνεται ικανό, οι οργανισμοί μπορεί να υπερεκτιμήσουν την επιχειρησιακή του ασφάλεια. Η πραγματική λειτουργία αποτυχίας είναι πιθανή λανθασμένη εκτίμηση.

Και η πιθανή λανθασμένη εκτίμηση ευδοκιμεί στο σκοτάδι.

Επαναπλαισίωση του Ερωτήματος Αξιοπιστίας

Αντί να ρωτάμε: «Είναι το μοντέλο αρκετά καλό;» Πρέπει να ρωτάμε: «Έχει ο πράκτορας αρκετό δομικό κοντέκστ για να ενεργήσει ασφαλώς;» Αντί να μετράμε την ακρίβεια του προτύπου, πρέπει να μετράμε την ορατότητα του περιβάλλοντος. Αντί να συζητάμε τον αριθμό παραμέτρων, πρέπει να ελέγχουμε την αδιαφάνεια του συστήματος.

Το επόμενο μέτωπο της αξιοπιστίας του AI δεν είναι απλά μεγαλύτερα μοντέλα. Είναι πλουσιότερες στρώσεις κοντέκστ.

Αυτό περιλαμβάνει:

• Γράφους εξαρτήσεων επιχειρηματικών συστημάτων
• Πραγματική ορατότητα αλλαγών
• Χαρτογράφηση ιδιοκτησίας
• Ιστορική ευαισθησία διαμόρφωσης
• Προσομοίωση επίδρασης πριν από την εκτέλεση

Κανένα από αυτά δεν είναι γламούρ. Κανένα από αυτά δεν τρέχει στα κοινωνικά μέσα. Αλλά αυτό είναι όπου θα κερδηθεί η αξιοπιστία.

Κτίζοντας Με Τα Φώτα Αναμμένα

Οι ηγέτες των επιχειρήσεων έχουν δίκιο να απαιτούν αξιοπιστία πριν να δώσουν στους πράκτορες επιχειρησιακή εξουσία. Αλλά ο δρόμος προς τα εμπρός δεν είναι η αναμονή για ένα μυθικό μοντέλο χωρίς οραματισμό.

Είναι η επένδυση στην υποδομή ορατότητας που καθιστά δυνατή την έξυπνη ενέργεια.

Δεν θα επιτρέψουμε σε έναν νεαρό διαχειριστή να αλλάξει συστήματα παραγωγής χωρίς να καταλαβαίνει τις εξαρτήσεις. Δεν πρέπει να επιτρέψουμε στους πράκτορες AI να το κάνουν επίσης.

Ο στόχος; Να μειώσουμε τα τυφλά σημεία.

Όταν οι πράκτορες λειτουργούν με δομική ευαισθησία, οι ρυθμοί οραματισμού πέφτουν όχι επειδή το μοντέλο άλλαξε, αλλά επειδή η επιφάνεια υποθέσεων συρρικνώνεται.

Η πρόβλεψη γίνεται συλλογισμός. Ο συλλογισμός γίνεται προσομοίωση. Η προσομοίωση γίνεται ασφαλής εκτέλεση.

Η Ανεπίφευκτη Μετατόπιση

Τις επόμενες πέντε χρόνια, το στρώμα του AI θα διχαστεί. Ένα στρώμα θα επικεντρωθεί στην ικανότητα του μοντέλου: βάθος συλλογισμού, πολυτροπική ευφλεχτότητα και οικονομική αποδοτικότητα. Το άλλο στρώμα θα επικεντρωθεί στην πληροφοριακή/κοντεκστική τοπολογία: γράφοι συστημάτων, ευφυής μεταδεδομένων και πλαισίων διακυβέρνησης.

Οι οργανισμοί που αντιμετωπίζουν την αξιοπιστία αποκλειστικά ως άσκηση επιλογής μοντέλου θα παλέψουν.

Οι οργανισμοί που αντιμετωπίζουν την αξιοπιστία ως αρχιτεκτονική ιδιότητα θα προχωρήσουν γρηγορότερα με λιγότερο κίνδυνο.

Η συζήτηση για τον οραματισμό θα φανεί παλιά σε αναδρομή. Η πραγματική ιστορία θα είναι για την ορατότητα.

Το AI δεν είναι φυσικά ασεβές.

Λειτουργεί σε ένα σκοτάδι δωμάτιο.

Μέχρι να αντιμετωπίσουμε αυτό, δεν χτίζουμε έξυπνα συστήματα. Χτίζουμε ισχυρούς προβλέψιμους εντός αδιαφανών περιβαλλόντων.

Και αυτό σημαίνει ότι, παρά tất cả την πρόοδο, το AI εξακολουθεί να χτίζει στο σκοτάδι.