Ηγέτες σκέψης
Η ταυτοποίηση οντοτήτων γίνεται υποδομή AI, όχι απλώς καθαρισμός δεδομένων

Βασικά σημείαΗ επίλυση οντοτήτων μετατοπίζεται από περιοδικό καθαρισμό σε υποδομή χρόνου εκτέλεσης…
Δείτε περισσότερα
- Η επίλυση οντοτήτων μετατοπίζεται από περιοδικό καθαρισμό σε υποδομή χρόνου εκτέλεσης, επειδή οι πράκτορες δρουν ακαριαία βάσει επιλυμένων ταυτοτήτων.
- Οι πράκτορες με ενίσχυση ανάκτησης κληρονομούν κατακερματισμένες ή εσφαλμένα συγχωνευμένες εγγραφές και αντιμετωπίζουν αυτή την ασάφεια ως δεδομένο γεγονός.
- Οι περισσότεροι οργανισμοί αναπτύσσουν αυτόνομους πράκτορες, ενώ λίγοι θεωρούν την υποδομή τους πραγματικά έτοιμη να τους διακυβερνήσει.
Πριν από λίγο καιρό, παρακολούθησα έναν πράκτορα AI να δίνει με αυτοπεποίθηση μια λανθασμένη απάντηση για ένα εντελώς βαρετό λόγο. Μια επιχείρηση είχε δύο εγγραφές για τον ίδιο εταιρικό πελάτη. Η μια εγγραφή περιείχε το παλιό εμπορικό όνομα και στοιχεία επικοινωνίας του οικονομικού τμήματος. Η άλλη εγγραφή περιείχε το νέο νομικό όνομα της εταιρείας που είχε υιοθετηθεί μετά από μια εξαγορά, μαζί με μια διαφορετική διεύθυνση χρέωσης. Στον πράκτορα τέθηκε μια απλή ερώτηση: είναι ενήμερος αυτός ο λογαριασμός πελάτη; Βρήκε μια εγγραφή, είδε ότι δεν υπήρχαν ληξιπρόθεσμα τιμολόγια και είπε ναι. Τα ληξιπρόθεσμα τιμολόγια ήταν αρχειοθετημένα με το άλλο όνομα.
Δεν υπήρξε καμία παραίσθηση του μοντέλου. Το μοντέλο συλλογίστηκε ορθά πάνω στα δεδομένα που του δόθηκαν. Τα δεδομένα απλώς συνέβη να περιγράψουν δύο πελάτες όπου υπήρχε, στον πραγματικό κόσμο, ένας. Το λάθος δεν ήταν στο μοντέλο γλώσσας. Ήταν στη σύνδεση.
Έχω αρχίσει να θεωρώ ότι αυτό είναι ένα από τα πιο υποτιμημένα ρίσκα στην εταιρική AI και ένα από τα λιγότερο συζητημένα. Μιλάμε ατελείωτα για την ακρίβεια του μοντέλου, το σχεδιασμό του prompt και τη διακυβέρνηση. Μιλάμε πολύ λιγότερο για το αν ένα σύστημα πραγματικά γνωρίζει σε ποιον πραγματικό πελάτη, προμηθευτή ή λογαριασμό κατευθύνει τις ενέργειές του. Αυτό το ερώτημα έχει ένα όνομα. Ονομάζεται entity resolution και μετά από εξήντα χρόνια στο παρασκήνιο, σιγά-σιγά γίνεται μια ζωντανή υποδομή.
Το πρόβλημα άλλαξε χρόνο
Στο μεγαλύτερο μέρος της ιστορίας αυτής της πρακτικής, “είναι αυτές οι δύο εγγραφές η ίδια οντότητα;” ήταν ένα ερώτημα καθαρισμού. Το εκτελούσατε σε μια παρτίδα, βάσει χρονοδιαγράμματος, μέσα σε ένα πρόγραμμα διαχείρισης κύριων δεδομένων, μια αποθήκη δεδομένων ή μια ροή αναλυτικής επεξεργασίας. Δεν ήταν ποτέ τέλειο, αλλά μπορούσαμε να ανεχτούμε τις ατέλειες, επειδή η έξοδος ήταν μια αναφορά που κάποιος διάβασε την επόμενη εβδομάδα. Αν δύο εγγραφές για τον ίδιο προμηθευτή δεν είχαν συγχωνευθεί, ένας αριθμός δαπανών βγήκε λίγο λάθος, ένας αναλυτής το παρατηρούσε και το διόρθωσε στην επόμενη εκτέλεση. Το σύστημα είχε χρονικά περιθώρια. Ο χρόνος απορρόφησε τα λάθη.
Ένας πράκτορας AI αφαιρεί αυτά τα περιθώρια. Αλλάζει το χρόνο του ερωτήματος από “τελικά” σε “τώρα”. Όταν ένας πράκτορας είναι έτοιμος να εγκρίνει μια επιστροφή, να δρομολογήσει μια υπόθεση, να ενημερώσει ένα προφίλ ή να απαντήσει σε μια ερώτηση συμμόρφωσης, η επιλυμένη οντότητα δεν τροφοδοτεί πλέον έναν πίνακα παρακολούθησης. Τροφοδοτεί μια ενέργεια. Το κόστος ενός λάθους σύνδεσης μεταφέρεται από έναν αριθμό που είναι λίγο λανθασμένος σε κάτι που συμβαίνει στον κόσμο, αμέσως, και συχνά χωρίς άνθρωπο μέσα στη διαδικασία που να εντοπίσει το λάθος.
Αυτή είναι η αλλαγή στην οποία αξίζει να σταθούμε. Το υποκείμενο πρόβλημα είναι παλιό και καλά κατανοητό. Τι είναι καινούριο είναι ότι το έχουμε συνδέσει απευθείας με συστήματα που ενεργούν μόνα τους.
Ένα πρόβλημα στατιστικής των ετών ’60
Η entity resolution δεν ήρθε με τα μεγάλα μοντέλα γλώσσας. Ήρθε με διάτρητες κάρτες. Το 1959, ο H. B. Newcombe και οι συνεργάτες του δημοσίευσαν ένα σύντομο άρθρο στο Science για την αυτόματη σύνδεση των ληξιαρχικών εγγραφών, περιγράφοντας πώς ένας υπολογιστής θα μπορούσε να αποφασίσει αν μια εγγραφή γέννησης και μια εγγραφή γάμου αναφέρονταν στον ίδιο άνθρωπο. Μια δεκαετία αργότερα, ο Ivan Fellegi και ο Alan Sunter έδωσαν στην ιδέα μια τυπική μαθηματική θεωρία, ορίζοντας τα τρία αποτελέσματα που κάθε σύστημα ταυτοποίησης εξακολουθεί να παράγει σήμερα: μια σύνδεση, μια μη σύνδεση και μια πιθανή σύνδεση που χρειάζεται να εξεταστεί από έναν άνθρωπο.
Υπάρχει μια λεπτομέρεια σε αυτή την ιστορική διαδρομή στην οποία αξίζει να σταθούμε, επειδή είναι το μέρος που οι άνθρωποι πιο συχνά κάνουν λάθος. Η σύνδεση εγγραφών δεν ήταν ποτέ μόνο ακριβής αντιστοίχιση σε μια διεύθυνση email ή ένα κοινό ID. Από την αρχή ήταν πιθανολογική. Ζύγιζε τις αποδείξεις ότι δύο εγγραφές συμφωνούσαν σε ένα επώνυμο, μια ημερομηνία, έναν τόπο και παρήγαγε ένα σκορ, επειδή τα δεδομένα που εισάγονται από τους ανθρώπους είναι ακατάστατα και τα ακριβή κλειδιά αποτυγχάνουν συνεχώς. Η σύγχρονη entity resolution εξακολουθεί να λειτουργεί με αυτόν τον τρόπο. Συνδυάζει ντετερμινιστικούς κανόνες, όπου ένα κοινό σταθερό αναγνωριστικό είναι αποφασιστικό, με πιθανολογική και προσεγγιστική αντιστοίχιση με μηχανική μάθηση που αντιμετωπίζει τα λάθη, τα ψευδώνυμα, τις αναστροφές πεδίων, τις συντομεύσεις και τους δώδεκα μικρούς τρόπους με τους οποίους ο ίδιος άνθρωπος ή η εταιρεία εμφανίζεται διαφορετικά σε διάφορα συστήματα. Μια καλή επισκόπηση του πεδίου χαρτογραφεί μια αδιάκοπη γραμμή από τις ληξιαρχικές εγγραφές της δεκαετίας του ’50 μέχρι τις μεθόδους clustering και machine-learning που χρησιμοποιούνται τώρα.
Τι έχει πραγματικά αλλάξει είναι πότε χρειαζόμαστε την απάντηση. Οι ερευνητές έγραφαν για την επίλυση οντοτήτων κατά την ώρα της ερώτησης, και όχι μόνο προηγουμένως, πολύ πριν από το τρέχον κύμα AI. Τότε ήταν μια ενδιαφέρουσα βελτιστοποίηση. Τώρα είναι πιο κοντά σε απαραίτητη προϋπόθεση.
Γιατί οι πράκτορες την μετατρέπουν σε υποδομή
Τα περισσότερα συστήματα εταιρικής AI δεν απαντούν από τη μνήμη του μοντέλου. Ανακτούν. Το πρότυπο που έγινε ευρέως γνωστό ως retrieval-augmented generation έχει έναν πράκτορα να ανακτά σχετικό πλαίσιο τη στιγμή της ερώτησης και να συλλογίζεται πάνω του. Αυτό είναι, σε γενικές γραμμές, ένα καλό πράγμα. Θεμελιώνει τις απαντήσεις στα δεδομένα σας και όχι στην εκπαίδευση του μοντέλου.
Αλλά αυτό έχει μια συνέπεια που είναι εύκολο να χάσετε. Ο πράκτορας κληρονομεί ό,τι του δίνει το βήμα ανάκτησης. Αν η ανάκτηση επιστρέψει έναν κατακερματισμένο πελάτη, τρεις μερικές εγγραφές που δεν είχαν ποτέ συνδεθεί, ο πράκτορας θα συλλογιστεί για τρεις πελάτες. Αν η ανάκτηση επιστρέψει ένα λανθασμένα συγχωνευμένο προφίλ πελάτη, δύο διαφορετικές εταιρείες συγχωνευμένες σε ένα ενιαίο προφίλ, ο πράκτορας θα συλλογιστεί για μια. Η αμφισημία που ήδη υπήρχε στα πηγαία συστήματα περνάει απευθείας και παρουσιάζεται στο μοντέλο ως καθορισμένο γεγονός. Το μοντέλο δεν έχει τρόπο να γνωρίζει ότι η σύνδεση ήταν λάθος, όπως δεν θα μπορούσατε ούτε εσείς διαβάζοντας μια τακτοποιημένη περίληψη εγγραφών που δεν είχατε δει ποτέ.
Έτσι, η επίλυση οντοτήτων δεν μπορεί να είναι μια εκ των υστέρων προσθήκη που τρέχει μια φορά το τρίμηνο και καταλήγει σε έναν ξεχωριστό πίνακα. Η οντότητα πρέπει να συναρμολογηθεί όταν τα δεδομένα εισάγονται, και η τρέχουσα ενοποιημένη προβολή της πρέπει να είναι ανακτήσιμη την ακριβή στιγμή που ο πράκτορας ρωτάει. Αυτό αποτελεί εξάρτηση χρόνου εκτέλεσης. Συμπεριφέρεται πολύ περισσότερο σαν μια βάση δεδομένων ή μια υπηρεσία αυθεντικοποίησης παρά σαν ένα περιοδικό πρότζεκτ καθαρισμού δεδομένων, και πρέπει να σχεδιάζεται και να παρακολουθείται και να διασφαλίζεται η αξιοπιστία της όπως σε οποιοδήποτε άλλο σύστημα που η εφαρμογή σας καλεί σε πραγματικό χρόνο.
Το κενό ετοιμότητας που κανείς δεν ονομάζει ακριβώς
Η βιομηχανία ήδη αισθάνεται ότι κάτι λείπει εδώ. Ο δείκτης ετοιμότητας AI της Cisco για το 2025 βρήκε ότι το 83% των οργανισμών σχεδιάζουν να αναπτύξουν αυτόνομους πράκτορες, ενώ μόνο περίπου το ένα τρίτο αισθάνεται ότι η υποδομή τους είναι πραγματικά έτοιμη για αυτούς, και μόνο περίπου το ένα τέταρτο αισθάνεται εξοπλισμένο για να ελέγξει και να κυβερνήσει τι πραγματικά κάνουν αυτοί οι πράκτορες. Η πιο πρόσφατη έρευνα της McKinsey για την κατάσταση της AI περιγράφει ένα παρόμοιο κενό από την άλλη πλευρά: περίπου το 88% των οργανισμών χρησιμοποιούν πλέον AI σε τουλάχιστον μια λειτουργία, ωστόσο η πλειονότητα δεν έχει επεκτείνει τη χρήση της σε ολόκληρη την επιχείρηση.
Όταν οι άνθρωποι εξηγούν αυτό το κενό, συνήθως φτάνουν σε δύο λέξεις: ποιότητα δεδομένων και διακυβέρνηση. Και τα δύο είναι σημαντικά, και κανένα από αυτά δεν είναι προαιρετικό. Υπάρχει όμως ένα πιο συγκεκριμένο ερώτημα κάτω από αυτά, στο οποίο τα καθαρά και καλά διακυβερνώμενα δεδομένα δεν απαντούν από μόνα τους. Μπορεί το σύστημα να πει σε ποια πραγματική οντότητα αναφέρεται μια δεδομένη εγγραφή, σε όλα τα μέρη όπου αυτή η εγγραφή ζει, τώρα; Μπορείτε να έχετε δεδομένα υψηλής ποιότητας σε κάθε επιμέρους σύστημα και παρ’ όλα αυτά να αποτύχετε σε αυτό το τεστ, επειδή η αστοχία δεν βρίσκεται μέσα σε κανένα μεμονωμένο σύστημα. Βρίσκεται στα κενά ανάμεσά τους, όπου ο ίδιος πελάτης εμφανίζεται με τρία ελαφρώς διαφορετικά πρόσωπα.
Τι να ελέγξετε πριν αφήσετε έναν πράκτορα να ενεργήσει
Αν αντιμετωπίζετε την entity resolution ως ζωντανή υποδομή, μπορείτε να την ελέγξετε σαν υποδομή. Οι λειτουργικοί τρόποι αστοχίας είναι συγκεκριμένοι και δοκιμαζόμενοι: διπλότυπες ταυτότητες που πρέπει να είναι μια, ψευδείς συγχωνεύσεις εγγραφών που πρέπει να παραμείνουν ξεχωριστές, παρωχημένοι κανόνες επιλογής της ισχύουσας τιμής που εξακολουθούν να προκρίνουν μια διεύθυνση η οποία έχει αντικατασταθεί, ελλείποντα μόνιμα αναγνωριστικά, και πράκτορες που κληρονομούν την αμφισημία του συστήματος προέλευσης σαν να ήταν οριστικά εξακριβωμένη αλήθεια.
Ένας πρακτικός έλεγχος ετοιμότητας δεν απαιτεί ένα νέο μοντέλο ή μια νέα κατηγορία προμηθευτών. Συγκεντρώστε ένα σύνολο αναφοράς οντοτήτων των οποίων την πραγματική κατάσταση γνωρίζετε καλά. Τρέξτε το μέσω της ίδιας διαδρομής ανάκτησης που χρησιμοποιεί ο πράκτοράς σας, όχι μέσω ενός ξεχωριστού καθαρού αντιγράφου που κατασκευάστηκε για την επίδειξη. Μετρήστε τα πράγματα που πραγματικά καθορίζουν τα αποτελέσματα: πόσες ψευδείς συγχωνεύσεις και ψευδείς διχοτομίες, πώς το σύστημα χειρίζεται την πραγματική αμφισημία, πού βρίσκονται τα όρια της εμπιστοσύνης, πότε παραπέμπει σε έναν άνθρωπο αντί να μαντεύει, και πώς μεταβιβάζει καθαρά στους υφιστάμενους μηχανισμούς ελέγχου κύριων δεδομένων και διακυβέρνησης. Αν μια ομάδα δεν μπορεί να απαντήσει σε αυτά τα ερωτήματα, ο πράκτορας ενεργεί σε μια ταυτότητα που δεν μπορεί να επιβεβαιώσει, και η εμπιστοσύνη στην έξοδο είναι λανθασμένη.
Κανένα από αυτά δεν αντικαθιστά τη διαχείριση κύριων δεδομένων, τη διακυβέρνηση, τις πλατφόρμες δεδομένων πελάτη, ή την αποθήκη δεδομένων. Αυτά απαντούν σε διαφορετικά ερωτήματα, και παραμένουν απαραίτητα. Η διακυβέρνηση αποφασίζει τι είναι επιτρεπτό σε έναν πράκτορα. Η entity resolution αποφασίζει σε ποιον ή σε τι κατευθύνεται η ενέργεια του πράκτορα. Το πρώτο είναι ώριμο στις περισσότερες μεγάλες οργανώσεις. Το δεύτερο είναι το στρώμα που πολλοί είναι έτοιμοι να ανακαλύψουν ότι χρειάζονται δίπλα του, σε πραγματικό χρόνο, τη στιγμή που αφήνουν έναν πράκτορα να ενεργήσει αντί να συμβουλεύει.
Ο πράκτορας που παρακολούθησα δεν χρειαζόταν ένα εξυπνότερο μοντέλο. Χρειαζόταν να γνωρίζει ότι δύο ονόματα ήταν ένας πελάτης πριν να επιτρέπεται να ακούγεται βέβαιος. Όταν δίνουμε σε αυτά τα συστήματα πραγματική εξουσία να ενεργήσουν, αυτή η σιωπηλή, εξηνταετής πρακτική παύει να είναι καθαρισμός και γίνεται φέρουσα υποδομή.












