Η Entity Resolution Γίνεται Υποδομή AI, Όχι Καθαρότητα Δεδομένων

Πριν από λίγο καιρό, παρακολούθησα ένα πράκτορα AI να δίνει μια απάντηση με πείσμα λάθος για ένα εντελώς βαρετό λόγο. Μια επιχείρηση είχε δύο εγγραφές για τον ίδιο εταιρικό πελάτη. Η μια εγγραφή περιείχε το παλιό εμπορικό όνομα και μια επαφή χρηματοοικονομικού. Η άλλη εγγραφή περιείχε το νέο νομικό όνομα της εταιρείας που είχε υιοθετηθεί μετά από μια εξαγορά, μαζί με μια διαφορετική διεύθυνση χρέωσης. Ο πράκτορας ρωτήθηκε μια απλή ερώτηση: είναι αυτό το λογαριασμό σε καλή κατάσταση; Βρήκε μια εγγραφή, είδε ότι δεν υπήρχαν καθυστερημένες faktories και είπε ναι. Οι καθυστερημένες faktories ήταν αρχειοθετημένες με το άλλο όνομα.

Τίποτα δεν ήταν φανταστικό. Το μοντέλο συλλογίστηκε καθαρά πάνω στα δεδομένα που του δόθηκαν. Τα δεδομένα απλώς συνέβη να περιγράψουν δύο πελάτες όπου υπήρχε, στον πραγματικό κόσμο, ένας. Το λάθος δεν ήταν στο μοντέλο γλώσσας. Ήταν στη σύνδεση.

Έχω έρθει να σκεφτώ ότι αυτό είναι ένα από τα πιο υποτιμημένα рисκ σε entreprise AI και ένα από τα λιγότερο συζητημένα. Μιλάμε ατελείωτα για την ακρίβεια του μοντέλου, το σχεδιασμό του prompt και τη διακυβέρνηση. Μιλάμε πολύ λιγότερο για το αν ένα σύστημα πραγματικά γνωρίζει ποιο πραγματικό πελάτη, προμηθευτή ή λογαριασμό ενεργεί. Αυτό το ερώτημα έχει ένα όνομα. Ονομάζεται entity resolution και μετά από εξήντα χρόνια στο παρασκήνιο, σιγά-σιγά γίνεται μια ζωντανή υποδομή.

Το πρόβλημα άλλαξε χρόνο

Για το μεγαλύτερο μέρος της εργικής του ζωής, “είναι αυτές οι δύο εγγραφές η ίδια οντότητα;” ήταν ένα ερώτημα καθαρισμού. Το εκτελούσατε σε μια παρτίδα, σε ένα πρόγραμμα, κάπου μέσα σε ένα πρόγραμμα διαχείρισης δεδομένων, ένα αποθήκη ή μια ανάλυση. Δεν ήταν ποτέ τέλειο, αλλά ήταν επιβίσιμο, επειδή η έξοδος ήταν μια αναφορά που κάποιος διάβασε την επόμενη εβδομάδα. Αν δύο εγγραφές για τον ίδιο προμηθευτή δεν είχαν συγχρονιστεί, ένας αριθμός δαπανών βγήκε λίγο λάθος, ένας αναλυτής το έκανε και το διόρθωσε στην επόμενη εκτέλεση. Το σύστημα είχε χαλαρότητα μέσα του. Ο χρόνος απορρόφησε τα λάθη.

Ένας πράκτορας AI αφαιρεί αυτή τη χαλαρότητα. Αλλάζει το χρόνο του ερωτήματος από “τελικά” σε “τώρα”. Όταν ένας πράκτορας είναι έτοιμος να εγκρίνει μια επιστροφή, να διαβάσει μια περίπτωση, να ενημερώσει ένα προφίλ ή να απαντήσει σε μια ερώτηση συμμόρφωσης, η επιλυμένη οντότητα δεν τρέφει πλέον μια αναφορά. Τρέφει μια ενέργεια. Το κόστος ενός λάθους σύνδεσης μεταφέρεται από einen αριθμό που είναι λίγο λάθος σε κάτι που συμβαίνει στον κόσμο, αμέσως, και συχνά χωρίς κανέναν άνθρωπο στο βρόχο για να το πιάσει.

Αυτό είναι η μετατόπιση που αξίζει να καθίσετε. Το υποκείμενο πρόβλημα είναι παλιό και καλά κατανοητό. Τι είναι καινούριο είναι ότι το έχουμε συνδέσει απευθείας με συστήματα που ενεργούν μόνα τους.

Ένα πρόβλημα στατιστικής των ετών ’60

Η entity resolution δεν ήρθε με τα μεγάλα μοντέλα γλώσσας. Ήρθε με κάρτες perforation. Το 1959, ο H. B. Newcombe και οι συνεργάτες του δημοσίευσαν một σύντομο άρθρο στο Science για την αυτόματη σύνδεση των εγγραφών ζωής, περιγράφοντας πώς ένας υπολογιστής θα μπορούσε να αποφασίσει αν μια εγγραφή γέννησης και μια εγγραφή γάμου αναφέρονταν στον ίδιο άνθρωπο. Μια δεκαετία αργότερα, ο Ivan Fellegi και ο Alan Sunter έδωσαν στην ιδέα μια μορφολογική μαθηματική θεωρία, ορίζοντας τα τρία αποτελέσματα που κάθε σύστημα ταυτοποίησης vẫn παράγει σήμερα: μια σύνδεση, μια μη σύνδεση και μια πιθανή σύνδεση που χρειάζεται να εξεταστεί από一个人.

Υπάρχει ένα λεπτό στη γραμμή αυτή που αξίζει να μείνουμε, επειδή είναι το μέρος που οι άνθρωποι πιο συχνά κάνουν λάθος. Η σύνδεση εγγραφών δεν ήταν ποτέ μόνο ακριβής αντιστοίχιση σε μια διεύθυνση email ή ένα κοινό ID. Από την αρχή ήταν πιθανολογική. Ζύγιζε τις αποδείξεις ότι δύο εγγραφές συμφωνούσαν σε ένα επώνυμο, μια ημερομηνία, einen τόπο και παρήγαγε ένα σκορ, επειδή τα δεδομένα που εισάγονται από τους ανθρώπους είναι ακατάστατα και τα ακριβή κλειδιά αποτυγχάνουν συνεχώς. Η σύγχρονη entity resolution vẫn λειτουργεί με αυτόν τον τρόπο. Συνδυάζει determinιστικές κανόνες, όπου ένα κοινό σταθερό αναγνωριστικό είναι αποφασιστικό, με πιθανολογική και fuzzy machine-learning matching που αντιμετωπίζει τα λάθη, τα ψευδώνυμα, τις αναστροφές πεδίων, τις συντομεύσεις και τις δώδεκα μικρές τρόπους που ο ίδιος άνθρωπος ή η εταιρεία εμφανίζεται διαφορετικά σε διάφορα συστήματα. Μια καλή επισκόπηση του πεδίου χαρτογραφεί μια αδιάκοπη γραμμή από τις εγγραφές ζωής της δεκαετίας του ’50 μέχρι τις μεθόδους clustering και machine-learning που χρησιμοποιούνται τώρα.

Τι έχει πραγματικά αλλάξει είναι πότε χρειαζόμαστε την απάντηση. Οι ερευνητές έγραφαν για την επίλυση οντοτήτων κατά την ώρα της ερώτησης, και όχι μόνο προηγουμένως, πολύ πριν από την τρέχουσα κυμαία AI. Τότε ήταν ένα ενδιαφέρον optimisation. Τώρα είναι πιο κοντά σε μια απαιτούμενη.

Γιατί οι πράκτορες την μετατρέπουν σε υποδομή

Τα περισσότερα συστήματα entreprise AI δεν απαντούν από τη μνήμη του μοντέλου. Ανακτούν. Το πρότυπο που δημοσιεύθηκε ως retrieval-augmented generation έχει έναν πράκτορα να ανακτά σχετικό контекст στο момент της ερώτησης και να συλλογίζεται πάνω του. Αυτό είναι, σε γενικές γραμμές, ένα καλό πράγμα. Εγκαθιστά τις απαντήσεις σας στα δεδομένα σας και όχι στη μνήμη του μοντέλου.

Αλλά αυτό έχει μια συνέπεια που είναι εύκολο να χάσετε. Ο πράκτορας κληρονομεί ό,τι του δίνει το βήμα ανάκτησης. Αν η ανάκτηση επιστρέψει μια κατακερματισμένη πελάτη, τρεις μερικές εγγραφές που δεν είχαν कभποτε συνδεθεί, ο πράκτορας θα συλλογιστεί για τρεις πελάτες. Αν η ανάκτηση επιστρέψει μια λανθασμένα συγχωνευμένη, δύο διαφορετικές εταιρείες συγχωνευμένες σε ένα單ο προφίλ, ο πράκτορας θα συλλογιστεί για μια. Η αμφιβολία που ήδη καθόταν στα πηγαία συστήματα περνάει απευθείας και παρουσιάζεται στο μοντέλο ως καθορισμένο γεγονός. Το μοντέλο δεν έχει τρόπο να γνωρίζει ότι η σύνδεση ήταν λάθος, όσο και εσείς, διαβάζοντας μια τακτοποιημένη περίληψη εγγραφών που δεν είχατε δει ποτέ.

Έτσι, η επίλυση οντοτήτων δεν μπορεί να είναι μια μετάνοια που τρέχει μια φορά το τρίμηνο και καταλήγει σε ένα ξεχωριστό πίνακα. Η οντότητα πρέπει να συναρμολογηθεί όταν τα δεδομένα εισάγονται, και η τρέχουσα επιλυμένη άποψη της πρέπει να είναι ανακτήσιμη στο ακριβές στιγμή που ο πράκτορας ρωτάει. Αυτό είναι μια εξάρτηση χρόνου εκτέλεσης. Συμπεριφέρεται πολύ περισσότερο σαν μια βάση δεδομένων ή μια υπηρεσία αυθεντικοποίησης παρά σαν ένα περιοδικό πρότζεκτ καθαρισμού δεδομένων, και πρέπει να σχεδιαστεί, να παρακολουθείται και να εμπιστεύεται με τον ίδιο τρόπο που θα αντιμετωπίζατε οποιοδήποτε άλλο σύστημα που η εφαρμογή σας καλεί σε πραγματικό χρόνο.

Η лакούνα ετοιμότητας που κανείς δεν ονομάζει ακριβώς

Η βιομηχανία ήδη αισθάνεται ότι κάτι λείπει εδώ. Ο δείκτης ετοιμότητας AI της Cisco για το 2025 βρήκε ότι το 83% των οργανισμών σχεδιάζουν να αναπτύξουν αυτόνομους πράκτορες, ενώ μόνο το ένα τρίτο αισθάνεται ότι η υποδομή τους είναι πραγματικά έτοιμη για αυτούς, και μόνο περίπου το ένα τέταρτο αισθάνεται εξοπλισμένο για να ελέγξει και να κυβερνήσει τι πραγματικά κάνουν αυτοί οι πράκτορες. Η πιο πρόσφατη έρευνα της McKinsey για την κατάσταση της AI περιγράφει μια παρόμοια лакούνα από την άλλη πλευρά: περίπου το 88% των οργανισμών χρησιμοποιούν πλέον AI σε τουλάχιστον μια λειτουργία, ωστόσο η πλειονότητα δεν έχει κλιμακωθεί σε ολόκληρη την επιχείρηση.

Όταν οι άνθρωποι εξηγούν αυτή τη лакούνα, συνήθως φτάνουν σε δύο λέξεις: ποιότητα δεδομένων και διακυβέρνηση. Και τα δύο είναι σημαντικά, και κανένα από αυτά δεν είναι προαιρετικό. Υπάρχει όμως μια στενότερη ερώτηση που καθόταν κάτω από αυτά που καθαρή, καλά διατηρημένη δεδομένα δεν απαντούν μόνα τους. Μπορεί το σύστημα να πει ποια πραγματική οντότητα μια δεδομένη εγγραφή αναφέρεται, σε όλα τα μέρη όπου αυτή η εγγραφή ζει, τώρα; Αυτό το ερώτημα έχει ένα όνομα. Ονομάζεται entity resolution, και μετά από εξήντα χρόνια στο παρασκήνιο, σιγά-σιγά γίνεται μια ζωντανή υποδομή.

Τι να ελέγξετε πριν αφήσετε έναν πράκτορα να ενεργήσει

Αν αντιμετωπίζετε την entity resolution ως ζωντανή υποδομή, μπορείτε να την ελέγξετε σαν υποδομή. Οι λειτουργικές τρόποι αποτυχίας είναι συγκεκριμένοι και δοκιμαζόμενοι: διπλότυπες ταυτότητες που πρέπει να είναι μια, ψευδείς συγχωνεύσεις εγγραφών που πρέπει να παραμείνουν ξεχωριστές, παλιές κανόνες επιβίωσης που διατηρούν μια υπερκεκρημμένη διεύθυνση, λείπουν σταθερά αναγνωριστικά, και πράκτορες που κληρονομούν αμφιβολία του συστήματος πηγής ως ανεπίσημη αλήθεια.

Ένας πρακτικός έλεγχος ετοιμότητας δεν απαιτεί ένα νέο μοντέλο ή μια νέα κατηγορία προμηθευτών. Συγκεντρώστε ένα σύνολο οντοτήτων που πραγματικά κατανοείτε. Τρέξτε το μέσω της ίδιας διαδρομής ανάκτησης που χρησιμοποιεί ο πράκτορας σας, όχι μια ξεχωριστή καθαρή αντίγραφο που κατασκευάστηκε για την επίδειξη. Μετρήστε τα πράγματα που πραγματικά quyếtίζουν τα αποτελέσματα: πόσες ψευδείς συγχωνεύσεις και ψευδείς διχοτομίες, πώς το σύστημα χειρίζεται την πραγματική αμφιβολία, πού βρίσκονται τα όρια της εμπιστοσύνης, πότε αναβάλλει σε έναν άνθρωπο αντί να μαντεύει, και πώς μεταβιβάζει καθαρά στα υφιστάμενα συστήματα master δεδομένων και έλεγχο. Αν μια ομάδα δεν μπορεί να απαντήσει σε αυτά τα ερωτήματα, ο πράκτορας ενεργεί σε μια ταυτότητα που δεν μπορεί να επιβεβαιώσει, και η εμπιστοσύνη στην έξοδο είναι λανθασμένη.

Κανένα από αυτά δεν αντικαθιστά τη διαχείριση δεδομένων, τη διακυβέρνηση, τις πλατφόρμες δεδομένων πελάτη, ή την αποθήκη. Αυτά απαντούν σε διαφορετικά ερωτήματα, και παραμένουν απαραίτητα. Η διακυβέρνηση αποφασίζει τι είναι επιτρεπτό σε έναν πράκτορα. Η entity resolution αποφασίζει ποιος, ή τι, το κάνει. Το πρώτο είναι ωριμάζοντας στις περισσότερες μεγάλες οργανώσεις. Το δεύτερο είναι το στρώμα που πολλοί είναι έτοιμοι να ανακαλύψουν ότι χρειάζονται δίπλα του, σε πραγματικό χρόνο, τη στιγμή που αφήνουν έναν πράκτορα να ενεργήσει αντί να συμβουλεύει.

Ο πράκτορας που παρακολούθησα δεν χρειαζόταν ένα έξυπνο μοντέλο. Χρειαζόταν να γνωρίζει ότι δύο ονόματα ήταν ένας πελάτης πριν να επιτρέπεται να ακούγεται βέβαιο. Όταν δίνουμε σε αυτά τα συστήματα πραγματική εξουσία να ενεργήσουν, αυτή η σιωπηλή, εξηνταετής дисциплина παύει να είναι καθαρισμός και αρχίζει να είναι φορέας.