Μια ερευνά του Accenture έδειξε ότι το 75% των καταναλωτών προτιμούν να αγοράζουν από λιανοπωλητές που γνωρίζουν το όνομά τους και τη συμπεριφορά αγορών, και το 52% είναι πιο πιθανό να αλλάξουν μάρκα εάν δεν προσφέρουν προσωποποιημένες εμπειρίες. Με εκατομμύρια σημεία δεδομένων που καταγράφονται από τις μάρκες σχεδόν κάθε μέρα, η αναγνώριση των μοναδικών πελατών και η δημιουργία των προφίλ τους είναι μια από τις μεγαλύτερες προκλήσεις που αντιμετωπίζουν οι περισσότερες εταιρείες.

Όταν μια επιχείρηση χρησιμοποιεί πολλαπλά εργαλεία για την καταγραφή δεδομένων, είναι πολύ συνηθισμένο να ορθογραφούν λάθος το όνομα του πελάτη ή να αποδεχτούν μια διεύθυνση ηλεκτρονικού ταχυδρομείου με λάθος πρότυπο. Επιπλέον, όταν διαφορετικές εφαρμογές δεδομένων έχουν διαφορετικές πληροφορίες για τον ίδιο πελάτη, είναι αδύνατο να ληφθούν πληροφορίες για τη συμπεριφορά και τις προτιμήσεις του πελάτη.

Επόμενο, θα μάθουμε τι είναι η αντιστοίχηση με λάθος, πώς εφαρμόζεται, τις κοινές τεχνικές που χρησιμοποιούνται και τις προκλήσεις που αντιμετωπίζονται. Ας ξεκινήσουμε.

Τι είναι η αντιστοίχηση με λάθος;

Η αντιστοίχηση με λάθος είναι μια τεχνική αντιστοίχισης δεδομένων που συγκρίνει δύο ή περισσότερα ρεκόρ και υπολογίζει την πιθανότητα να ανήκουν στο ίδιο ον. Αντί να ταξινομούν γενικά τα ρεκόρ ως αντιστοιχία και μη αντιστοιχία, η αντιστοίχηση με λάθος εξοδεύει έναν αριθμό (συνήθως μεταξύ 0-100%) που αναγνωρίζει πόσο πιθανό είναι ότι αυτά τα ρεκόρ ανήκουν στο ίδιο πελάτη, προϊόν, υπάλληλο, κ.λπ.

Μια αποτελεσματική αλγόριθμος αντιστοίχισης με λάθος φροντίζει για eine σειρά αμφιguiών δεδομένων, όπως αναστροφές ονομάτων, συντομογραφίες, συντομευμένα ονόματα, φωνητικές και προθέσεις ορθογραφικών λαθών, συντομογραφίες, πρόσθετες/αφαιρούμενες στίξεις, κ.λπ.

Διαδικασία αντιστοίχισης με λάθος

Η διαδικασία αντιστοίχισης με λάθος πραγματοποιείται ως εξής:

1. Ρεκόρ προφίλ για βασικά σφάλματα τυποποίησης. Αυτά τα σφάλματα διορθώνονται ώστε να επιτευχθεί μια ομοιόμορφη και τυποποιημένη άποψη σε όλα τα ρεκόρ.
2. Επιλογή και αντιστοίχηση ιδιοτήτων με βάση τις οποίες θα πραγματοποιηθεί η αντιστοίχηση με λάθος.既然 αυτές οι ιδιότητες μπορεί να ονομάζονται διαφορετικά, πρέπει να αντιστοιχούν σε διαφορετικές πηγές.
3. Επιλογή μιας τεχνικής αντιστοίχισης με λάθος για κάθε ιδιότητα. Για παράδειγμα, τα ονόματα μπορούν να αντιστοιχιστούν με βάση την απόσταση πληκτρολόγησης ή τις παραλλαγές ονομάτων, ενώ τα τηλεφωνικά νούμερα μπορούν να αντιστοιχιστούν με βάση μετρικές ομοιότητας αριθμών.
4. Επιλογή ενός βάρους για κάθε ιδιότητα, έτσι ώστε οι ιδιότητες που έχουν ανατεθεί υψηλότερα βαρηκότητες (ή υψηλότερη προτεραιότητα) θα έχουν μεγαλύτερη επίδραση στο συνολικό επίπεδο εμπιστοσύνης αντιστοίχισης σε σύγκριση με τα πεδία που έχουν χαμηλότερα βαρηκότητες.
5. Ορισμός του επιπέδου κατωφλίου – ρεκόρ με βαθμό αντιστοίχισης με λάθος υψηλότερο από το επίπεδο θεωρούνται ως αντιστοιχία και αυτά που δεν φτάνουν στο επίπεδο θεωρούνται ως μη αντιστοιχία.
6. Εκτέλεση αλγορίθμων αντιστοίχισης με λάθος και ανάλυση των αποτελεσμάτων αντιστοίχισης.
7. Ακύρωση των ψευδών θετικών και αρνητικών που μπορεί να προκύψουν.
8. Συγχώνευση, απαλοιφή διπλοτύπων ή απλή διαγραφή των διπλότυπων ρεκόρ.

Παράμετροι αντιστοίχισης με λάθος

Από τη διαδικασία που ορίστηκε παραπάνω, μπορείτε να δείτε ότι ένας αλγόριθμος αντιστοίχισης με λάθος έχει πολλές παράμετροι που αποτελούν τη βάση αυτής της τεχνικής. Αυτές περιλαμβάνουν τα βαρηκότητες ιδιοτήτων, τη τεχνική αντιστοίχισης με λάθος και το επίπεδο βαθμού.

Για να λάβετε τα βέλτιστα αποτελέσματα, πρέπει να εκτελέσετε τεχνικές αντιστοίχισης με λάθος με διαφορετικές παραμέτρους και να βρείτε τις τιμές που ταιριάζουν καλύτερα στα δεδομένα σας. Πολλοί προμηθευτές πακέτο τέτοιες ικανότητες μέσα στις λύσεις αντιστοίχισης με λάθος, όπου αυτές οι παράμετροι είναι αυτόματα ρυθμισμένες αλλά μπορούν να προσαρμοστούν ανάλογα με τις ανάγκες σας.

Τι είναι οι τεχνικές αντιστοίχισης με λάθος;

Υπάρχουν πολλές τεχνικές αντιστοίχισης με λάθος που χρησιμοποιούνται σήμερα, οι οποίες διαφέρουν με βάση τον ακριβή αλγόριθμο ή τη формуλή που χρησιμοποιείται για τη σύγκριση και αντιστοίχηση πεδίων. Ανάλογα με τη φύση των δεδομένων σας, μπορείτε να επιλέξετε την τεχνική που είναι κατάλληλη για τις ανάγκες σας. Εδώ είναι μια λίστα με κοινές τεχνικές αντιστοίχισης με λάθος:

1. Μετρήσεις ομοιότητας με βάση χαρακτήρες που είναι καλύτερες για την αντιστοίχηση συμβολοσειρών. Αυτές περιλαμβάνουν:
   1. Απόσταση επεξεργασίας: Υπολογίζει την απόσταση μεταξύ δύο συμβολοσειρών, υπολογισμένη χαρακτήρας προς χαρακτήρα.
   2. Απόσταση κενών: Υπολογίζει την απόσταση μεταξύ δύο συμβολοσειρών, λαμβάνοντας υπόψη και τα κενά ή τους χώρους μεταξύ των συμβολοσειρών.
   3. Απόσταση Smith-Waterman: Υπολογίζει την απόσταση μεταξύ δύο συμβολοσειρών, λαμβάνοντας υπόψη και την παρουσία ή απουσία προθέσεων και επιθέσεων.
   4. Απόσταση Jaro: Καλύτερη για την αντιστοίχηση ονομάτων και επωνύμων.
2. Μετρήσεις ομοιότητας με βάση λεκτικά στοιχεία που είναι καλύτερες για την αντιστοίχηση πλήρων λέξεων σε συμβολοσειρές. Αυτές περιλαμβάνουν:
   1. Ατομικές συμβολοσειρές: Διαιρεί μακρές συμβολοσειρές σε λέξεις που διαχωρίζονται με στίγματα και συγκρίνει τις μεμονωμένες λέξεις.
   2. WHIRL: Παρόμοιο με τις ατομικές συμβολοσειρές, αλλά το WHIRL αντιστοιχίζει επίσης βαρηκότητες σε κάθε λέξη.
3. Φωνητικές μετρήσεις ομοιότητας που είναι καλύτερες για την αντιστοίχηση λέξεων που ακούγονται παρόμοια αλλά έχουν完全 διαφορετική σύνθεση χαρακτήρων. Αυτές περιλαμβάνουν:
   1. Soundex: Καλύτερη για την αντιστοίχηση επωνύμων που διαφέρουν σε ορθογραφία αλλά ακούγονται παρόμοια.
   2. NYSIIS: Παρόμοιο με το Soundex, αλλά το NYSIIS διατηρεί επίσης λεπτομέρειες για τη θέση των φωνηέντων.
   3. Metaphone: Συγκρίνει λέξεις που ακούγονται παρόμοια που υπάρχουν στην αγγλική γλώσσα, άλλες λέξεις που είναι γνωστές στους Αμερικανούς, και ονόματα και επώνυμα που χρησιμοποιούνται συχνά στις ΗΠΑ.
4. Μετρήσεις ομοιότητας αριθμών που συγκρίνουν αριθμούς, πόσο μακριά είναι ο ένας από τον άλλον, την κατανομή των αριθμητικών δεδομένων, κ.λπ.

Προκλήσεις της αντιστοίχισης με λάθος

Η διαδικασία αντιστοίχισης με λάθος – παρά τις εξαιρετικές ωφέλειες που προσφέρει – μπορεί να είναι αρκετά δύσκολη στην εφαρμογή. Εδώ είναι μερικές κοινές προκλήσεις που αντιμετωπίζουν οι επιχειρήσεις:

1.     Υψηλότερος ρυθμός ψευδών θετικών και αρνητικών

Πολλές λύσεις αντιστοίχισης με λάθος έχουν υψηλότερο ρυθμό ψευδών θετικών και αρνητικών. Αυτό συμβαίνει όταν ο αλγόριθμος ταξινομεί λανθασμένα τις αντιστοιχίες και τις μη αντιστοιχίες ή το αντίστροφο. Ρυθμιζόμενες ορισμοί αντιστοίχισης και παράμετροι αντιστοίχισης με λάθος μπορούν να βοηθήσουν στη μείωση των λανθασμένων συνδέσμων όσο το δυνατόν.

2.     Πολυπλοκότητα υπολογισμού

Κατά τη διαδικασία αντιστοίχισης, κάθε ρεκόρ συγκρίνεται με κάθε άλλο ρεκόρ στην ίδια βάση δεδομένων. Και αν αντιμετωπίζετε πολλές βάσεις δεδομένων, τότε ο αριθμός των συγκρίσεων αυξάνεται περισσότερο. Παρατηρείται ότι οι συγκρίσεις αυξάνονται τετραγωνικά καθώς μεγαλώνει το μέγεθος της βάσης δεδομένων. Για αυτόν τον λόγο, πρέπει να χρησιμοποιήσετε ένα σύστημα που είναι ικανό να χειρίζεται υπολογισμούς που απαιτούν πολλές πόρους.

3.     Επιβεβαίωση δοκιμών

Τα αντιστοιχημένα ρεκόρ συγχωνεύονται για να αντιπροσωπεύουν μια πλήρη ολοκληρωμένη άποψη των οντοτήτων. Κάθε λάθος που προκύπτει κατά τη διάρκεια αυτής της διαδικασίας μπορεί να προσθέσει κίνδυνο στις επιχειρηματικές σας λειτουργίες. Για αυτόν τον λόγο, πρέπει να διεξαχθούν λεπτομερείς δοκιμές επιβεβαίωσης για να διασφαλιστεί ότι ο ρυθμισμένος αλγόριθμος παράγει συνεχώς αποτελέσματα με υψηλό ποσοστό ακρίβειας.

Συμπέρασμα

Οι επιχειρήσεις συχνά θεωρούν τις λύσεις αντιστοίχισης με λάθος ως σύνθετες, πόρων-εντατικές και δαπανηρές προγράμματα που διαρκούν πολύ. Η αλήθεια είναι ότι η επένδυση στη σωστή λύση που παράγει γρήγορα και ακριβή αποτελέσματα είναι το κλειδί. Οι οργανισμοί πρέπει να λάβουν υπόψη πολλούς παράγοντες κατά την επιλογή μιας λύσης αντιστοίχισης με λάθος, όπως ο χρόνος και το χρήμα που είναι διατεθειμένοι να επενδύσουν, το σχέδιο ανα.scalability που έχουν στο μυαλό τους, και η φύση των δεδομένων τους. Αυτό θα τους βοηθήσει να επιλέξουν μια λύση που τους επιτρέπει να αξιοποιήσουν τα δεδομένα τους στο μέγιστο.