Sebuah survei Accenture menunjukkan bahwa 75% konsumen lebih memilih membeli dari pengecer yang mengetahui nama dan perilaku pembelian mereka, dan 52% dari mereka lebih mungkin beralih ke merek lain jika mereka tidak menawarkan pengalaman yang dipersonalisasi. Dengan jutaan poin data yang ditangkap oleh merek hampir setiap hari, mengidentifikasi pelanggan unik dan membangun profil mereka adalah salah satu tantangan terbesar yang dihadapi oleh sebagian besar perusahaan.

Ketika sebuah perusahaan menggunakan beberapa alat untuk menangkap data, sangat umum untuk mengeja nama pelanggan dengan salah atau menerima alamat email dengan pola yang tidak benar. Selain itu, ketika aplikasi data yang berbeda memiliki informasi yang berbeda tentang pelanggan yang sama, mustahil untuk mendapatkan wawasan tentang perilaku dan preferensi pelanggan.

Selanjutnya, kita akan mempelajari apa itu pencocokan fuzzy, bagaimana implementasinya, teknik umum yang digunakan, dan tantangan yang dihadapi. Mari kita mulai.

Apa itu Pencocokan Fuzzy?

Pencocokan fuzzy adalah teknik pencocokan data yang membandingkan dua atau lebih catatan dan menghitung kemungkinan bahwa mereka milik entitas yang sama. Daripada secara luas mengategorikan catatan sebagai cocok dan tidak cocok, pencocokan fuzzy menghasilkan angka (biasanya antara 0-100%) yang mengidentifikasi seberapa mungkin catatan tersebut milik pelanggan, produk, karyawan, dll yang sama.

Algoritma pencocokan fuzzy yang efisien menangani berbagai ketidakjelasan data, seperti pengubahan nama depan/belakang, singkatan, nama yang dipendekkan, kesalahan pengejaan yang disengaja, singkatan, tambahan/penghapusan tanda baca, dll.

Proses Pencocokan Fuzzy

Proses pencocokan fuzzy dilakukan sebagai berikut:

1. Rekaman profil untuk kesalahan standarisasi dasar. Kesalahan ini diperbaiki sehingga diperoleh tampilan yang seragam dan standar di seluruh catatan.
2. Pilih dan petakan atribut berdasarkan pada atribut tersebut pencocokan fuzzy akan dilakukan. Karena atribut ini mungkin memiliki judul yang berbeda, mereka harus dipetakan di seluruh sumber.
3. Pilih teknik pencocokan fuzzy untuk setiap atribut. Misalnya, nama dapat dicocokkan berdasarkan jarak keyboard atau varian nama, sedangkan nomor telepon dapat dicocokkan berdasarkan metrik kesamaan numerik.
4. Pilih bobot untuk setiap atribut, sehingga atribut yang diberi bobot lebih tinggi (atau prioritas lebih tinggi) akan memiliki dampak lebih besar pada tingkat kepercayaan keseluruhan dibandingkan dengan bidang yang memiliki bobot lebih rendah.
5. Tentukan tingkat ambang – catatan dengan skor pencocokan fuzzy lebih tinggi dari tingkat tersebut dianggap sebagai keselarasan dan yang tidak mencapai ambang dianggap sebagai ketidakselarasan.
6. Jalankan algoritma pencocokan fuzzy dan analisis hasil keselarasan.
7. Timpa kesalahan positif dan negatif yang mungkin muncul.
8. Gabungkan, deduplikasi, atau hapus catatan duplikat.

Parameter Pencocokan Fuzzy

Dari proses yang didefinisikan di atas, Anda dapat melihat bahwa algoritma pencocokan fuzzy memiliki sejumlah parameter yang membentuk dasar teknik ini. Parameter ini termasuk bobot atribut, teknik pencocokan fuzzy, dan tingkat skor ambang.

Untuk mendapatkan hasil yang optimal, Anda harus menjalankan teknik pencocokan fuzzy dengan parameter yang berbeda dan menemukan nilai yang paling sesuai dengan data Anda. Banyak vendor memaket kemampuan seperti itu dalam solusi pencocokan fuzzy mereka, di mana parameter tersebut dioptimalkan secara otomatis tetapi dapat disesuaikan tergantung pada kebutuhan Anda.

Apa itu Teknik Pencocokan Fuzzy?

Terdapat banyak teknik pencocokan fuzzy yang digunakan saat ini yang berbeda berdasarkan algoritma atau rumus yang digunakan untuk membandingkan dan mencocokkan bidang. Tergantung pada sifat data Anda, Anda dapat memilih teknik yang sesuai dengan kebutuhan Anda. Berikut adalah daftar teknik pencocokan fuzzy yang umum:

1. Kesamaan berbasis karakter metrik yang paling baik untuk mencocokkan string. Ini termasuk:
   1. Jarak edit: Menghitung jarak antara dua string, dihitung karakter per karakter.
   2. Jarak celah afinitas: Menghitung jarak antara dua string dengan mempertimbangkan juga celah atau spasi antara string.
   3. Jarak Smith-Waterman: Menghitung jarak antara dua string dengan mempertimbangkan juga kehadiran atau ketiadaan awalan dan akhiran.
   4. Jarak Jaro: Paling baik untuk mencocokkan nama depan dan belakang.
2. Kesamaan berbasis token metrik yang paling baik untuk mencocokkan kata lengkap dalam string. Ini termasuk:
   1. String atomik: Membagi string panjang menjadi kata-kata yang dipisahkan oleh tanda baca dan membandingkan kata-kata individu.
   2. WHIRL: Mirip dengan string atomik, tetapi WHIRL juga memberikan bobot pada setiap kata.
3. Metrik kesamaan fonetik yang paling baik untuk membandingkan kata-kata yang terdengar sama tetapi memiliki komposisi karakter yang sangat berbeda. Ini termasuk:
   1. Soundex: Paling baik untuk membandingkan nama belakang yang berbeda dalam ejaan tetapi terdengar sama.
   2. NYSIIS: Mirip dengan Soundex, tetapi NYSIIS juga mempertahankan detail tentang posisi vokal.
   3. Metaphone: Membandingkan kata-kata yang terdengar sama yang ada dalam bahasa Inggris, kata-kata lain yang akrab dengan orang Amerika, dan nama depan dan keluarga yang umum digunakan di AS.
4. Metrik kesamaan numerik yang membandingkan angka, seberapa jauh mereka dari satu sama lain, distribusi data numerik, dll.

Tantangan Pencocokan Fuzzy

Proses pencocokan fuzzy – meskipun manfaat luar biasa yang ditawarkannya – dapat cukup sulit untuk diimplementasikan. Berikut adalah beberapa tantangan umum yang dihadapi oleh bisnis:

1.     Tingkat kesalahan positif dan negatif yang lebih tinggi

Banyak solusi pencocokan fuzzy memiliki tingkat kesalahan positif dan negatif yang lebih tinggi. Ini terjadi ketika algoritma mengklasifikasikan keselarasan dan ketidakselarasan dengan salah atau sebaliknya. Definisi keselarasan yang dapat dikonfigurasi dan parameter fuzzy dapat membantu mengurangi tautan yang tidak benar sebanyak mungkin.

2.     Kompleksitas komputasi

Selama proses pencocokan, setiap catatan dibandingkan dengan setiap catatan lain dalam dataset yang sama. Dan jika Anda menangani beberapa dataset, maka jumlah perbandingan meningkat lebih banyak. Diperhatikan bahwa perbandingan tumbuh secara kuadrat seiring dengan pertumbuhan ukuran database. Oleh karena itu, Anda harus menggunakan sistem yang mampu menangani komputasi yang intensif sumber daya.

3.     Pengujian validasi

Catatan yang dicocokkan digabungkan untuk merepresentasikan tampilan 360 derajat dari entitas. Setiap kesalahan yang terjadi selama proses ini dapat menambahkan risiko pada operasi bisnis Anda. Oleh karena itu, pengujian validasi yang terperinci harus dilakukan untuk memastikan bahwa algoritma yang disesuaikan secara konsisten menghasilkan hasil dengan tingkat akurasi yang tinggi.

Kesimpulan

Bisnis sering berpikir bahwa solusi pencocokan fuzzy adalah proyek yang kompleks, intensif sumber daya, dan menghabiskan biaya yang berjalan terlalu lama. Yang sebenarnya, berinvestasi pada solusi yang tepat yang menghasilkan hasil yang cepat dan akurat adalah kunci. Organisasi perlu mempertimbangkan sejumlah faktor saat memilih alat pencocokan fuzzy, seperti waktu dan uang yang mereka bersedia investasikan, desain skalabilitas yang mereka miliki, dan sifat dataset mereka. Ini akan membantu mereka memilih solusi yang memungkinkan mereka mendapatkan hasil maksimal dari data mereka. Organisasi perlu mempertimbangkan sejumlah faktor saat memilih alat pencocokan fuzzy, seperti waktu dan uang yang mereka bersedia investasikan, desain skalabilitas yang mereka miliki, dan sifat dataset mereka. Ini akan membantu mereka memilih solusi yang memungkinkan mereka mendapatkan hasil maksimal dari data mereka.