Một cuộc khảo sát của Accenture cho thấy 75% người tiêu dùng thích mua hàng từ các nhà bán lẻ biết tên và hành vi mua hàng của họ, và 52% trong số họ có nhiều khả năng chuyển sang thương hiệu khác nếu họ không cung cấp trải nghiệm được cá nhân hóa. Với hàng triệu điểm dữ liệu được thu thập bởi các thương hiệu gần như mỗi ngày, việc xác định khách hàng duy nhất và xây dựng hồ sơ của họ là một trong những thách thức lớn nhất mà hầu hết các công ty phải đối mặt.

Khi một doanh nghiệp sử dụng nhiều công cụ để thu thập dữ liệu, điều rất phổ biến là đánh sai chính tả tên khách hàng hoặc chấp nhận địa chỉ email với mẫu không chính xác. Hơn nữa, khi các ứng dụng dữ liệu khác nhau có thông tin khác nhau về cùng một khách hàng, điều trở nên không thể để có được cái nhìn sâu sắc về hành vi và sở thích của khách hàng.

Tiếp theo, chúng ta sẽ tìm hiểu về fuzzy matching là gì, cách nó được thực hiện, các kỹ thuật chung được sử dụng và các thách thức gặp phải. Hãy bắt đầu.

Fuzzy Matching là gì?

Fuzzy matching là một kỹ thuật匹配 dữ liệu so sánh hai hoặc nhiều bản ghi và tính toán khả năng chúng thuộc về cùng một thực thể. Thay vì phân loại rộng rãi các bản ghi thành匹配 và không匹配, fuzzy matching xuất ra một số (thường nằm giữa 0-100%) xác định khả năng cao rằng các bản ghi này thuộc về cùng một khách hàng, sản phẩm, nhân viên, v.v.

Một thuật toán fuzzy matching hiệu quả sẽ xử lý một loạt các sự không rõ ràng về dữ liệu, chẳng hạn như đảo ngược tên đầu tiên và cuối cùng, viết tắt, tên ngắn, lỗi đánh máy và lỗi cố ý, lỗi chính tả, khoảng cách và dấu câu, v.v.

Quá trình Fuzzy Matching

Quá trình fuzzy matching được thực hiện như sau:

1. Chỉnh sửa bản ghi cho các lỗi chuẩn hóa cơ bản. Những lỗi này được sửa để đạt được một cái nhìn thống nhất và chuẩn hóa trên các bản ghi.
2. Chọn và ánh xạ thuộc tính dựa trên đó fuzzy matching sẽ diễn ra. Vì những thuộc tính này có thể được đặt tên khác nhau, chúng phải được ánh xạ trên các nguồn.
3. Chọn một kỹ thuật fuzzy matching cho mỗi thuộc tính. Ví dụ, tên có thể được匹配 dựa trên khoảng cách bàn phím hoặc biến thể tên, trong khi số điện thoại có thể được匹配 dựa trên các chỉ số tương tự về số.
4. Chọn một trọng số cho mỗi thuộc tính, sao cho các thuộc tính được gán trọng số cao hơn (hoặc ưu tiên cao hơn) sẽ có tác động lớn hơn đến mức độ tin cậy匹配 tổng thể so với các trường có trọng số thấp hơn.
5. Định nghĩa mức độ ngưỡng – các bản ghi có điểm số fuzzy matching cao hơn mức độ này sẽ được coi là匹配 và những bản ghi không đạt được mức độ này sẽ không匹配.
6. Chạy thuật toán fuzzy matching và phân tích kết quả匹配.
7. Đánh dấu lại các kết quả dương tính và âm tính sai có thể xuất hiện.
8. Nhập, loại bỏ trùng lặp hoặc đơn giản là loại bỏ các bản ghi trùng lặp.

Tham số Fuzzy Matching

Từ quá trình được định nghĩa ở trên, bạn có thể thấy rằng một thuật toán fuzzy matching có một số tham số tạo nên cơ sở của kỹ thuật này. Những tham số này bao gồm trọng số thuộc tính, kỹ thuật fuzzy matching và mức độ ngưỡng điểm số.

Để đạt được kết quả tối ưu, bạn phải thực hiện các kỹ thuật fuzzy matching với các tham số khác nhau và tìm ra các giá trị phù hợp nhất với dữ liệu của mình. Nhiều nhà cung cấp đóng gói các khả năng như vậy trong giải pháp fuzzy matching của họ, nơi các tham số này được tự động điều chỉnh nhưng có thể được tùy chỉnh tùy theo nhu cầu của bạn.

Các Kỹ thuật Fuzzy Matching là gì?

Có nhiều kỹ thuật fuzzy matching được sử dụng ngày nay, khác nhau dựa trên thuật toán hoặc công thức được sử dụng để so sánh và匹配 các trường. Tùy thuộc vào bản chất của dữ liệu, bạn có thể chọn kỹ thuật phù hợp với yêu cầu của mình. Dưới đây là danh sách các kỹ thuật fuzzy matching chung:

1. Độ tương tự dựa trên ký tự là tốt nhất để匹配 chuỗi. Những điều này bao gồm:
   1. Khoảng cách chỉnh sửa: Tính toán khoảng cách giữa hai chuỗi, được tính toán ký tự theo ký tự.
   2. Khoảng cách khoảng cách affine: Tính toán khoảng cách giữa hai chuỗi bằng cách cũng xem xét khoảng cách hoặc khoảng trống giữa các chuỗi.
   3. Khoảng cách Smith-Waterman: Tính toán khoảng cách giữa hai chuỗi bằng cách cũng xem xét sự hiện diện hoặc không có tiền tố và hậu tố.
   4. Khoảng cách Jaro: Tốt nhất để匹配 trên tên đầu tiên và cuối cùng.
2. Độ tương tự dựa trên token là tốt nhất để匹配 từ hoàn chỉnh trong chuỗi. Những điều này bao gồm:
   1. Chuỗi nguyên tử: Chia chuỗi dài thành từ được phân cách bằng dấu câu và so sánh trên từng từ.
   2. WHIRL: Tương tự như chuỗi nguyên tử nhưng WHIRL cũng gán trọng số cho từng từ.
3. Độ tương tự dựa trên phát âm là tốt nhất để so sánh từ có âm thanh tương tự nhưng có thành phần ký tự hoàn toàn khác nhau. Những điều này bao gồm:
   1. Soundex: Tốt nhất để so sánh họ có chữ viết khác nhau nhưng âm thanh tương tự.
   2. NYSIIS: Tương tự như Soundex, nhưng nó cũng giữ lại chi tiết về vị trí nguyên âm.
   3. Metaphone: So sánh từ có âm thanh tương tự tồn tại trong ngôn ngữ tiếng Anh, các từ khác quen thuộc với người Mỹ và tên đầu tiên và họ thường được sử dụng ở Mỹ.
4. Độ tương tự dựa trên số so sánh số, cách xa chúng với nhau, phân phối dữ liệu số, v.v.

Thách thức của Fuzzy Matching

Quá trình fuzzy matching – mặc dù có lợi ích tuyệt vời mà nó cung cấp – có thể khá khó khăn để thực hiện. Dưới đây là một số thách thức chung mà các doanh nghiệp gặp phải:

1.     Tỷ lệ dương tính và âm tính giả cao hơn

Nhiều giải pháp fuzzy matching có tỷ lệ dương tính và âm tính giả cao hơn. Điều này xảy ra khi thuật toán phân loại không chính xác các kết quả匹配 và không匹配 hoặc ngược lại. Các định nghĩa匹配 có thể cấu hình và các tham số fuzzy có thể giúp giảm thiểu các liên kết không chính xác càng nhiều càng tốt.

2.     Phức tạp tính toán

Trong quá trình匹配, mỗi bản ghi được so sánh với mọi bản ghi khác trong cùng một tập dữ liệu. Và nếu bạn đang xử lý nhiều tập dữ liệu, thì số lượng so sánh sẽ tăng lên nhiều hơn. Người ta nhận thấy rằng số lượng so sánh tăng lên theo cấp số nhân khi kích thước cơ sở dữ liệu tăng lên. Vì lý do này, bạn phải sử dụng một hệ thống có khả năng xử lý các tính toán đòi hỏi tài nguyên.

3.     Thử nghiệm xác thực

Các bản ghi được匹配 sẽ được hợp nhất lại với nhau để đại diện cho một cái nhìn 360 độ hoàn chỉnh về các thực thể. Bất kỳ lỗi nào xảy ra trong quá trình này có thể thêm rủi ro vào hoạt động kinh doanh của bạn. Đây là lý do tại sao việc thử nghiệm xác thực chi tiết phải được thực hiện để đảm bảo rằng thuật toán được điều chỉnh liên tục tạo ra kết quả với tỷ lệ chính xác cao.

Kết thúc

Các doanh nghiệp thường nghĩ về các giải pháp fuzzy matching như các dự án phức tạp, đòi hỏi tài nguyên và tốn kém, chạy trong thời gian dài. Sự thật là đầu tư vào giải pháp phù hợp tạo ra kết quả nhanh chóng và chính xác là chìa khóa. Các tổ chức cần xem xét một số yếu tố khi chọn một công cụ fuzzy matching, chẳng hạn như thời gian và tiền bạc họ sẵn sàng đầu tư, thiết kế khả năng mở rộng họ có trong tâm trí và bản chất của các tập dữ liệu của họ. Điều này sẽ giúp họ chọn một giải pháp cho phép họ tận dụng tối đa dữ liệu của mình. Tổ chức cần xem xét một số yếu tố khi chọn một công cụ fuzzy matching, chẳng hạn như thời gian và tiền bạc họ sẵn sàng đầu tư, thiết kế khả năng mở rộng họ có trong tâm trí và bản chất của các tập dữ liệu của họ. Điều này sẽ giúp họ chọn một giải pháp cho phép họ tận dụng tối đa dữ liệu của mình. key. Tổ chức cần xem xét một số yếu tố khi chọn một công cụ fuzzy matching, chẳng hạn như thời gian và tiền bạc họ sẵn sàng đầu tư, thiết kế khả năng mở rộng họ có trong tâm trí và bản chất của các tập dữ liệu của họ. Điều này sẽ giúp họ chọn một giải pháp cho phép họ tận dụng tối đa dữ liệu của mình.