Zara Ziad, Product Marketing Analyst, Data Ladder Zara Ziad Product Marketing Analyst, Data Ladder

ファジー・マッチング – 定義、プロセス、テクニック

アクセンチュアの調査によると、消費者の75%が名前と購入行動を知っている小売業者から買うことを好み、52%がパーソナライズされた体験を提供しない場合、ブランドを切り替える可能性が高い。企業が毎日収集する膨大な量のデータを分析し、ユニークな顧客を特定し、プロファイルを構築することは、多くの企業が直面している最大の課題の1つである。企業がデータを収集するために複数のツールを使用する場合、顧客の名前を誤って入力したり、不正なパターンのメールアドレスを受け入れたりすることはよくあることである。さらに、異なるデータアプリケーションに同じ顧客に関する異なる情報がある場合、顧客の行動や嗜好についての洞察を得ることは不可能になる。次に、ファジー・マッチングとは何か、どのように実装されるか、一般的なテクニック、課題について学びましょう。始めましょう。ファジー・マッチングとは何かファジー・マッチングは、2つ以上のレコードを比較し、それらが同じエンティティに属する可能性を計算するデータマッチング技術である。レコードを単純にマッチまたはノンマッチに分類するのではなく、ファジー・マッチングは0〜100%の間の数字を出力し、これらのレコードが同じ顧客、製品、従業員などに属する可能性を示す。効率的なファジー・マッチングアルゴリズムは、名前の逆順、頭字語、短縮名、音響的および故意のスペルミス、略語、追加または削除された句読点などのデータの曖昧さを処理する。ファジー・マッチングのプロセスファジー・マッチングのプロセスは以下の通りである： プロファイルレコードを基本的な標準化エラーのために。这些エラーは修正され、レコード全体で統一された標準化されたビューが達成される。 属性を選択してマップし、ファジー・マッチングが行われる。这些属性は異なるタイトルを持つ可能性があるため、ソース全体でマップされる必要がある。 ファジー・マッチングのテクニックを選択し、各属性に。例えば、名前はキーボード距離または名前のバリアントに基づいてマッチングされることができ、電話番号は数値の類似性メトリックに基づいてマッチングされることができる。 各属性に重みを割り当てし、重みが高い（または優先度が高い）属性は、重みが低い（または優先度が低い）フィールドよりも全体的なマッチング信頼度レベルに大きく影響する。 しきい値レベルを定義し、ファジー・マッチングスコアがこのレベルを超えるレコードはマッチとみなされ、しきい値を満たさないレコードはノンマッチとみなされる。 ファジー・マッチングアルゴリズムを実行し、マッチング結果を分析する。 誤った陽性と陰性を上書きする。 レコードを結合し、重複を削除または単純に削除する。 ファジー・マッチングのパラメータ上記のプロセスから、ファジー・マッチングアルゴリズムには、属性の重み、ファジー・マッチングのテクニック、スコアのしきい値レベルなどのパラメータが含まれることがわかる。最適な結果を得るには、さまざまなパラメータでファジー・マッチングのテクニックを実行し、データに最も適した値を見つける必要がある。多くのベンダーは、ファジー・マッチングのソリューションにこれらの機能をパッケージ化しており、必要に応じてカスタマイズできる。ファジー・マッチングのテクニックとは何か現在使用されているファジー・マッチングのテクニックは多数あり、使用されるアルゴリズムまたは式によって異なる。データの性質に応じて、適切なテクニックを選択することができる。以下は一般的なファジー・マッチングのテクニックのリストである： 文字ベースの類似性メトリックは、文字列をマッチングするために最適である。这些には以下のものが含まれる： 編集距離: 2つの文字列の間の距離を計算する。文字ごとに計算される。 アフィンギャップ距離: 2つの文字列の間の距離を計算する。文字列間のギャップまたはスペースも考慮する。 スミス・ウォーターマン距離: 2つの文字列の間の距離を計算する。接頭辞と接尾辞の存在または不存在も考慮する。 ジャロ距離: 名前と姓をマッチングするために最適である。 トークンベースの類似性メトリックは、文字列内の完全な単語をマッチングするために最適である。这些には以下のものが含まれる： アトミック文字列：長い文字列を句読点で区切られた単語に分割し、個々の単語を比較する。 WHIRL：アトミック文字列と同様だが、WHIRLは各単語に重みを割り当てる。 音響的類似性メトリックは、発音が似ているが文字の構成がまったく異なる単語を比較するために最適である。这些には以下のものが含まれる： サウンドクス：姓がスペルは異なれど発音が似ている場合に最適である。 NYSIIS：サウンドクスと同様だが、NYSIISは母音の位置に関する詳細も保持する。 メタフォーン：英語で発音が似ている単語、米国で一般的な名前、姓を比較する。...