NLPで商品タイトルだけを使って商品データの照合とSKU管理を自動化する方法について紹介します。

商品タイトルマッチングとは、商品のタイトルとその他の見出し属性だけに基づいて、異なるソースからの類似または同一の商品をマッチングするプロセスです。組織内のデータの変数とデータソースが増加すると、商品データの正確性を維持し、新しいSKUを管理することが困難になることがあります。異なるサプライヤーとベンダーを使用する場合、商品データの品質を維持することが困難になることがあります。これにより、販売データの評価とマーケティング活動の成功率の理解に問題が生じることがあります。

これは通常、手動で行われますが、非常に時間がかかり、スケールが悪いです。古いシステムは、基本的なSKUやUPCコードなどの基本的な商品属性のみを使用し、現代の非構造化データではうまく機能しません。これらの古いシステムでは、属性を抽出するための補助プロセス、重複を削除するためのプロセス、非構造化データからストップワードを削除するためのプロセスが必要です。データのクレンジングとキーワード抽出を行った後でも、これらのシステムは次のような点で苦労しています:

GIGABYTE – 15.6″ FHD IPS 144Hz Gaming Laptop – i5-11400H – 16GB – NVIDIA GeForce RTX 3050 512 GB SSD

15.6″ Notebook – i5-11400H – 16GB – GeForce RTX 3050 512 GB Black 6494784

「ラップトップ」と「ノートブック」のような単語の関係を理解し、GeForceのマッチングのために品詞に関する手掛かりを使用するには、自然言語処理を使用する必要があります。

商品タイトルマッチングが提供できるもの

商品データマッチングは、タイトルに基づいて行われ、販売データとマーケティングインテリジェンスの世界で、小売業者とECブランドに多くの利点を提供します。

• 複数のベンダーとサプライヤーからの商品とSKUを整理する
• 競合データを使用して市場のトレンドと競合価格を理解する
• 商品ライフサイクルを理解する
• 販売データとマーケティングキャンペーンに欠けている部分がないことを確認する

商品タイトルに基づいたマッチングシステムを使用することで、データマッチングに必要な正確な情報を常に持つことができます。他のシステムは、多くのデータポイントや詳細な商品説明が必要な場合、スケールアップするにつれて苦労することがあります。私たちは、商品タイトルに焦点を当てたディープラーニングベースのNLPシステムを使用することで、長期的なスケールリスクなく同等の結果を得ることができることを発見しました。私たちは、商品タイトルマッチングをベースラインとして使用し、UPCマッチングや商品説明マッチングなどの他のモデルを構築して結果を改善できます。これらの補助モデルに依存するのではなく、結果の向上に利用するということです。

自然言語処理を使用した商品タイトルマッチング

私たちは、GPT-3、BERT、SBERTなどの人気のNLPモデルを使用して、商品タイトルの言語特性、ブランド名、商品名、タイプなどのタイトル属性の関係を学習することで、商品タイトルマッチングソフトウェアを構築しました。これらのディープラーニングベースのモデルは、ファジーマッチングやルールベースアプローチよりも優れており、新しいデータの変数やノイズに対してスケールアップしやすいことが証明されています。

マッチングの例:

Garmin nuvi 2699LMTHD — GPS navigator — automotive 6.1 in

nuvi 2699LMTHD Automobile Portable GPS Navigator

このNLPソフトウェアの結果は、次のような重要な点を示しています:

• ストップワードや文字がマッチングの能力を妨げない
• モデルはタイトル内の重要な単語を理解し、順序やノイズワードに影響されない
• 一致を見つけたり不一致と判断したりする際に、ブランド名は必須ではない
• 比較する各商品にサイズや長さなどの商品属性がそろっている必要はなく、それらの属性が同じ種類である必要もない

商品タイトルモデルは、コンテナサイズの小さな違いを検出できます。これは、商品データベース内の異なるSKUとして考慮されます。2番目の例では、ボトル数や非構造化データノイズが多数あるものの、マッチングは容易に行えます。

本稼働用ケースのための調整

この商品タイトルマッチングソフトウェアは、リテールストアやECブランドの実際の商品データに基づいて調整できます。言語モデルアーキテクチャを使用することで、他の製品よりも高い精度を達成できます。このカスタマイズは、見かけ倒しのファジーマッチャーやエンティティ抽出モデルではなく、照合システムの構築に言語モデルアーキテクチャを用いているために可能になります。特定の会社のデータに合わせて調整することで、スケーラビリティが向上し、新しい商品やソースを追加する際にも柔軟に対応できます。

商品マッチングの相対性

商品マッチングの概念は、対象とするユースケースによって相対的なものになることがあります。SKUに基づいて商品を区別しようとしている場合、市場規模や競合商品を理解しようとしている場合とは異なる結果が得られます。

例えば、次のような商品タイトルがあるとします:

Chios Mastiha Pack 60gr (2.11 oz) Small Tears Gum 100% Natural Mastic Gum From Mastic Growers Fresh

Chios Mastiha Pack 25gr (0.88oz) Medium Tears Gum 100% Natural Mastic Gum From Mastic Growers Fresh

同じ店舗内で異なるSKUを持つため、この二つを不一致とみなすこともできます。一方、どちらもマスティック樹脂なので一致とみなすこともできます。ここに次の商品タイトルを加えてみましょう。

Horbaach Mastic Gum 1500mg 120 Capsules | Non-GMO & Gluten Free

何を基準に照合するのかを、あらかじめ決める必要があります。これは明らかに競合他社の商品で、UPCコードも異なりますが、やはりマスティック樹脂です。同じ大分類に属する商品を探すだけなら一致となります。商品データ照合システムを設計する際には、考えるべき点が多くあります。

NLPベースの商品タイトル照合ツールなら、この柔軟性を容易に実現できます。何を『一致』とみなすかにかかわらず、用途に合わせてアーキテクチャを微調整し、その目標に向けて最適化します。同じアーキテクチャを組織内の多様な用途に使い、なお高い精度を保つうえで、この柔軟性は大きな変化をもたらします。

SKUベースのパイプラインは、これをマッチングなしとして正しく検出します。

商品データ抽出

商品タイトルをマッチングし、内部の販売データや競合商品データを理解した後、商品分類モデルまたはNLPベースの属性抽出ツールを使用して、商品サイズ、メーカー名、商品属性などのデータギャップを自動的に埋めることができます。これらのパイプラインは、同じアーキテクチャを使用することで、簡単に統合できます。

商品分類の改善

GPT-3モデルから生成された商品カテゴリとタグの例。

商品タイトルマッチングツールを使用することで、商品属性をまとめて単一のカテゴリにまとめることで、分類の明確性を向上させることができます。これにより、分類システムの構成要素が標準化され、クリーンアップされます。

GIGABYTE – 15.6″ FHD IPS 144Hz Gaming Laptop – i5-11400H – 16GB – NVIDIA GeForce RTX 3050 512 GB SSD

15.6″ Notebook – i5-11400H – 16GB – GeForce RTX 3050 512 GB Black 6494784

これらが同一の商品であることを理解することで、ギャップを埋めることができます。たとえば、「ノートブック」と「ラップトップ」を同じカテゴリにまとめることができます。また、NVIDIA (NVDA ) を両方の商品のメーカーとして設定するなどして欠落情報を補えます。これにより、分類を誤った商品を見つけ、データの不足を埋められます。

商品データの理解が重要

商品タイトルマッチングが商品データの理解とセールスインテリジェンスのクリーンアップに役立つと思いますか？Width.aiでデモをスケジュールしてみましょう。