Alibaba développe une IA de simulation de moteur de recherche qui utilise des données en direct

En collaboration avec des chercheurs universitaires en Chine, Alibaba a développé une IA de simulation de moteur de recherche qui utilise des données du monde réel provenant de l'infrastructure en direct du géant du commerce électronique afin de développer de nouveaux modèles de classement qui ne sont pas paralysés par des informations « historiques » ou obsolètes.

Le moteur, appelé AESim, représente la deuxième annonce majeure en une semaine pour reconnaître la nécessité pour les systèmes d'IA d'être en mesure d'évaluer et d'incorporer des données en direct et actuelles, au lieu de simplement résumer les données qui étaient disponibles au moment où le modèle a été formé. L'annonce précédente provenait de Facebook, qui la semaine dernière dévoilé le modèle de langage BlenderBot 2.0, une interface NLP qui propose une interrogation en direct des résultats de recherche sur Internet en réponse aux requêtes.

L'objectif du projet AESim est de fournir un environnement expérimental pour le développement de nouveaux Learning-To-Rank (LTR) solutions, algorithmes et modèles dans les systèmes commerciaux de recherche d'informations. En testant le cadre, les chercheurs ont constaté qu'il reflétait avec précision les performances en ligne dans des paramètres utiles et exploitables.

Les auteurs de l'article, dont quatre représentants de l'université de Nanjing et de la division de recherche d'Alibaba, affirment qu'une nouvelle approche des simulations LTR était nécessaire pour deux raisons : l'échec d'initiatives similaires récentes en matière d'apprentissage profond pour créer des techniques reproductibles, avec une vague d'algorithmes attirant l'attention. ne pas traduire dans les systèmes applicables du monde réel ; et le manque de transférabilité, en termes de performance des données de formation par rapport aux nouvelles données dans les cas où les systèmes étaient initialement plus efficaces.

En direct

L'article affirme qu'AESim est la première plate-forme de simulation de commerce électronique basée sur les données des utilisateurs et de l'activité en direct et actuels, et qu'elle peut refléter avec précision les performances en ligne par l'utilisation unilatérale de données en direct, offrant un terrain de jeu de formation bleu ciel pour les chercheurs ultérieurs. pour évaluer les méthodologies et les innovations LTR.

Le modèle intègre une nouvelle approche du schéma classique des moteurs de recherche industriels : la première étape consiste à récupérer les éléments liés à la requête de l'utilisateur, qui ne lui sont pas présentés initialement, mais triés selon un modèle LTR pondéré. Les résultats triés sont ensuite filtrés en fonction des objectifs de l'entreprise, notamment en matière de publicité et de diversité.

Architecture d'AESim

Dans AESim, les requêtes sont remplacées par des index de catégorie, permettant au système de récupérer des éléments d'un index de catégorie avant de les transmettre à un reclasseur personnalisable qui produit la liste finale. Bien que le cadre permette aux chercheurs d'étudier les effets du classement conjoint sur plusieurs modèles, cet aspect est laissé pour des travaux futurs, et la mise en œuvre actuelle recherche automatiquement l'évaluation idéale basée sur un modèle unique.

L'architecture d'AESim. Source : https://arxiv.org/pdf/2107.07693.pdf

AESim crée des intégrations (représentations virtuelles dans l'architecture d'apprentissage automatique) qui encapsulent « l'utilisateur virtuel » et sa requête, et utilise un réseau antagoniste génératif Wasserstein avec pénalité de gradient (WGAN-GP) approcher.

L'architecture comprend une base de données de millions d'éléments disponibles triés par catégorie, un système de classement personnalisable, un module de rétroaction et des ensembles de données synthétiques générés par les composants basés sur GAN. Le module de feedback est la dernière étape du workflow, capable d'évaluer les performances de la dernière itération d'un modèle de classement.

Apprentissage génératif par imitation antagoniste

Afin de modéliser la logique de décision du « module utilisateur virtuel », le module de rétroaction (qui fournit les résultats finaux) est formé via l'apprentissage par imitation antagoniste générative (GAIL), une théorie proposée pour la première fois par des chercheurs de Stanford en 2016. GAIL est un paradigme sans modèle qui permet à un système de développer un politique directement à partir des données via apprentissage par imitation.

Les ensembles de formation développés par AESim sont essentiellement les mêmes que les ensembles de données historiques statiques utilisés dans les modèles d'apprentissage supervisés antérieurs pour des systèmes similaires. La différence avec AESim est qu'il ne dépend pas d'un ensemble de données statiques pour les commentaires et n'est pas paralysé par les commandes d'articles qui ont été générées au moment où les (anciennes) données de formation ont été compilées.

L'aspect génératif d'AESim se concentre sur la création d'un utilisateur virtuel via WGAN-GP, qui génère des caractéristiques d'utilisateur et de requête « fausses », puis tente de discerner ces fausses données des données d'utilisateur authentiques fournies par les réseaux en direct auxquels AESim a accès.

Une représentation cloud d'utilisateurs réels et factices dans une simulation de moteur de recherche industrielle typique.

USP,EP, BP

Les chercheurs ont testé AESim en déployant un par paires, par points et ListeMLE instance dans le système, chacune devant servir une tranche aléatoire non intersectée de requêtes de recherche dans le contexte d'un algorithme de reclassement.

À ce stade, AESim est confronté à des données en temps réel, à la fois rapides et diversifiées, tout comme le sera probablement le nouveau modèle linguistique de Facebook. Par conséquent, les résultats ont été analysés à la lumière des performances globales.

Testé pendant dix jours, AESim a démontré une cohérence remarquable entre trois modèles, bien que les chercheurs aient noté qu'un test supplémentaire d'un modèle de langage de contexte de document (DLCM) module mal exécuté dans l'environnement hors ligne, mais très bien dans l'environnement réel, et concède que le système démontrera des lacunes avec ses homologues réels, en fonction de la configuration et des modèles testés.