Alibaba Développe un Simulateur de Moteur de Recherche IA qui Utilise des Données en Direct

En collaboration avec des chercheurs universitaires en Chine, Alibaba a développé un simulateur de moteur de recherche IA qui utilise des données du monde réel provenant de l’infrastructure en direct de l’entreprise de commerce électronique afin de développer de nouveaux modèles de classement qui ne sont pas limités par des informations « historiques » ou obsolètes.

Le moteur, appelé AESim, représente la deuxième grande annonce en une semaine pour reconnaître la nécessité pour les systèmes IA de pouvoir évaluer et intégrer des données en direct et actuelles, au lieu de se contenter de données abstraites disponibles au moment de la formation du modèle. L’annonce précédente provenait de Facebook, qui a présenté la semaine dernière BlenderBot 2.0, un modèle de langage qui dispose d’une interface NLP avec interrogation en direct des résultats de recherche Internet en réponse aux requêtes.

L’objectif du projet AESim est de fournir un environnement expérimental pour le développement de nouvelles solutions d’apprentissage de classement (LTR) dans les systèmes de recherche d’information commerciaux. Lors des tests du cadre, les chercheurs ont constaté qu’il reflétait avec précision les performances en ligne dans des paramètres utiles et exploitables.

Les auteurs de l’article, dont quatre représentants de l’Université de Nanjing et de la division de recherche d’Alibaba, affirment qu’une nouvelle approche de simulation LTR était nécessaire pour deux raisons: l’échec des initiatives récentes similaires en apprentissage profond pour créer des techniques reproductibles, avec une série d’algorithmes ayant échoué à se traduire en systèmes réels applicables; et le manque de transférabilité, en termes de performance des données de formation par rapport aux données nouvelles dans les cas où les systèmes étaient initialement plus efficaces.

Mise en Ligne

L’article affirme qu’AESim est la première plate-forme de simulation de commerce électronique basée sur les données d’utilisateurs et d’activité en direct, et qu’elle peut refléter avec précision les performances en ligne en utilisant unilatéralement des données en direct, offrant un espace de formation idéal pour les chercheurs futurs pour évaluer les méthodologies et les innovations LTR.

Le modèle intègre une nouvelle approche d’un schéma typique pour les moteurs de recherche industriels: la première étape consiste à récupérer des éléments liés à la requête de l’utilisateur, qui ne sont pas initialement présentés à l’utilisateur, mais sont d’abord classés par un modèle LTR pondéré. Ensuite, les résultats classés sont transmis à travers un filtre qui prend en compte les objectifs de l’entreprise dans la fourniture des résultats – des objectifs qui peuvent inclure des facteurs de publicité et de diversité.

Architecture d’AESim

Dans AESim, les requêtes sont remplacées par des indices de catégorie, permettant au système de récupérer des éléments à partir d’un index de catégorie avant de les transmettre à un réorganisateur personnalisable qui produit la liste finale. Bien que le cadre permette aux chercheurs d’étudier les effets du classement conjoint sur plusieurs modèles, cet aspect est laissé pour les travaux futurs, et la mise en œuvre actuelle recherche automatiquement l’évaluation idéale en fonction d’un seul modèle.

L’architecture d’AESim. Source: https://arxiv.org/pdf/2107.07693.pdf

AESim crée des embeddings (représentations virtuelles dans l’architecture d’apprentissage automatique) qui encapsulent l’utilisateur « virtuel » et sa requête, et utilise une approche de réseau antagoniste génératif de Wasserstein avec pénalité de gradient (WGAN-GP).

L’architecture se compose d’une base de données de millions d’éléments disponibles classés par catégorie, d’un système de classement personnalisable, d’un module de rétroaction et de jeux de données synthétiques générés par les composants basés sur GAN. Le module de rétroaction est la dernière étape du flux de travail, capable d’évaluer les performances de la dernière itération d’un modèle de classement.

Apprentissage d’Imitation Antagoniste Génératif

Afin de modéliser la logique de décision du « Module d’Utilisateur Virtuel », le module de rétroaction (qui fournit les résultats ultimes) est formé par l’apprentissage d’imitation antagoniste génératif (GAIL), une théorie proposée pour la première fois par des chercheurs de Stanford en 2016. GAIL est un paradigme sans modèle qui permet à un système de développer une politique directement à partir de données par apprentissage d’imitation.

Les ensembles de formation développés par AESim sont essentiellement les mêmes que les ensembles de données statiques et historiques utilisés dans les modèles d’apprentissage supervisé précédents pour des systèmes similaires. La différence avec AESim est qu’il ne dépend pas d’un ensemble de données statique pour la rétroaction, et n’est pas limité par les ordres d’éléments générés au moment où les données de formation (anciennes) ont été compilées.

L’aspect génératif d’AESim se concentre sur la création d’un utilisateur virtuel par WGAN-GP, qui produit des caractéristiques d’utilisateur et de requête « fausses », puis tente de discerner ces données fausses des données réelles d’utilisateur fournies par les réseaux en direct auxquels AESim a accès.

Une représentation en nuage d’utilisateurs faux et réels dans une simulation de moteur de recherche industriel typique.

Test

Les chercheurs ont testé AESim en déployant une instance par paire, point à point et ListMLE dans le système, chacun devant servir une tranche aléatoire non intersectante de requêtes de recherche dans le contexte d’un algorithme de réorganisation.

À ce stade, AESim est confronté aux données en direct rapidement changeantes et diverses de la même manière que le nouveau modèle de langage de Facebook est susceptible de l’être. Par conséquent, les résultats ont été considérés dans l’optique des performances globales.

Testé pendant dix jours, AESim a démontré une remarquable constance sur trois modèles, bien que les chercheurs aient noté qu’un test supplémentaire d’un module de modèle de langage de contexte de document (DLCM) s’est révélé mauvais dans l’environnement hors ligne, mais très bien dans l’environnement en direct, et admettent que le système présentera des lacunes avec ses homologues en direct, en fonction de la configuration et des modèles testés.