Alibaba Desarrolla un Simulador de Motor de Búsqueda de IA que Utiliza Datos en Vivo

En colaboración con investigadores académicos de China, Alibaba ha desarrollado un simulador de motor de búsqueda de IA que utiliza datos del mundo real de la infraestructura en vivo del gigante del comercio electrónico para desarrollar nuevos modelos de clasificación que no se ven limitados por información ‘histórica’ o desactualizada.

El motor, llamado AESim, representa el segundo anuncio importante en una semana que reconoce la necesidad de que los sistemas de IA puedan evaluar e incorporar datos en vivo y actuales, en lugar de simplemente abstractar los datos que estaban disponibles en el momento en que se entrenó el modelo. El anuncio anterior fue de Facebook, que la semana pasada presentó el modelo de lenguaje BlenderBot 2.0, una interfaz de NLP que cuenta con una encuesta en vivo de resultados de búsqueda en Internet en respuesta a consultas.

El objetivo del proyecto AESim es proporcionar un entorno experimental para el desarrollo de nuevas soluciones, algoritmos y modelos de Aprendizaje para Clasificar (LTR) en sistemas de recuperación de información comerciales. Al probar el marco, los investigadores encontraron que reflejaba con precisión el rendimiento en línea dentro de parámetros útiles y accionables.

Los autores del documento, incluidos cuatro representantes de la Universidad de Nanjing y cuatro de la división de investigación de Alibaba, afirman que se necesitaba un nuevo enfoque para las simulaciones de LTR por dos razones: el fracaso de las iniciativas recientes similares en aprendizaje profundo para crear técnicas reproducibles, con una serie de algoritmos que no lograron traducirse en sistemas del mundo real; y la falta de transferibilidad, en términos de rendimiento de los datos de entrenamiento frente a datos nuevos en casos donde los sistemas fueron inicialmente más efectivos.

Ir en Vivo

El documento afirma que AESim es la primera plataforma de simulación de comercio electrónico basada en los datos de usuarios y actividad en vivo y actuales, y que puede reflejar con precisión el rendimiento en línea mediante el uso unilateral de datos en vivo, proporcionando un espacio de entrenamiento para que los investigadores posteriores evalúen las metodologías y innovaciones de LTR.

El modelo incorpora un nuevo enfoque para un esquema típico para motores de búsqueda industriales: la primera etapa es la recuperación de elementos relacionados con la consulta del usuario, que no se presentan inicialmente al usuario, sino que se ordenan primero por un modelo de LTR ponderado. Luego, los resultados ordenados se pasan a través de un filtro que considera los objetivos de la empresa al suministrar los resultados – objetivos que pueden incluir factores de publicidad y diversidad.

Arquitectura de AESim

En AESim, las consultas se reemplazan con índices de categorías, lo que permite al sistema recuperar elementos de un índice de categorías antes de pasarlos a un reordenador personalizable que produce la lista final. Aunque el marco permite a los investigadores estudiar los efectos de la clasificación conjunta en varios modelos, este aspecto se deja para un trabajo futuro, y la implementación actual busca automáticamente la evaluación ideal basada en un solo modelo.

La arquitectura de AESim. Fuente: https://arxiv.org/pdf/2107.07693.pdf

AESim crea incrustaciones (representaciones virtuales en la arquitectura de aprendizaje automático) que encapsulan al ‘usuario virtual’ y su consulta, y utiliza un enfoque de Red Generativa Adversaria con Penalización de Gradiente (WGAN-GP).

La arquitectura comprende una base de datos de millones de elementos disponibles ordenados por categoría, un sistema de clasificación personalizable, un módulo de retroalimentación y conjuntos de datos sintéticos generados por los componentes basados en GAN. El módulo de retroalimentación es la última etapa en el flujo de trabajo, capaz de evaluar el rendimiento de la última iteración de un modelo de clasificación.

Aprendizaje de Imitación Generativa Adversaria

Para modelar la lógica de decisión del ‘Módulo de Usuario Virtual’, el módulo de retroalimentación (que proporciona los resultados finales) se entrena a través del Aprendizaje de Imitación Generativa Adversaria (GAIL), una teoría propuesta por primera vez por investigadores de Stanford en 2016. GAIL es un paradigma libre de modelo que permite a un sistema desarrollar una política directamente a partir de los datos a través del aprendizaje de imitación.

Los conjuntos de datos de entrenamiento desarrollados por AESim son esencialmente los mismos que los conjuntos de datos estáticos y históricos utilizados en modelos de aprendizaje supervisado anteriores para sistemas similares. La diferencia con AESim es que no depende de un conjunto de datos estático para la retroalimentación, y no se ve limitado por los pedidos de elementos que se generaron en el momento en que se compiló el conjunto de datos de entrenamiento (antiguo).

El aspecto generativo de AESim se centra en la creación de un usuario virtual a través de WGAN-GP, que produce ‘datos falsos’ de características de usuario y consulta, y luego intenta discernir estos datos falsos de los datos de usuario genuinos suministrados por las redes en vivo a las que AESim tiene acceso.

Una representación en la nube de usuarios falsos y reales en una simulación de motor de búsqueda industrial típica.

Pruebas

Los investigadores probaron AESim desplegando una instancia de aprendizaje por pares, punto a punto y ListMLE en el sistema, cada una de las cuales tuvo que servir a una porción aleatoria no intersectante de consultas de búsqueda en el contexto de un algoritmo de reordenamiento.

En este punto, AESim se ve desafiado por los datos en vivo rápidamente cambiantes y diversos de la misma manera que el nuevo modelo de lenguaje de Facebook probablemente lo sea. Por lo tanto, los resultados se han considerado a la luz del rendimiento general.

Probado durante diez días, AESim demostró una notable consistencia en tres modelos, aunque los investigadores observaron que una prueba adicional de un módulo de modelo de lenguaje de contexto de documento (DLCM) se desempeñó mal en el entorno sin conexión, pero muy bien en el entorno en vivo, y conceden que el sistema demostrará brechas con sus contrapartes en vivo, dependiendo de la configuración y los modelos que se estén probando.