Alibaba desenvolve IA de simulação de mecanismo de pesquisa que usa dados ao vivo

Em colaboração com pesquisadores acadêmicos na China, o Alibaba desenvolveu uma IA de simulação de mecanismo de busca que usa dados do mundo real da infraestrutura ativa do gigante do comércio eletrônico para desenvolver novos modelos de classificação que não sejam prejudicados por informações "históricas" ou desatualizadas.

O motor, chamado AESim, representa o segundo grande anúncio em uma semana para reconhecer a necessidade de sistemas de IA serem capazes de avaliar e incorporar dados ao vivo e atuais, em vez de apenas abstrair os dados que estavam disponíveis no momento em que o modelo foi treinado. O anúncio anterior foi do Facebook, que na semana passada revelou o modelo de linguagem BlenderBot 2.0, uma interface NLP que apresenta pesquisa ao vivo de resultados de pesquisa na Internet em resposta a consultas.

O objetivo do projeto AESim é fornecer um ambiente experimental para o desenvolvimento de novos Learning-To-Rank (LTR) soluções, algoritmos e modelos em sistemas de recuperação de informações comerciais. Ao testar a estrutura, os pesquisadores descobriram que ela refletia com precisão o desempenho online dentro de parâmetros úteis e acionáveis.

Os autores do artigo, incluindo quatro representantes da Universidade de Nanquim e da divisão de pesquisa do Alibaba, afirmam que uma nova abordagem para simulações de LTR foi necessária por dois motivos: o fracasso de iniciativas semelhantes recentes em aprendizado profundo para criar técnicas reproduzíveis, com uma onda de algoritmos para atrair atenção falhando em traduzir em sistemas aplicáveis ​​do mundo real; e a falta de transferibilidade, em termos de desempenho dos dados de treinamento versus novos dados nos casos em que os sistemas foram inicialmente mais eficazes.

Indo ao vivo

O artigo afirma que o AESim é a primeira plataforma de simulação de comércio eletrônico baseada nos dados de usuários e atividades ao vivo e atuais, e que pode refletir com precisão o desempenho online pelo uso unilateral de dados ao vivo, fornecendo um campo de treinamento de céu azul para pesquisadores posteriores para avaliar metodologias e inovações LTR.

O modelo incorpora uma nova abordagem a um esquema típico de mecanismos de busca industriais: a primeira etapa é a recuperação de itens relacionados à consulta do usuário, que não são apresentados inicialmente ao usuário, mas sim classificados por um modelo LTR ponderado. Em seguida, os resultados classificados passam por um filtro que considera os objetivos da empresa ao fornecer os resultados – objetivos que podem incluir publicidade e fatores de diversidade.

Arquitetura da AESim

No AESim, as consultas são substituídas por índices de categoria, permitindo que o sistema recupere itens de um índice de categoria antes de passá-los para um reclassificador personalizável que produz a lista final. Embora a estrutura permita que os pesquisadores estudem os efeitos da classificação conjunta em vários modelos, esse aspecto está sendo deixado para trabalhos futuros, e a implementação atual busca automaticamente a avaliação ideal com base em um único modelo.

A arquitetura do AESim. Fonte: https://arxiv.org/pdf/2107.07693.pdf

O AESim cria embeddings (representações virtuais na arquitetura de aprendizado de máquina) que encapsulam o 'usuário virtual' e sua consulta e utiliza uma Rede Adversarial Generativa de Wasserstein com Penalidade de Gradiente (WGAN-GP) abordagem.

A arquitetura compreende um banco de dados de milhões de itens disponíveis classificados por categoria, um sistema de classificação personalizável, um módulo de feedback e conjuntos de dados sintéticos gerados pelos componentes baseados em GAN. O módulo de feedback é o estágio final do fluxo de trabalho, capaz de avaliar o desempenho da última iteração de um modelo de classificação.

Aprendizagem por Imitação Adversária Generativa

Para modelar a lógica de decisão do 'Módulo de Usuário Virtual', o módulo de feedback (que fornece os resultados finais) é treinado por meio de Aprendizado de Imitação Adversarial Generativa (GAIL), uma teoria proposta pela primeira vez por pesquisadores de Stanford em 2016. GAIL é um paradigma sem modelo que permite que um sistema desenvolva um Privacidade diretamente dos dados através aprendizagem por imitação.

Os conjuntos de treinamento desenvolvidos pelo AESim são essencialmente os mesmos conjuntos de dados históricos e estáticos usados ​​em modelos anteriores de aprendizado supervisionado para sistemas semelhantes. A diferença com o AESim é que ele não depende de um conjunto de dados estático para feedback e não é prejudicado pelos pedidos de itens que foram gerados no momento em que os (antigos) dados de treinamento foram compilados.

O aspecto generativo do AESim se concentra na criação de um usuário virtual por meio do WGAN-GP, que gera características de usuário e consulta "falsas" e, então, tenta discernir esses dados falsos dos dados genuínos do usuário fornecidos pelas redes ativas às quais o AESim tem acesso.

Uma representação em nuvem de usuários falsos e reais em uma típica simulação de mecanismo de busca industrial.

Ensaios

Os pesquisadores testaram o AESim implantando um par a par, ponto a ponto e ListaMLE instância no sistema, cada uma das quais tinha que atender a uma fatia aleatória sem interseção de consultas de pesquisa no contexto de um algoritmo de reclassificação.

Neste ponto, o AESim enfrenta o desafio da rápida e diversificada mudança de dados ao vivo, da mesma forma que o novo modelo de linguagem do Facebook provavelmente enfrentará. Portanto, os resultados foram considerados à luz do desempenho geral.

Testado por dez dias, o AESim demonstrou consistência notável em três modelos, embora os pesquisadores tenham notado que um teste adicional de um Modelo de Linguagem de Contexto de Documento (DLCM) teve um desempenho ruim no ambiente off-line, mas muito bom no ambiente real, e admite que o sistema apresentará lacunas em relação aos seus equivalentes ativos, dependendo da configuração e dos modelos que estão sendo testados.