Alibaba udvikler søgemaskine-simulerings-AI, der bruger live-data

I samarbejde med akademiske forskere i Kina har Alibaba udviklet en søgemaskine-simulerings-AI, der bruger virkelige data fra e-handels-gigantens live-infrastruktur for at udvikle nye rangordningsmodeller, der ikke er begrænsede af “historiske” eller forældede oplysninger.

Motoren, der hedder AESim, repræsenterer den anden store meddelelse på en uge, der anerkender behovet for, at AI-systemer kan evaluere og inkorporere live- og aktuelle data, i stedet for kun at abstrahere data, der var tilgængelige på det tidspunkt, modellen blev trænet. Den tidligere meddelelse kom fra Facebook, der sidste uge præsenterede BlenderBot 2.0-sprogmodellen, en NLP-grænseflade, der har live-afstemning af internetsøgeresultater som svar på forespørgsler.

Formålet med AESim-projektet er at give et eksperimentelt miljø for udviklingen af nye Learning-To-Rank (LTR)-løsninger, algoritmer og modeller i kommercielle informationshentings-systemer. Ved at teste rammeværket fandt forskerne, at det nøjagtigt reflekterede online-præstationer inden for nyttige og handlebare parametre.

Artiklens forfattere, herunder fire repræsentanter fra Nanjing Universitet og fra Alibabas forskningsafdeling, hævder, at en ny tilgang til LTR-simulationer var nødvendig af to grundlæggende årsager: det fejlende forsøg på at skabe reproducerbare teknikker i dyb læring, hvor en række algoritmer fejlede i at oversætte til anvendelige virkelige systemer; og manglen på overførbarhed i forhold til præstationen af træningsdata vs. nye data i tilfælde, hvor systemerne oprindeligt var mere effektive.

Going Live

Artiklen hævder, at AESim er den første e-handelssimuleringsplatform, der er baseret på data fra live- og aktuelle brugere og aktivitet, og at det kan nøjagtigt reflektere online-præstationer ved ensidig brug af live-data, og derved give en blå himmel-træningslejr for senere forskere til at evaluere LTR-metoder og innovationer.

Modellen inkorporerer en ny tilgang til en typisk skema for industrielle søgemaskiner: den første fase er hentningen af elementer relateret til brugerens forespørgsel, som ikke umiddelbart præsenteres for brugeren, men i stedet først sorteres af en vægtet LTR-model. Derefter sendes de sorterende resultater gennem en filter, der overvejer virksomhedens mål med at levere resultaterne – mål, der kan omfatte reklame- og diversitetsfaktorer.

Arkitektur af AESim

I AESim erstattes forespørgslerne med kategoribogstaver, hvilket giver systemet mulighed for at hente elementer fra en kategoribogstav før de sendes til en tilpasset om-ranger, der producerer den endelige liste. Selvom rammeværket giver forskerne mulighed for at studere effekterne af fælles rangering på tværs af multiple modeller, bliver dette aspekt efterladt til fremtidig arbejde, og den nuværende implementering søger automatisk den ideelle evaluering baseret på en enkelt model.

Arkitekturen af AESim. Kilde: https://arxiv.org/pdf/2107.07693.pdf

AESim opretter indlejring (virtuelle repræsentationer i maskinlæringsarkitekturen), der indeholder den “virtuelle bruger” og deres forespørgsel, og anvender en Wasserstein Generative Adversarial Network med Gradient Penalty (WGAN-GP)-tilgang.

Arkitekturen består af en database med millioner af tilgængelige elementer sorteret efter kategori, et tilpasset rangeringssystem, en feedback-modul og syntetiske datasæt genereret af GAN-baserede komponenter. Feedback-modulen er den sidste fase i arbejdsprocessen, der kan evaluere præstationen af den seneste iteration af en rangeringsmodel.

Generative Adversarial Imitation Learning

For at modelere beslutningslogikken i “Virtual User Module”-modulen trænes feedback-modulen (der giver de endelige resultater) gennem Generative Adversarial Imitation Learning (GAIL), en teori, der først blev foreslået af Stanford-forskere i 2016. GAIL er en model-fri paradigm, der giver et system mulighed for at udvikle en politik direkte fra data gennem imitation learning.

Træningssæt udviklet af AESim er i væsentlig grad de samme som statiske, historiske datasæt brugt i tidligere overvågede læringmodeller for lignende systemer. Forskellen med AESim er, at det ikke er afhængigt af et statisk datasæt til feedback, og ikke er begrænset af de elementordrer, der blev genereret på det tidspunkt, hvor (gamle) træningsdata blev samlet.

Den generative aspekt af AESim handler om oprettelsen af en virtuel bruger gennem WGAN-GP, der udskriver “falske” bruger- og forespørgselskarakteristika, og derefter forsøger at skelne denne fiktive data fra ægte brugerdata leveret af de live-netværk, som AESim har adgang til.

En sky-repræsentation af falske og ægte brugere i en typisk industri-søgemaskine-simulation.

Test

Forskerne testede AESim ved at implementere en parvis, punktvis og ListMLE-instance i systemet, hver af dem skulle betjene en ikke-overlappende tilfældig skive af søgeforespørgsler i konteksten af en om-ranger-algoritme.

På dette punkt udfordres AESim af den hurtigt skiftende og diverse live-data på samme måde, som Facebooks nye sprogmodel sandsynligvis vil blive. Derfor er resultaterne blevet overvejet i lyset af den samlede præstation.

Testet i ti dage viste AESim en bemærkelsesværdig konsistens på tværs af tre modeller, selv om forskerne bemærkede, at en yderligere test af en Document Context Language Model (DLCM)-modul havde en dårlig præstation i den offline-miljø, men en meget god præstation i den live-miljø, og indrømmer, at systemet vil vise huller med sine live-modstykke, afhængigt af konfigurationen og modellerne, der testes.