Alibaba utvikler søkemotorsimulering AI som bruker live-data

I samarbeid med akademiske forskere i Kina har Alibaba utviklet en søkemotorsimulerings-AI som bruker reelle data fra e-handelsgigantens live-infrastruktur for å utvikle nye rangeringsmodeller som ikke er hemmet av «historisk» eller utdatert informasjon.

Motoren, kalt AESim, representerer den andre store kunngjøringen på en uke for å erkjenne behovet for AI-systemer for å kunne evaluere og inkorporere live og nåværende data, i stedet for bare å abstrahere dataene som var tilgjengelige da modellen ble trent. Den tidligere kunngjøringen kom fra Facebook, som forrige uke avduket BlenderBot 2.0-språkmodellen, et NLP-grensesnitt som har direkte polling av søkeresultater på Internett som svar på forespørsler.

Målet med AESim-prosjektet er å gi et eksperimentelt miljø for utvikling av nye Learning-To-Rank (LTR) løsninger, algoritmer og modeller i kommersielle informasjonsinnhentingssystemer. Ved å teste rammeverket fant forskerne at det nøyaktig reflekterte online ytelse innenfor nyttige og handlingsbare parametere.

Forfatterne av artikkelen, inkludert fire representanter fra både Nanjing-universitetet og Alibabas forskningsavdeling, hevder at en ny tilnærming til LTR-simuleringer var nødvendig av to grunner: at lignende initiativer innen dyp læring ikke lyktes i å lage reproduserbare teknikker, med en rekke oppmerksomhetsvekkende algoritmer. ikke klarer å oversette inn i gjeldende systemer i den virkelige verden; og mangelen på overførbarhet, når det gjelder ytelsen til treningsdataene kontra nye data i tilfeller der systemene i utgangspunktet var mer effektive.

Går live

Papiret hevder at AESim er den første e-handelssimuleringsplattformen basert på data fra live og nåværende brukere og aktivitet, og at den nøyaktig kan reflektere online ytelse ved ensidig bruk av live data, og gir en blå himmel treningslekeplass for senere forskere å evaluere LTR-metodologier og innovasjoner.

Modellen inneholder en ny vri på et typisk skjema for industrielle søkemotorer: det første trinnet er henting av elementer relatert til brukerens søk, som ikke først presenteres for brukeren, men snarere først sorteres etter en vektet LTR-modell. Deretter går de sorterte resultatene gjennom et filter som tar hensyn til selskapets mål med å levere resultatene – mål som kan inkludere reklame og mangfoldsfaktorer.

Arkitektur av AESim

I AESim erstattes spørringene med kategoriindekser, slik at systemet kan hente elementer fra en kategoriindeks før de sendes til en tilpassbar omranger som produserer den endelige listen. Selv om rammeverket lar forskere studere effekten av felles rangering på tvers av flere modeller, blir dette aspektet overlatt til fremtidig arbeid, og den nåværende implementeringen søker automatisk etter den ideelle evalueringen basert på en enkelt modell.

Arkitekturen til AESim. Kilde: https://arxiv.org/pdf/2107.07693.pdf

AESim lager innebygde elementer (virtuelle representasjoner i maskinlæringsarkitekturen) som innkapsler den «virtuelle brukeren» og deres spørring, og bruker et Wasserstein Generative Adversarial Network med Gradient Penalty (WGAN-GP) nærme seg.

Arkitekturen består av en database med millioner av tilgjengelige elementer sortert etter kategori, et tilpassbart rangeringssystem, en tilbakemeldingsmodul og syntetiske datasett generert av de GAN-baserte komponentene. Tilbakemeldingsmodulen er det siste stadiet i arbeidsflyten, i stand til å evaluere ytelsen til den siste iterasjonen av en rangeringsmodell.

Generativ kontradiktorisk imitasjonslæring

For å modellere beslutningslogikken til den «virtuelle brukermodulen», trenes tilbakemeldingsmodulen (som gir de endelige resultatene) gjennom generativ adversariell imitasjonslæring (GAIL), en teori som først ble foreslått av Stanford-forskere i 2016. GAIL er et modellfritt paradigme som lar et system utvikle en politikk direkte fra data gjennom imitasjonslæring.

Opplæringssettene utviklet av AESim er i hovedsak de samme som statiske, historiske datasett brukt i tidligere veiledede læringsmodeller for lignende systemer. Forskjellen med AESim er at den ikke er avhengig av et statisk datasett for tilbakemelding, og er ikke hemmet av varebestillingene som ble generert på tidspunktet da (gamle) treningsdata ble kompilert.

Det generative aspektet ved AESim fokuserer på opprettelsen av en virtuell bruker gjennom WGAN-GP, som sender ut «falske» bruker- og spørreegenskaper, og deretter prøver å skille disse falske dataene fra ekte brukerdata levert av de aktive nettverkene som AESim har tilgang til.

En skyrepresentasjon av falske og ekte brukere i en typisk industriell søkemotorsimulering.

Testing

Forskerne testet AESim ved å distribuere en parvis, punktvis og ListeMLE forekomst inn i systemet, som hver måtte levere en ikke-kryssende tilfeldig del av søk i sammenheng med en omrangeringsalgoritme.

På dette tidspunktet utfordres AESim av de raskt skiftende og mangfoldige livedataene på omtrent samme måte som Facebooks nye språkmodell sannsynligvis vil bli. Derfor har resultatene blitt vurdert i lys av den generelle ytelsen.

Testet i ti dager, viste AESim bemerkelsesverdig konsistens på tvers av tre modeller, selv om forskerne bemerket at en ekstra test av en dokumentkontekstspråkmodell (DLCM)-modulen presterte dårlig i offline-miljøet, men veldig bra i live-miljøet, og innrømmer at systemet vil demonstrere hull med live-motpartene, avhengig av konfigurasjonen og modellene som testes.