Alibaba Utvikler Søkemotorsimulering AI som Bruker Live Data

I samarbeid med akademiske forskere i Kina, har Alibaba utviklet en søkemotorsimulering AI som bruker virkelige data fra e-handelsjettens live-infrastruktur for å utvikle nye rangeringsmodeller som ikke er hemmet av “historiske” eller utdaterte opplysninger.

Motoren, kalt AESim, representerer den andre store annonseringen på en uke som anerkjenner behovet for AI-systemer å kunne evaluere og inkorporere live- og aktuelle data, i stedet for bare å abstrahere data som var tilgjengelig da modellen ble trent. Den tidligere annonseringen var fra Facebook, som forrige uke lanserte BlenderBot 2.0-språkmodellen, en NLP-grensesnitt som inneholder live-avstemning av internett-søkeresultater i respons til spørsmål.

Målet med AESim-prosjektet er å gi et eksperimentelt miljø for utvikling av nye Learning-To-Rank (LTR)-løsninger, algoritmer og modeller i kommersielle informasjonsøkningsystemer. I testingen av rammeverket, fant forskerne at det nøyaktig reflekterte online-ytelse innenfor nyttige og handlebare parametre.

Artikkelforfatterne, inkludert fire representanter fra Nanjing universitet og fra Alibabas forskningsavdeling, hevder at en ny tilnærming til LTR-simuleringer var nødvendig av to grunner: feilene i nylige lignende initiativer i dyp læring for å skape reproducerbare teknikker, med en rekke oppmerksomhet-gjennomgående algoritmer som feilet i å oversette til anvendelige virkelige systemer; og mangelen på overførbarhet, i forhold til ytelse av treningsdata vs. nye data i tilfeller hvor systemene opprinnelig var mer effektive.

Going Live

Artikkelen hevder at AESim er den første e-handels-simuleringplattformen som er basert på data fra live- og aktuelle brukere og aktivitet, og at den kan nøyaktig reflektere online-ytelse ved ensidig bruk av live-data, og gir en blå himmel-treningsslette for senere forskere å evaluere LTR-metodologier og innovasjoner.

Modellen inkorporerer en ny tilnærming til en typisk skjema for industrielle søkemotorer: den første fasen er innhenting av elementer relatert til brukerens spørring, som ikke umiddelbart presenteres til brukeren, men i stedet først sorteres av en vektet LTR-modell. Deretter sendes de sorterte resultater gjennom en filter som vurderer selskapets mål med å levere resultater – mål som kan inkludere annonsering og mangfoldsfaktorer.

Arkitektur av AESim

I AESim erstattes spørringene med kategori-indekser, som tillater systemet å hente elementer fra en kategori-indeks før de sendes til en tilpassbar om-rangerer som produserer den endelige listen. Selv om rammeverket tillater forskere å studere effekten av felles rangering på flere modeller, blir dette aspektet lagt til fremtidig arbeid, og den nåværende implementeringen søker automatisk etter den ideelle evalueringen basert på en enkelt modell.

Arkitekturen av AESim. Kilde: https://arxiv.org/pdf/2107.07693.pdf

AESim skaper innlejring (virtuelle representasjoner i maskinlæringsarkitekturen) som omfatter den “virtuelle brukeren” og deres spørring, og bruker en Wasserstein Generative Adversarial Network med Gradient Penalty (WGAN-GP)-tilnærming.

Arkitekturen består av en database med millioner av tilgjengelige elementer sortert etter kategori, et tilpassbart rangeringssystem, et tilbakemeldingsmodul og syntetiske datasamlinger generert av GAN-baserte komponenter. Tilbakemeldingsmodulen er den siste fasen i arbeidsflyten, og er i stand til å evaluere ytelsen til den siste iterasjonen av en rangeringsmodell.

Generative Adversarial Imitation Learning

For å modellere beslutningslogikken til “Virtual User Module”, er tilbakemeldingsmodulen (som gir de endelige resultater) trent gjennom Generative Adversarial Imitation Learning (GAIL), en teori først foreslått av Stanford-forskere i 2016. GAIL er en modell-fri paradigme som tillater et system å utvikle en politikk direkte fra data gjennom imitasjonslæring.

Treningssettene utviklet av AESim er i hovedsak de samme som statiske, historiske datasamlinger brukt i tidligere overvåkede læremodeller for lignende systemer. Forskjellen med AESim er at det ikke er avhengig av en statisk datasamling for tilbakemelding, og ikke er hemmet av element-rekkefølgen som ble generert da (gammel) treningsdata ble samlet inn.

Den generative aspekten av AESim handler om skapingen av en virtuell bruker gjennom WGAN-GP, som utsteder “falske” bruker- og spørringskarakteristika, og deretter forsøker å skille denne fiktive data fra ekte brukerdata supplert av de live-nettverkene som AESim har tilgang til.

En sky-representasjon av falske og ekte brukere i en typisk industriell søkemotorsimulering.

Testing

Forskerne testet AESim ved å deployere en parvis, punktvis og ListMLE-instans i systemet, hver av dem måtte tjene en ikke-overlappende tilfeldig del av søkeforespørsler i sammenheng med en om-rangerer-algoritme.

Ved dette punktet er AESim utfordret av de raskt skiftende og mangfoldige live-data på samme måte som Facebooks nye språkmodell sannsynligvis vil være. Derfor er resultater bli vurdert i lys av total ytelse.

Testet i ti dager, viste AESim bemerkelsesverdig konsistens over tre modeller, selv om forskerne noterte at en ekstra test av en Dokument Kontekst Språkmodell (DLCM)-modul utførte dårlig i offline-miljøet, men svært godt i live-miljøet, og innrømmer at systemet vil vise gap med sine live- motstykker, avhengig av konfigurasjonen og modellene som testes.