Alibaba Dezvoltă Un Motor de Căutare de Simulare AI Care Utilizează Date Live

În colaborare cu cercetători academici din China, Alibaba a dezvoltat un motor de căutare de simulare AI care utilizează date din lumea reală de la infrastructura live a gigantului comerțului electronic, pentru a dezvolta noi modele de clasare care nu sunt limitate de informații “istorice” sau învechite.

Motorul, numit AESim, reprezintă a doua mare anunțare într-o săptămână care recunoaște necesitatea sistemelor AI de a putea evalua și integra date live și actuale, în loc de a se baza doar pe datele disponibile la momentul în care modelul a fost antrenat. Anunțul anterior a fost făcut de Facebook, care a prezentat BlenderBot 2.0, un model de limbaj care prezintă o interfață NLP care efectuează sondaje live de rezultate de căutare pe internet în răspuns la întrebări.

Obiectivul proiectului AESim este de a oferi un mediu experimental pentru dezvoltarea de noi soluții, algoritmi și modele de învățare pentru clasare (LTR) în sistemele comerciale de recuperare a informațiilor. La testarea cadrului, cercetătorii au constatat că acesta reflectă cu acuratețe performanța online în parametri utili și acționabili.

Autorii lucrării, printre care patru reprezentanți ai Universității Nanjing și ai diviziei de cercetare a lui Alibaba, afirmă că o abordare nouă pentru simulările LTR a fost necesară din două motive: eșecul recentelor inițiative similare în învățarea profundă de a crea tehnici reproductibile, cu o serie de algoritmi care nu au putut fi traduși în sisteme reale; și lipsa de transferabilitate, în ceea ce privește performanța datelor de antrenare versus datele noi în cazurile în care sistemele au fost inițial mai eficiente.

În Direct

Lucrarea afirmă că AESim este prima platformă de simulare a comerțului electronic care se bazează pe datele utilizatorilor live și activității, și că poate reflecta cu acuratețe performanța online prin utilizarea unilaterală a datelor live, oferind un mediu de antrenare ideal pentru cercetătorii care doresc să evalueze metodologiile și inovațiile LTR.

Modelul incorporează o abordare nouă pentru schema tipică a motoarelor de căutare industriale: primul stadiu este recuperarea articolelor legate de întrebarea utilizatorului, care nu sunt prezentate inițial utilizatorului, ci sunt mai întâi sortate de un model LTR ponderat. Apoi, rezultatele sortate sunt trecute printr-un filtru care ia în considerare obiectivele companiei în furnizarea rezultatelor – obiective care pot include factori de publicitate și diversitate.

Arhitectura AESim

În AESim, întrebările sunt înlocuite cu indici de categorie, permițând sistemului să recupereze articole dintr-un indice de categorie înainte de a le transmite unui re-ranker personalizabil care produce lista finală. Deși cadrul permite cercetătorilor să studieze efectele clasării comune pe multiple modele, acest aspect este lăsat pentru lucrări viitoare, iar implementarea curentă caută automat evaluarea ideală pe baza unui singur model.

Arhitectura AESim. Sursă: https://arxiv.org/pdf/2107.07693.pdf

AESim creează încorporări (reprezentări virtuale în arhitectura de învățare automată) care cuprind “utilizatorul virtual” și întrebarea sa, și utilizează o abordare WGAN-GP (Wasserstein Generative Adversarial Network cu Penalizare).

Arhitectura cuprinde o bază de date cu milioane de articole disponibile, sortate pe categorii, un sistem de clasare personalizabil, un modul de feedback și seturi de date sintetice generate de componente GAN. Modulul de feedback este ultima etapă a fluxului de lucru, capabilă să evalueze performanța ultimei iterații a unui model de clasare.

Învățarea Imitației Adversariale Generative

Pentru a modela logica decizională a “Modulului de Utilizator Virtual”, modulul de feedback (care oferă rezultatele finale) este antrenat prin Învățarea Imitației Adversariale Generative (GAIL), o teorie propusă pentru prima dată de cercetători de la Stanford în 2016. GAIL este un paradigma fără model care permite unui sistem să dezvolte o politică direct din date prin învățarea imitației.

Seturile de antrenare dezvoltate de AESim sunt esențialmente aceleași cu seturile de date statice și istorice utilizate în modelele de învățare supravegheată anterioare pentru sisteme similare. Diferența cu AESim este că acesta nu se bazează pe un set de date static pentru feedback și nu este limitat de ordinea articolelor generate la momentul în care datele de antrenare (vechi) au fost compilate.

Aspectul generativ al AESim se concentrează pe crearea unui utilizator virtual prin WGAN-GP, care produce “caracteristici de utilizator și întrebare false” și apoi încearcă să distingă aceste date false de datele reale ale utilizatorilor furnizate de rețelele live la care AESim are acces.

O reprezentare în cloud a utilizatorilor reali și falși într-un motor de căutare industrial de simulare tipic.

Testarea

Cercetătorii au testat AESim prin implementarea unei perechi, punctuale și ListMLE în sistem, fiecare dintre acestea trebuind să servească o parte aleatorie neintersectată de întrebări de căutare în contextul unui algoritm de re-rankare.

În acest moment, AESim este provocat de datele live și diverse care se schimbă rapid, într-un mod similar cu cel în care noul model de limbaj al Facebookului este probabil să fie. Prin urmare, rezultatele au fost considerate în lumina performanței generale.

Testat timp de zece zile, AESim a demonstrat o remarcabilă consistență pe trei modele, deși cercetătorii au notat că un test suplimentar al unui modul de Model de Context de Document (DLCM) a performant prost în mediu offline, dar foarte bine în mediu live, și admit că sistemul va prezenta lacune cu omologii săi live, în funcție de configurație și de modelele testate.