Alibaba vyvinul simulační AI pro vyhledávač, která využívá živá data

V spolupráci s akademickými výzkumníky v Číně společnost Alibaba vyvinula simulační AI pro vyhledávač, která využívá skutečná data z živé infrastruktury e-commerce giganta, aby vyvinula nové modely rankingu, které nejsou omezeny „historickými“ nebo zastaralými informacemi.

Motor, nazvaný AESim, představuje druhé významné oznámení za týden, které uznává potřebu AI systémů, aby mohly vyhodnotit a zahrnout živá a aktuální data, místo aby se pouze abstraktně zabývaly daty, které byly k dispozici v době, kdy byl model trénován. Předchozí oznámení pocházelo od Facebooku, který minulý týden představil jazykový model BlenderBot 2.0, NLP rozhraní, které nabízí živé dotazování internetových vyhledávacích výsledků v reakci na dotazy.

Cílem projektu AESim je poskytnout experimentální prostředí pro vývoj nových řešení Learning-To-Rank (LTR), algoritmů a modelů v komerčních informačních systémech. Při testování rámce výzkumníci zjistili, že přesně odráží online výkon v užitečných a akčních parametrech.

Autorů článku, včetně čtyř zástupců z Nanjing University a z výzkumné divize Alibaba, tvrdí, že nový přístup k LTR simulacím byl nezbytný ze dvou důvodů: selhání nedávných podobných iniciativ v hlubokém učení, aby vytvořily reprodukovatelné techniky, s řadou algoritmů, které nesplnily své sliby v aplikovaných reálných systémech; a nedostatek přenositelnosti, pokud jde o výkon trénovacího datového souboru ve srovnání s novými daty v případech, kdy systémy byly inicializovány jako více efektivní.

Přejít na živou produkci

Článek tvrdí, že AESim je první e-commerce simulační platforma založená na datech živých a aktuálních uživatelů a aktivity, a že může přesně odrážet online výkon pomocí jednorázového použití živých dat, poskytující modro-nebeské tréninkové prostředí pro pozdější výzkumníky, aby mohli vyhodnotit LTR metodologie a inovace.

Model zahrnuje nový přístup k typickému schématu pro průmyslové vyhledávače: první fáze je získání položek souvisejících s dotazem uživatele, které nejsou inicializovány pro uživatele, ale jsou nejprve seřazeny podle váženého LTR modelu. Poté jsou seřazené výsledky předány přes filtr, který zohledňuje cíle společnosti při poskytování výsledků – cíle, které mohou zahrnovat reklamní a diverzifikační faktory.

Architektura AESim

V AESim jsou dotazy nahrazeny kategoriemi, což umožňuje systému získat položky z kategorie předtím, než je předá přizpůsobitelnému re-rankéru, který produkuje konečný seznam. Ačkoli rámec umožňuje výzkumníkům studovat účinky společného rankingu napříč několika modely, tento aspekt je ponechán na budoucí práci a současná implementace automaticky hledá ideální vyhodnocení na základě jediného modelu.

Architektura AESim. Zdroj: https://arxiv.org/pdf/2107.07693.pdf

AESim vytváří vložené prvky (virtuální reprezentace v architektuře strojového učení), které zahrnují „virtuálního uživatele“ a jeho dotaz, a využívá přístup Wasserstein Generative Adversarial Network s Gradient Penalty (WGAN-GP).

Architektura se skládá z databáze milionů dostupných položek seřazených podle kategorie, přizpůsobitelného rankovacího systému, modulu zpětné vazby a syntetických datových souborů generovaných komponentami založenými na GAN. Modul zpětné vazby je konečná fáze pracovního postupu, schopná vyhodnotit výkon poslední iterace rankovacího modelu.

Generativní adversativní imitační učení

Za účelem modelování rozhodovací logiky „Virtuálního uživatelského modulu“ je modul zpětné vazby (který poskytuje konečná výsledky) trénován pomocí Generative Adversarial Imitation Learning (GAIL), teorie poprvé navržené výzkumníky ze Stanfordu v roce 2016. GAIL je model-free paradigm, který umožňuje systému vyvinout politiku přímo z dat prostřednictvím imitačního učení.

Trénovací sady vyvinuté AESim jsou v podstatě stejné jako statické, historické datové soubory používané v předchozích supervizních modelech učení pro podobné systémy. Rozdíl s AESim spočívá v tom, že není závislý na statickém datovém souboru pro zpětnou vazbu a není omezen položkami, které byly vygenerovány v době, kdy byla (stará) trénovací data sestavena.

Generativní aspekt AESim spočívá ve vytvoření virtuálního uživatele pomocí WGAN-GP, který produkuje „falešné“ uživatelské a dotazové charakteristiky a poté se snaží rozlišit tato falešná data od skutečných uživatelských dat poskytnutých živými sítěmi, ke kterým má AESim přístup.

Cloudová reprezentace falešných a skutečných uživatelů v typické průmyslové simulační vyhledávači.

Testování

Výzkumníci otestovali AESim nasazením pair-wise, point-wise a ListMLE instance do systému, z nichž každá musela sloužit neintersectujícímu náhodnému segmentu vyhledávacích dotazů v kontextu re-rankovacího algoritmu.

V tomto okamžiku AESim čelí rychle se měnícím a rozmanitým živým datům podobně jako nový jazykový model Facebooku. Proto byly výsledky považovány za celkový výkon.

Testováno po dobu deseti dnů, AESim prokázal pozoruhodnou konzistenci napříč třemi modely, ačkoli výzkumníci poznamenali, že další test modulu Document Context Language Model (DLCM) vykazoval špatný výkon v offline prostředí, ale velmi dobrý v živém prostředí, a uznali, že systém bude vykazovat mezery se svými živými protějšky, v závislosti na konfiguraci a modelech, které jsou testovány.