Alibaba разработва AI за симулация на търсачки, който използва живи данни

В сътрудничество с академични изследователи в Китай Alibaba разработи изкуствен интелект за симулация на търсачки, който използва данни от реалния свят от инфраструктурата на живо на гиганта за електронна търговия, за да разработи нови модели за класиране, които не са ограничени от „историческа“ или остаряла информация.

Двигателят, т.нар AESim, представлява второто голямо съобщение за една седмица, за да се признае необходимостта AI системите да могат да оценяват и включват живи и текущи данни, вместо просто да абстрахират данните, които са били налични по времето, когато моделът е бил обучен. По-ранното съобщение беше от Facebook, което миналата седмица представи езиковият модел BlenderBot 2.0, NLP интерфейс, който включва анкетиране на живо на резултатите от интернет търсене в отговор на заявки.

Целта на проекта AESim е да предостави експериментална среда за разработването на нов Learning-To-Rank (LTR) решения, алгоритми и модели в търговски системи за извличане на информация. При тестването на рамката изследователите установиха, че тя точно отразява онлайн ефективността в рамките на полезни и приложими параметри.

Авторите на статията, включително по четирима представители от университета в Нанкин и от изследователския отдел на Alibaba, твърдят, че нов подход към LTR симулациите е необходим поради две причини: провалът на скорошни подобни инициативи в дълбокото обучение за създаване на възпроизводими техники, с поток от внимание -алгоритми за събиране неуспешен превод в приложими системи от реалния свят; и липсата на възможност за прехвърляне по отношение на ефективността на данните за обучение спрямо новите данни в случаите, когато системите първоначално са били по-ефективни.

Продължавам на живо

Документът твърди, че AESim е първата платформа за симулация на електронна търговия, основана на данни на живи и настоящи потребители и активност, и че може точно да отразява онлайн производителността чрез едностранно използване на живи данни, осигурявайки тренировъчна площадка в синьо небе за бъдещи изследователи за оценка на LTR методологии и иновации.

Моделът включва нов подход към типична схема за индустриални търсачки: първият етап е извличането на елементи, свързани със заявката на потребителя, които не са първоначално представени на потребителя, а по-скоро първо са сортирани по претеглен LTR модел. След това сортираните резултати преминават през филтър, който отчита целите на компанията при предоставянето на резултатите – цели, които могат да включват реклама и фактори за разнообразие.

Архитектура на AESim

В AESim заявките се заменят с индекси на категории, което позволява на системата да извлича елементи от индекс на категория, преди да ги предаде на персонализиран прекласатор, който произвежда окончателния списък. Въпреки че рамката позволява на изследователите да изучават ефектите от съвместното класиране в множество модели, този аспект се оставя за бъдеща работа и текущото внедряване автоматично търси идеалната оценка въз основа на един модел.

Архитектурата на AESim. Източник: https://arxiv.org/pdf/2107.07693.pdf

AESim създава вграждания (виртуални представяния в архитектурата за машинно обучение), които капсулират „виртуалния потребител“ и тяхната заявка, и използва Wasserstein Generative Adversarial Network с Gradient Penalty (WGAN-GP) Приближаване.

Архитектурата се състои от база данни от милиони налични артикули, сортирани по категории, адаптивна система за класиране, модул за обратна връзка и синтетични набори от данни, генерирани от компонентите, базирани на GAN. Модулът за обратна връзка е последният етап от работния процес, способен да оцени ефективността на последната итерация на модел за класиране.

Генеративно състезателно имитационно обучение

За да се моделира логиката на вземане на решения на „Виртуалния потребителски модул“, модулът за обратна връзка (който осигурява крайните резултати) се обучава чрез Generative Adversarial Imitation Learning (ГАЙЛА), теория, предложена за първи път от изследователи от Станфорд през 2016 г. GAIL е безмоделна парадигма, която позволява на система да разработи политика директно от данни чрез имитационно обучение.

Наборите за обучение, разработени от AESim, са по същество същите като статични, исторически набори от данни, използвани в предишни модели за контролирано обучение за подобни системи. Разликата с AESim е, че той не разчита на статичен набор от данни за обратна връзка и не е затруднен от поръчките на артикули, които са били генерирани по времето, когато са били компилирани (старите) данни за обучение.

Генеративният аспект на AESim се съсредоточава върху създаването на виртуален потребител чрез WGAN-GP, който извежда „фалшиви“ потребителски характеристики и характеристики на заявката и след това се опитва да различи тези фалшиви данни от истински потребителски данни, предоставени от живите мрежи, до които AESim има достъп .

Облачно представяне на фалшиви и реални потребители в типична симулация на индустриална търсачка.

Тестване

Изследователите тестваха AESim чрез внедряване на a по двойки, по точки намлява ListMLE екземпляр в системата, всеки от които трябваше да обслужва непресичащ се случаен отрязък от заявки за търсене в контекста на алгоритъм за повторно класиране.

В този момент AESim е предизвикан от бързо променящите се и разнообразни данни на живо по същия начин, по който вероятно ще бъде новият езиков модел на Facebook. Следователно резултатите са разгледани в светлината на цялостното представяне.

Тестван в продължение на десет дни, AESim демонстрира забележителна последователност в три модела, въпреки че изследователите отбелязват, че допълнителен тест на езиковия модел на контекста на документа (DLCM) модул се представи зле в офлайн среда, но много добре в среда на живо и признава, че системата ще демонстрира пропуски спрямо своите живи колеги, в зависимост от конфигурацията и моделите, които се тестват.