Alibaba Разработала Симуляцию Поискового Движка с ИИ, Использующего Реальные Данные

В сотрудничестве с академическими исследователями в Китае, Alibaba разработала симуляцию поискового движка с ИИ, использующего реальные данные из инфраструктуры электронной коммерции, чтобы разработать новые модели ранжирования, не ограниченные устаревшей информацией.

Движок, называемый AESim, представляет собой второе значительное объявление за неделю, признавая необходимость для систем ИИ оценивать и включать реальные и актуальные данные, вместо того, чтобы абстрагировать данные, доступные на момент обучения модели. Ранее объявление было сделано Facebook, который на прошлой неделе представил языковую модель BlenderBot 2.0, интерфейс NLP, который включает реальное опросное интернет-исследование в ответ на запросы.

Цель проекта AESim – предоставить экспериментальную среду для разработки новых решений, алгоритмов и моделей обучения для ранжирования в коммерческих системах информационного поиска. При тестировании框架, исследователи обнаружили, что он точно отражает онлайн-производительность в полезных и действенных параметрах.

Авторы статьи, включая четырех представителей из Университета Нанкина и исследовательского отдела Alibaba, утверждают, что новый подход к симуляциям LTR был необходим по двум причинам: неудача недавних подобных инициатив в глубоком обучении для создания воспроизводимых методов, когда серия алгоритмов, привлекающих внимание, не смогла перевести в применимые реальные системы; и отсутствие переносимости, в плане производительности обучающих данных и новых данных в случаях, когда системы были изначально более эффективными.

Запуск в Продакшн

Статья утверждает, что AESim – это первая симуляционная платформа электронной коммерции, основанная на данных реальных и текущих пользователей и активности, и что она может точно отражать онлайн-производительность, используя одностороннее использование реальных данных, предоставляя идеальную тренировочную площадку для последующих исследователей, чтобы оценить методологии и инновации LTR.

Модель включает в себя новый подход к типичной схеме для промышленных поисковых систем: первый этап – извлечение элементов, связанных с запросом пользователя, которые не изначально представлены пользователю, а сначала сортируются по взвешенной модели LTR. Затем отсортированные результаты передаются через фильтр, учитывающий цели компании при предоставлении результатов – цели, которые могут включать рекламу и факторы разнообразия.

Архитектура AESim

В AESim запросы заменяются индексами категорий, позволяя системе извлекать элементы из категориального индекса перед передачей их настраиваемому ре-ранкеру, который производит окончательный список. Хотя框架 позволяет исследователям изучать эффекты совместного ранжирования по нескольким моделям, этот аспект оставлен для будущей работы, и текущая реализация автоматически ищет идеальную оценку на основе одной модели.

Архитектура AESim. Источник: https://arxiv.org/pdf/2107.07693.pdf

AESim создает вложения (виртуальные представления в архитектуре машинного обучения), которые включают в себя ‘виртуального пользователя’ и его запрос, и использует подход сети WGAN-GP.

Архитектура состоит из базы данных миллионов доступных элементов, отсортированных по категориям, настраиваемой системы ранжирования, модуля обратной связи и синтетических наборов данных, сгенерированных компонентами GAN. Модуль обратной связи – это последний этап в рабочем процессе, способный оценивать производительность последней итерации модели ранжирования.

Генеративное Противостояние Имитационного Обучения

Чтобы смоделировать логические решения ‘Виртуального Модуля Пользователя’, модуль обратной связи (который предоставляет окончательные результаты) обучается через Генеративное Противостояние Имитационного Обучения (GAIL), теория, впервые предложенная исследователями Стэнфордского университета в 2016 году. GAIL – это парадигма, свободная от модели, которая позволяет системе разработать политику直接 из данных через имитационное обучение.

Тренировочные наборы, разработанные AESim, по сути являются такими же, как статические, исторические наборы данных, используемые в предыдущих моделях обучения с учителем для подобных систем. Разница с AESim заключается в том, что она не зависит от статического набора данных для обратной связи и не ограничена порядком элементов, сгенерированных на момент составления (старых) тренировочных данных.

Генеративный аспект AESim заключается в создании виртуального пользователя через WGAN-GP, который выводит ‘фальшивые’ характеристики пользователя и запроса, а затем пытается различить это фальшивое данные от реальных пользовательских данных, предоставленных живыми сетями, к которым AESim имеет доступ.

Облачное представление фальшивых и реальных пользователей в типичной симуляции промышленного поискового движка.

Тестирование

Исследователи протестировали AESim, развернув парное, точечное и ListMLE экземпляр в систему, каждый из которых должен был обслуживать не пересекающийся случайный срез поисковых запросов в контексте алгоритма ре-ранкера.

На этом этапе AESim сталкивается с быстро меняющимися и разнообразными живыми данными, подобно тому, как новая языковая модель Facebook, вероятно, столкнется. Следовательно, результаты были рассмотрены в свете общей производительности.

Тестирование AESim в течение десяти дней показало замечательную последовательность по трем моделям, хотя исследователи отметили, что дополнительное тестирование модуля Document Context Language Model (DLCM) показало плохие результаты в офлайн-окружении, но очень хорошие результаты в живом окружении, и признают, что система будет демонстрировать пробелы с живыми аналогами, в зависимости от конфигурации и моделей, которые тестируются.