Alibaba Разрабатывает Симуляцию Поискового Движка ИИ, Использующую Реальные Данные

В сотрудничестве с академическими исследователями в Китае, Alibaba разработала симуляцию поискового движка ИИ, использующую реальные данные из живой инфраструктуры электронной коммерции, чтобы разработать новые модели ранжирования, не ограниченные «историческими» или устаревшими данными.

Движок, называемый AESim, представляет собой второе значительное объявление за неделю, подтверждающее необходимость для систем ИИ возможность оценивать и включать реальные и актуальные данные, вместо того, чтобы просто абстрагировать данные, доступные на момент обучения модели. Ранее объявление было сделано Facebook, который на прошлой неделе представил BlenderBot 2.0, языковую модель, оснащенную возможностью живой опрос интернет-результатов поиска в ответ на запросы.

Цель проекта AESim – предоставить экспериментальную среду для разработки новых решений, алгоритмов и моделей обучения для ранжирования (LTR) в коммерческих системах информационного поиска. При тестировании框架а исследователи обнаружили, что он точно отражает онлайн-производительность в полезных и действенных параметрах.

Авторы статьи, включая четырех представителей из Нанкинского университета и четырех представителей из исследовательского отдела Alibaba, утверждают, что новый подход к симуляциям LTR был необходим по двум причинам: неудаче недавних подобных инициатив в глубоком обучении создать воспроизводимые методы, с рядом алгоритмов, привлекающих внимание, не переводящихся в применимые реальные системы; и отсутствием переносимости, в плане производительности обучающих данных и новых данных в случаях, когда системы были изначально более эффективными.

Переход к Реальным Данным

Статья утверждает, что AESim – это первая платформа симуляции электронной коммерции, основанная на данных реальных и текущих пользователей и активности, и что она может точно отражать онлайн-производительность, используя одностороннее использование реальных данных, предоставляя перспективную тренировочную площадку для последующих исследователей, чтобы оценить методологии и инновации LTR.

Модель включает новый подход к типичной схеме для промышленных поисковых систем: на первой стадии происходит извлечение элементов, связанных с запросом пользователя, которые изначально не представляются пользователю, а сначала сортируются взвешенной моделью LTR. Затем отсортированные результаты передаются через фильтр, учитывающий цели компании при предоставлении результатов – цели, которые могут включать рекламу и факторы разнообразия.

Архитектура AESim

В AESim запросы заменяются индексами категорий, позволяя системе извлекать элементы из категориального индекса, прежде чем передать их настраиваемому повторному ранжиру, производящему окончательный список. Хотя框架 позволяет исследователям изучать эффекты совместного ранжирования по нескольким моделям, этот аспект оставляется для будущей работы, и текущая реализация автоматически ищет идеальную оценку на основе одной модели.

Архитектура AESim. Source: https://arxiv.org/pdf/2107.07693.pdf

AESim создает вложения (виртуальные представления в архитектуре машинного обучения), которые включают «виртуального пользователя» и его запрос, и использует подход Wasserstein Generative Adversarial Network с штрафом градиента (WGAN-GP).

Архитектура состоит из базы данных миллионов доступных элементов, отсортированных по категориям, настраиваемой системы ранжирования, модуля обратной связи и синтетических наборов данных, сгенерированных компонентами на основе GAN. Модуль обратной связи – это последняя стадия в рабочем процессе, способная оценивать производительность последней итерации модели ранжирования.

Генеративное Противостояние Имитационного Обучения

Чтобы смоделировать логические решения «Виртуального Пользовательского Модуля», модуль обратной связи (который предоставляет окончательные результаты) обучается через Генеративное Противостояние Имитационного Обучения (GAIL), теорию, впервые предложенную исследователями Стэнфордского университета в 2016 году. GAIL – это парадигма без модели, позволяющая системе разработать политику непосредственно из данных через имитационное обучение.

Наборы данных, разработанные AESim, по сути являются такими же, как статические, исторические наборы данных, используемые в предыдущих моделях обучения с учителем для подобных систем. Разница с AESim заключается в том, что он не полагается на статический набор данных для обратной связи и не ограничен порядком элементов, сгенерированных на момент компиляции старых обучающих данных.

Генеративный аспект AESim заключается в создании виртуального пользователя через WGAN-GP, который выводит «фальшивые» характеристики пользователя и запроса, и затем пытается различить это фальшивое данные от настоящих пользовательских данных, поставляемых живыми сетями, к которым имеет доступ AESim.

Облачное представление фальшивых и реальных пользователей в типичной промышленной симуляции поискового движка.

Тестирование

Исследователи протестировали AESim, развернув парное, точечное и ListMLE экземпляр в систему, каждый из которых должен был обслуживать не пересекающийся случайный срез поисковых запросов в контексте алгоритма повторного ранжирования.

На этой стадии AESim сталкивается с быстро меняющимися и разнообразными живыми данными примерно так же, как новая языковая модель Facebook, скорее всего, столкнется. Следовательно, результаты были рассмотрены в свете общей производительности.

Протестированный в течение десяти дней, AESim продемонстрировал замечательную последовательность по трем моделям, хотя исследователи отметили, что дополнительное тестирование модуля Document Context Language Model (DLCM) показало плохие результаты в офлайн-окружении, но очень хорошо в живом окружении, и признают, что система будет демонстрировать пробелы с живыми аналогами, в зависимости от конфигурации и моделей, проходящих тестирование.