Alibaba розробила симуляцію пошукової системи AI, яка використовує дані з живої інфраструктури

У співпраці з академічними дослідниками в Китаї, Alibaba розробила симуляцію пошукової системи AI, яка використовує дані з живої інфраструктури електронної комерції, щоб розробити нові моделі ранжування, які не обмежені «історичними» або застарілими даними.

Цей двигун, названий AESim, представляє другий великий оголошення за тиждень, яке визнає необхідність систем AI能够 оцінювати та включати живі та поточні дані, а не просто абстрагувати дані, які були доступні на момент навчання моделі. Попереднє оголошення було зроблено Facebook, який на минулому тижні представив мовну модель BlenderBot 2.0, інтерфейс NLP, який включає живе опитування результатів інтернет-пошуку у відповідь на запити.

Мета проекту AESim полягає в тому, щоб надати експериментальне середовище для розробки нових рішень, алгоритмів та моделей навчання для ранжування (LTR) у комерційних системах пошуку інформації. Під час тестування框架, дослідники виявили, що він точно відображає онлайн-виступи в корисних та дієвих параметрах.

Автори статті, серед яких чотири представники з Нанкінського університету та дослідницького відділу Alibaba, стверджують, що новий підхід до симуляцій LTR був необхідний з двох причин: невдача недавніх подібних ініціатив у глибокому навчанні для створення повторюваних технік, з рядом алгоритмів, які не перекладалися у застосовні реальні системи; та відсутність переносимості щодо продуктивності навчальних даних порівняно з новими даними в випадках, коли системи спочатку були більш ефективними.

Від/live

У статті стверджується, що AESim є першою платформою симуляції електронної комерції, заснованої на даних живих та поточних користувачів та діяльності, і що вона може точно відображати онлайн-виступи шляхом унілатерального використання живих даних, забезпечуючи «блакитне небо» тренувальне середовище для пізніших дослідників для оцінки методологій та інновацій LTR.

Модель включає новий підхід до типової схеми промислових пошукових систем: перша стадія полягає у відновленні елементів, пов’язаних із запитом користувача, які спочатку не представлені користувачеві, а скоріше вперше сортовані за ваговим моделем LTR. Потім відсортовані результати передаються через фільтр, який розглядає цілі компанії при подачі результатів – цілі, які можуть включати рекламні та фактори різноманітності.

Архітектура AESim

У AESim запити замінені індексами категорій, що дозволяє системі відновлювати елементи з індексу категорій перед тим, як передати їх до налаштовуваного повторного ранжувальника, який видає кінцевий список. Хоча框架 дозволяє дослідникам вивчати ефекти спільного ранжування за декілька моделей, цей аспект залишається для майбутньої роботи, а поточна реалізація автоматично шукає ідеальну оцінку на основі однієї моделі.

Архітектура AESim. Джерело: https://arxiv.org/pdf/2107.07693.pdf

AESim створює вкладення (віртуальні представлення в архітектурі машинного навчання), які охоплюють «віртуального користувача» та його запит, і використовує підхід Wasserstein Generative Adversarial Network з штрафом градієнта (WGAN-GP).

Архітектура складається з бази даних мільйонів доступних елементів, відсортованих за категоріями, налаштовуваної системи ранжування, модулю зворотного зв’язку та синтетичних наборів даних, згенерованих компонентами GAN. Модуль зворотного зв’язку є кінцевою стадією робочого процесу, здатною оцінювати продуктивність останньої ітерації моделі ранжування.

Генеративне суперницьке навчання за імітацією

Для моделювання логіки рішення «Віртуального модулю користувача» модуль зворотного зв’язку (який надає кінцеві результати) тренується за допомогою генеративного суперницького навчання за імітацією (GAIL), теорії, вперше запропонованої дослідниками Стенфордського університету у 2016 році. GAIL є моделлю без моделі, яка дозволяє системі розвивати політику безпосередньо з даних через навчання за імітацією.

Набори тренування, розроблені AESim, є суттєво такими ж, як статичні історичні набори даних, використані в попередніх моделях супервізованного навчання для подібних систем. Відмінність AESim полягає в тому, що він не залежить від статичного набору даних для зворотного зв’язку та не обмежений порядком елементів, який був згенерований на момент складання (старих) тренувальних даних.

Генеративний аспект AESim полягає у створенні віртуального користувача за допомогою WGAN-GP, який видає «фальшиві» характеристики користувача та запиту, а потім намагається розрізнити цю фальшиву інформацію від справжньої інформації користувача, наданої живими мережами, до яких AESim має доступ.

Хмарне представлення фальшивих та справжніх користувачів у типовій промисловій симуляції пошуку.

Тестування

Дослідники протестували AESim, розгорнувши парне, точкове та ListMLE екземпляр у системі, кожен з яких мав обслуговувати не-перетинний випадковий сегмент пошукових запитів у контексті алгоритму повторного ранжування.

На цьому етапі AESim стикається з швидко змінюваними та різноманітними живими даними так само, як і нова мова моделі Facebook. Тому результати були розглянуті в контексті загальної продуктивності.

Тестування тривало десять днів, під час яких AESim продемонстрував вражаючу стабільність по трьох моделям, хоча дослідники зауважили, що додаткове тестування модуля Document Context Language Model (DLCM) виконувалося погано в офлайн-оточенні, але дуже добре в живому оточенні, і визнають, що система буде демонструвати прогалини зі своїми живими аналогами, залежно від конфігурації та моделей, які тестуються.