Alibaba entwickelt Suchmaschinen-Simulations-KI, die Live-Daten verwendet

In Zusammenarbeit mit akademischen Forschern in China hat Alibaba eine Suchmaschinen-Simulations-KI entwickelt, die echte Welt-Daten aus dem Live-Infrastruktur des E-Commerce-Riesen verwendet, um neue Ranking-Modelle zu entwickeln, die nicht durch “historische” oder veraltete Informationen eingeschränkt sind.

Der Motor, genannt AESim, stellt die zweite große Ankündigung in einer Woche dar, die die Notwendigkeit von KI-Systemen unterstreicht, die in der Lage sind, Live- und aktuelle Daten auszuwerten und zu integrieren, anstatt nur abstrahierte Daten zu verwenden, die zum Zeitpunkt der Modellierung verfügbar waren. Die vorherige Ankündigung kam von Facebook, das letzte Woche vorstellte, den BlenderBot 2.0-Sprachmodell, eine NLP-Schnittstelle, die Live-Abfragen von Internet-Suchergebnissen in Bezug auf Abfragen ermöglicht.

Das Ziel des AESim-Projekts ist es, ein experimentelles Umfeld für die Entwicklung neuer Learning-To-Rank (LTR)-Lösungen, Algorithmen und Modelle in kommerziellen Informationsabrufsystemen bereitzustellen. Bei der Erprobung des Frameworks stellten die Forscher fest, dass es die Online-Leistung innerhalb nützlicher und handhabbarer Parameter genau widerspiegelt.

Die Autoren des Papiers, darunter vier Vertreter der Nanjing-Universität und der Forschungsabteilung von Alibaba, behaupten, dass ein neuer Ansatz für LTR-Simulationen notwendig war, aus zwei Gründen: dem Scheitern jüngerer ähnlicher Initiativen im Bereich des Deep Learning, reproduzierbare Techniken zu schaffen, wobei eine Reihe von Algorithmen versagt, sich in anwendbare reale Systeme umzusetzen; und dem Mangel an Übertragbarkeit, in Bezug auf die Leistung der Trainingsdaten im Vergleich zu neuen Daten in Fällen, in denen die Systeme anfangs effektiver waren.

Live

Das Papier behauptet, dass AESim die erste E-Commerce-Simulationsplattform ist, die auf den Daten von Live- und aktuellen Nutzern und Aktivitäten basiert, und dass es die Online-Leistung durch die einseitige Verwendung von Live-Daten genau widerspiegeln kann, wodurch ein blauer Himmel für spätere Forscher geschaffen wird, um LTR-Methoden und Innovationen zu bewerten.

Das Modell integriert einen neuen Ansatz für ein typisches Schema für industrielle Suchmaschinen: die erste Stufe ist die Abrufung von Artikeln, die mit der Abfrage des Nutzers zusammenhängen, die nicht initial dem Nutzer präsentiert werden, sondern zuerst von einem gewichteten LTR-Modell sortiert werden. Dann werden die sortierten Ergebnisse durch einen Filter geleitet, der die Ziele des Unternehmens bei der Bereitstellung der Ergebnisse berücksichtigt – Ziele, die Werbe- und Diversitätsfaktoren umfassen können.

Aufbau von AESim

In AESim werden die Abfragen durch Kategorie-Indizes ersetzt, wodurch das System Artikel aus einem Kategorie-Index abrufen kann, bevor sie an einen anpassbaren Re-Ranker weitergeleitet werden, der die endgültige Liste produziert. Obwohl das Framework es Forschern ermöglicht, die Auswirkungen der gemeinsamen Bewertung über mehrere Modelle hinweg zu untersuchen, wird dieser Aspekt für zukünftige Arbeiten zurückgestellt, und die aktuelle Implementierung sucht automatisch nach der idealen Bewertung auf der Grundlage eines einzelnen Modells.

Der Aufbau von AESim. Quelle: https://arxiv.org/pdf/2107.07693.pdf

AESim erstellt Einbettungen (virtuelle Repräsentationen in der Maschinenlern-Architektur), die den “virtuellen Nutzer” und seine Abfrage umfassen, und verwendet einen Wasserstein-Generative-Adversarial-Netzwerk-Ansatz mit Gradienten-Penalty (WGAN-GP).

Die Architektur umfasst eine Datenbank mit Millionen von verfügbaren Artikeln, die nach Kategorie sortiert sind, ein anpassbares Bewertungssystem, ein Feedback-Modul und synthetische Datensätze, die von den GAN-basierten Komponenten generiert werden. Das Feedback-Modul ist die letzte Stufe im Arbeitsablauf, die in der Lage ist, die Leistung der neuesten Iteration eines Bewertungsmodells zu bewerten.

Generative Adversarial Imitation Learning

Um die Entscheidungslogik des “Virtuellen Nutzer-Moduls” zu modellieren, wird das Feedback-Modul (das die endgültigen Ergebnisse liefert) durch Generative Adversarial Imitation Learning (GAIL) trainiert, einer Theorie, die 2016 von Stanford-Forschern vorgeschlagen wurde. GAIL ist ein modellfreies Paradigma, das es einem System ermöglicht, eine Richtlinie direkt aus Daten durch Imitationslernen zu entwickeln.

Die Trainingsdatensätze, die von AESim entwickelt werden, sind im Wesentlichen identisch mit statischen, historischen Datensätzen, die in vorherigen überwachten Lernmodellen für ähnliche Systeme verwendet wurden. Der Unterschied bei AESim besteht darin, dass es nicht auf einen statischen Datensatz für Feedback angewiesen ist und nicht durch die Artikelreihenfolge eingeschränkt ist, die zum Zeitpunkt der Erstellung der (alten) Trainingsdaten generiert wurde.

Der generative Aspekt von AESim konzentriert sich auf die Erstellung eines virtuellen Nutzers durch WGAN-GP, der “falsche” Nutzer- und Abfrage-Charakteristika ausgibt und dann versucht, diese falschen Daten von echten Nutzerdaten zu unterscheiden, die von den Live-Netzwerken bereitgestellt werden, auf die AESim zugreift.

Eine Wolken-Darstellung von falschen und echten Nutzern in einer typischen industriellen Suchmaschinen-Simulation.

Testen

Die Forscher testeten AESim, indem sie ein punktweises, paarweises und ListMLE-Exemplar in das System einführten, von denen jedes eine nicht überschneidende zufällige Teilmenge von Suchabfragen im Kontext eines Re-Ranker-Algorithmus bedienen musste.

Zu diesem Zeitpunkt wird AESim von den schnell ändernden und vielfältigen Live-Daten in ähnlicher Weise herausgefordert, wie Facebooks neues Sprachmodell wahrscheinlich herausgefordert wird. Daher wurden die Ergebnisse im Lichte der Gesamtleistung betrachtet.

Während zehn Tagen zeigte AESim bemerkenswerte Konsistenz über drei Modelle hinweg, obwohl die Forscher feststellten, dass ein zusätzlicher Test eines Document Context Language Model (DLCM)-Moduls in der Offline-Umgebung schlecht abschnitt, aber sehr gut in der Live-Umgebung, und einräumen, dass das System Lücken mit seinen Live-Gegenstücken aufweisen wird, abhängig von der Konfiguration und den getesteten Modellen.