Η Alibaba Αναπτύσσει Ένα Προσομοίωσης Μηχανής Αναζήτησης AI που Χρησιμοποιεί Ζωντανούς Δεδομένους

Σε συνεργασία με ακαδημαϊκούς ερευνητές στην Κίνα, η Alibaba έχει αναπτύξει ένα προσομοίωσης μηχανής αναζήτησης AI που χρησιμοποιεί πραγματικούς δεδομένους από την ζωντανή υποδομή της εταιρείας ηλεκτρονικού εμπορίου, προκειμένου να αναπτύξει νέα μοντέλα κατάταξης που δεν είναι περιορισμένα από “ιστορικές” ή παλαιές πληροφορίες.

Η μηχανή, που ονομάζεται AESim, αντιπροσωπεύει την δεύτερη σημαντική ανακοίνωση μέσα σε μια εβδομάδα που αναγνωρίζει την ανάγκη για τα συστήματα AI να είναι σε θέση να αξιολογούν και να ενσωματώνουν ζωντανούς και τρέχοντες δεδομένους, αντί να αφηρηθούν μόνο τα δεδομένα που ήταν διαθέσιμα την εποχή που το μοντέλο εκπαιδεύτηκε. Η προηγούμενη ανακοίνωση ήταν από το Facebook, το οποίο την περασμένη εβδομάδα παρουσίασε το BlenderBot 2.0, ένα μοντέλο γλώσσας που διαθέτει ζωντανή δημοσκόπηση των αποτελεσμάτων αναζήτησης στο διαδίκτυο σε απάντηση ερωτημάτων.

Ο στόχος του έργου AESim είναι να παρέχει ένα πειραματικό περιβάλλον για την ανάπτυξη νέων λύσεων, αλγορίθμων και μοντέλων για την κατάταξη μάθησης (LTR) σε εμπορικά συστήματα ανάκτησης πληροφοριών. Κατά τη δοκιμή του πλαισίου, οι ερευνητές βρήκαν ότι αντανακλούσε με ακρίβεια την απόδοση στο διαδίκτυο μέσα σε χρήσιμα και ενεργά παραμέτρους.

Οι συγγραφείς του εγγράφου, συμπεριλαμβανομένων τεσσάρων εκπροσώπων από το Πανεπιστήμιο του Ναντζίνγκ και από το τμήμα έρευνας της Alibaba, υποστηρίζουν ότι μια νέα προσέγγιση για τις προσομοιώσεις LTR ήταν απαραίτητη για δύο λόγους: την αποτυχία πρόσφατων παρόμοιων πρωτοβουλιών στο βαθύ μάθημα να δημιουργήσουν αναπαραγώγιμες τεχνικές, με μια σειρά από αλγόριθμους που απέτυχαν να μεταφραστούν σε εφαρμόσιμα συστήματα του πραγματικού κόσμου, και την έλλειψη μεταφερσιμότητας, όσον αφορά την απόδοση των δεδομένων εκπαίδευσης έναντι νέων δεδομένων σε περιπτώσεις όπου τα συστήματα ήταν αρχικά πιο αποτελεσματικά.

Ζωντανούς

Το έγγραφο ισχυρίζεται ότι το AESim είναι η πρώτη πλατφόρμα προσομοίωσης ηλεκτρονικού εμπορίου που βασίζεται σε δεδομένα ζωντανών και τρεχόντων χρηστών και δραστηριοτήτων, και ότι μπορεί να αντανακλούσει με ακρίβεια την απόδοση στο διαδίκτυο με τη μονομερή χρήση ζωντανών δεδομένων, παρέχοντας ένα ιδανικό περιβάλλον εκπαίδευσης για μελλοντικούς ερευνητές να αξιολογούν μεθόδους και καινοτομίες LTR.

Το μοντέλο ενσωματώνει μια νέα προσέγγιση για ένα τυπικό σχήμα για βιομηχανικές μηχανές αναζήτησης: το πρώτο στάδιο είναι η ανάκτηση των στοιχείων που σχετίζονται με την ερώτηση του χρήστη, τα οποία δεν παρουσιάζονται αρχικά στο χρήστη, αλλά πρώτα ταξινομούνται από ένα σταθμισμένο μοντέλο LTR. Στη συνέχεια, τα ταξινομημένα αποτελέσματα περνάνε από ένα φίλτρο που λαμβάνει υπόψη τους στόχους της εταιρείας στην παροχή των αποτελεσμάτων – στόχους που μπορεί να περιλαμβάνουν διαφημιστικούς και παράγοντες ποικιλίας.

Αρχιτεκτονική του AESim

Στο AESim, οι ερωτήσεις αντικαθίστανται με δείκτες κατηγοριών, επιτρέποντας στο σύστημα να ανακτήσει στοιχεία από einen δείκτη κατηγορίας πριν τα περάσει σε einen προσαρμόσιμο επαναταξινομητή που παράγει τον τελικό κατάλογο. Αν και το πλαίσιο επιτρέπει στους ερευνητές να μελετήσουν τις επιπτώσεις της συνδυασμένης κατάταξης σε πολλαπλά μοντέλα, αυτό το σημείο αφήνεται για μελλοντική εργασία, και η τρέχουσα υλοποίηση αναζητά αυτόματα την ιδανική αξιολόγηση με βάση ένα μοντέλο.

Η αρχιτεκτονική του AESim. Πηγή: https://arxiv.org/pdf/2107.07693.pdf

Το AESim δημιουργεί ενσωματώσεις (εικονικές αναπαραστάσεις στην αρχιτεκτονική του μηχανικού μάθησης) που περικλείουν τον “εικονικό χρήστη” και την ερώτησή του, και χρησιμοποιεί μια προσέγγιση Wasserstein Generative Adversarial Network με Penalty (WGAN-GP).

Η αρχιτεκτονική αποτελείται από μια βάση δεδομένων εκατομμυρίων διαθέσιμων στοιχείων ταξινομημένων ανά κατηγορία, ένα προσαρμόσιμο σύστημα κατάταξης, ένα模块 ανατροφοδότησης και συνθετικά σύνολα δεδομένων που παράγονται από τα συνιστώμενα GAN. Το模块 ανατροφοδότησης είναι το τελικό στάδιο στη ροή εργασίας,能够 να αξιολογεί την απόδοση της τελευταίας ιεραρχίας ενός μοντέλου κατάταξης.

Γενετική Ανταγωνιστική Μίμηση Μάθησης

Για να μοντελοποιήσει τη λογική απόφασης του “Εικονικού Χρήστη”, το模块 ανατροφοδότησης (που παρέχει τα τελικά αποτελέσματα) εκπαιδεύεται μέσω Γενετικής Ανταγωνιστικής Μίμησης Μάθησης (GAIL), μια θεωρία που προτάθηκε για πρώτη φορά από ερευνητές του Stanford το 2016. Η GAIL είναι ένα μοντέλο-ελεύθερο παράδειγμα που επιτρέπει σε ένα σύστημα να αναπτύξει μια πολιτική απευθείας από δεδομένα μέσω μίμησης μάθησης.

Τα σύνολα δεδομένων που αναπτύσσονται από το AESim είναι ουσιαστικά τα ίδια με τα στατικά, ιστορικά σύνολα δεδομένων που χρησιμοποιούνται σε προηγούμενα μοντέλα εκπαίδευσης για παρόμοια συστήματα. Η διαφορά με το AESim είναι ότι δεν εξαρτάται από ένα στατικό σύνολο δεδομένων για ανατροφοδότηση, και δεν είναι περιορισμένο από τις σειρές στοιχείων που παράχθηκαν την εποχή που (παλιά) δεδομένα εκπαίδευσης συλλέχθηκαν.

Η γενετική πλευρά του AESim επικεντρώνεται στη δημιουργία eines εικονικού χρήστη μέσω WGAN-GP, το οποίο εξόδους “ψευδή” χαρακτηριστικά χρήστη και ερωτήματος, και στη συνέχεια προσπαθεί να διακρίνει αυτά τα ψευδή δεδομένα από πραγματικά δεδομένα χρηστών που παρέχονται από τις ζωντανές δικτυακές τοποθεσίες στις οποίες το AESim έχει πρόσβαση.

Μια νεφελώδης αναπαράσταση ψευδών και πραγματικών χρηστών σε μια τυπική βιομηχανική προσομοίωση αναζήτησης.

Δοκιμή

Οι ερευνητές δοκιμάζουν το AESim αναπτύσσοντας ένα ζευγαρωτό, σημειακό και ListMLE παρουσίαση στο σύστημα, κάθε一个 από τα οποία έπρεπε να εξυπηρετήσει μια μη-διασταυρούμενη τυχαία τομή ερωτημάτων αναζήτησης στο контекστό ενός αλγορίθμου επαναταξινομητή.

Σε αυτό το σημείο, το AESim αντιμετωπίζει τα γρήγορα μεταβαλλόμενα και διαφορετικά ζωντανά δεδομένα με τον ίδιο τρόπο που το νέο μοντέλο γλώσσας του Facebook είναι πιθανό να αντιμετωπίσει. Ως εκ τούτου, τα αποτελέσματα έχουν εξεταστεί υπό το πρίσμα της συνολικής απόδοσης.

Δοκιμασμένο για δέκα ημέρες, το AESim έδειξε εξαιρετική σταθερότητα σε τρία μοντέλα, αν και οι ερευνητές σημείωσαν ότι μια πρόσθετη δοκιμή ενός μοντέλου περιεχομένου εγγράφου (DLCM) παρουσίασε κακή απόδοση στο离 線 περιβάλλον, αλλά πολύ καλή απόδοση στο ζωντανό περιβάλλον, και παραδέχονται ότι το σύστημα θα παρουσιάσει κενά με τους ζωντανούς ομόλογούς του, ανάλογα με τη ρύθμιση και τα μοντέλα που δοκιμάζονται.