Alibaba Mengembangkan Simulasi Mesin Pencari AI yang Menggunakan Data Langsung

Dalam kolaborasi dengan peneliti akademis di Tiongkok, Alibaba telah mengembangkan simulasi mesin pencari AI yang menggunakan data dunia nyata dari infrastruktur langsung e-commerce raksasa tersebut untuk mengembangkan model peringkat baru yang tidak terhambat oleh informasi ‘historis’ atau ketinggalan zaman.

Mesin ini, disebut AESim, mewakili pengumuman besar kedua dalam seminggu untuk mengakui kebutuhan sistem AI untuk dapat mengevaluasi dan mengintegrasikan data langsung dan terkini, bukan hanya mengabstraksikan data yang tersedia pada saat model dilatih. Pengumuman sebelumnya datang dari Facebook, yang minggu lalu memperkenalkan BlenderBot 2.0, model bahasa yang menampilkan polling langsung hasil pencarian internet dalam menanggapi pertanyaan.

Tujuan proyek AESim adalah untuk menyediakan lingkungan eksperimental untuk pengembangan solusi, algoritma, dan model Learning-To-Rank (LTR) baru dalam sistem pencarian informasi komersial. Dalam pengujian kerangka kerja, para peneliti menemukan bahwa AESim secara akurat mencerminkan kinerja online dalam parameter yang berguna dan dapat diukur.

Para penulis makalah, termasuk empat perwakilan dari Universitas Nanjing dan divisi penelitian Alibaba, menyatakan bahwa pendekatan baru terhadap simulasi LTR diperlukan karena dua alasan: kegagalan inisiatif serupa baru-baru ini dalam pembelajaran mendalam untuk menciptakan teknik yang dapat direproduksi, dengan sejumlah algoritma gagal diterjemahkan ke dalam sistem dunia nyata; dan kurangnya transferabilitas, dalam hal kinerja data pelatihan versus data baru dalam kasus di mana sistem awalnya lebih efektif.

Meluncurkan

Makalah tersebut menyatakan bahwa AESim adalah platform simulasi e-commerce pertama yang didasarkan pada data pengguna dan aktivitas langsung, dan bahwa AESim dapat secara akurat mencerminkan kinerja online dengan menggunakan data langsung, menyediakan lingkungan pelatihan yang ideal bagi peneliti untuk mengevaluasi metodologi dan inovasi LTR.

Model ini mengintegrasikan skema baru untuk mesin pencari industri: tahap pertama adalah pengambilan item terkait dengan pertanyaan pengguna, yang tidak langsung disajikan kepada pengguna, tetapi pertama-tama diurutkan oleh model LTR terweight. Kemudian hasil yang diurutkan dilewatkan melalui filter yang mempertimbangkan tujuan perusahaan dalam menyediakan hasil – tujuan yang mungkin termasuk faktor iklan dan keberagaman.

Arsitektur AESim

Dalam AESim, pertanyaan digantikan dengan indeks kategori, memungkinkan sistem untuk mengambil item dari indeks kategori sebelum melewatkan item tersebut ke re-ranker yang dapat disesuaikan yang menghasilkan daftar akhir. Meskipun kerangka kerja memungkinkan peneliti untuk mempelajari efek peringkat bersama di seluruh model, aspek ini ditinggalkan untuk pekerjaan di masa depan, dan implementasi saat ini secara otomatis mencari evaluasi ideal berdasarkan model tunggal.

Arsitektur AESim. Sumber: https://arxiv.org/pdf/2107.07693.pdf

AESim membuat embeddings (representasi virtual dalam arsitektur pembelajaran mesin) yang mengandung ‘pengguna virtual’ dan pertanyaannya, dan menggunakan pendekatan Jaringan Generatif Adversarial Wasserstein dengan Penalty Gradien (WGAN-GP).

Arsitektur ini terdiri dari database jutaan item yang tersedia yang diurutkan berdasarkan kategori, sistem peringkat yang dapat disesuaikan, modul umpan balik, dan dataset sintetis yang dihasilkan oleh komponen berbasis GAN. Modul umpan balik adalah tahap akhir dalam alur kerja, yang dapat mengevaluasi kinerja iterasi terbaru dari model peringkat.

Pembelajaran Imitasi Adversarial Generatif

Untuk memodelkan logika keputusan ‘Modul Pengguna Virtual’, modul umpan balik (yang menyediakan hasil akhir) dilatih melalui Pembelajaran Imitasi Adversarial Generatif (GAIL), teori yang pertama kali diajukan oleh peneliti Stanford pada tahun 2016. GAIL adalah paradigma bebas model yang memungkinkan sistem untuk mengembangkan kebijakan langsung dari data melalui pembelajaran imitasi.

Set pelatihan yang dikembangkan oleh AESim pada dasarnya sama dengan dataset statis, historis yang digunakan dalam model pembelajaran terawasi sebelumnya untuk sistem serupa. Perbedaan dengan AESim adalah bahwa AESim tidak bergantung pada dataset statis untuk umpan balik, dan tidak terhambat oleh urutan item yang dihasilkan pada saat data pelatihan (lama) dikompilasi.

Aspek generatif dari AESim berfokus pada penciptaan pengguna virtual melalui WGAN-GP, yang menghasilkan karakteristik ‘palsu’ pengguna dan pertanyaan, dan kemudian mencoba untuk membedakan data palsu dari data pengguna asli yang disediakan oleh jaringan langsung yang AESim akses.

Representasi awan dari pengguna palsu dan asli dalam simulasi mesin pencari industri.

Pengujian

Para peneliti menguji AESim dengan menggelar pair-wise, point-wise dan ListMLE ke dalam sistem, masing-masing harus melayani irisan acak non-interseksi dari pertanyaan pencarian dalam konteks algoritma re-ranker.

Pada titik ini AESim dihadapkan pada data langsung yang berubah cepat dan beragam, sama seperti model bahasa baru Facebook yang kemungkinan akan dihadapkan. Oleh karena itu, hasilnya telah dipertimbangkan dalam cahaya kinerja keseluruhan.

Diuji selama sepuluh hari, AESim menunjukkan konsistensi luar biasa di seluruh tiga model, meskipun para peneliti mencatat bahwa pengujian tambahan terhadap modul Model Bahasa Konteks Dokumen (DLCM) performa buruk dalam lingkungan offline, tetapi sangat baik dalam lingkungan langsung, dan mengakui bahwa sistem akan menunjukkan celah dengan rekan langsungnya, tergantung pada konfigurasi dan model yang diuji.