Alibaba, Canlı Verileri Kullanan Arama Motoru Simülasyonu Yapay Zekası Geliştiriyor

Alibaba, Çin'deki akademik araştırmacılarla iş birliği yaparak, e-ticaret devinin canlı altyapısından elde edilen gerçek dünya verilerini kullanarak, 'geçmişe ait' veya güncel olmayan bilgilerden etkilenmeyen yeni sıralama modelleri geliştiren bir arama motoru simülasyon yapay zekası geliştirdi.

denilen motor AESim, yalnızca modelin eğitildiği sırada mevcut olan verileri soyutlamak yerine, yapay zeka sistemlerinin canlı ve güncel verileri değerlendirip birleştirebilmesi ihtiyacını kabul eden bir hafta içindeki ikinci büyük duyuruyu temsil ediyor. Önceki duyuru, geçen hafta Facebook'tandı. açıkladı BlenderBot 2.0 dil modeli, sorgulara yanıt olarak internet arama sonuçlarının canlı olarak yoklanmasını sağlayan bir NLP arabirimi.

AESim projesinin amacı, yeni Learning-To-Rank'ın geliştirilmesi için deneysel bir ortam sağlamaktır (LTR) ticari bilgi erişim sistemlerinde çözümler, algoritmalar ve modeller. Araştırmacılar, çerçeveyi test ederken, yararlı ve eyleme geçirilebilir parametreler dahilinde çevrimiçi performansı doğru bir şekilde yansıttığını keşfettiler.

Nanjing Üniversitesi'nden ve Alibaba'nın araştırma bölümünden dört temsilcinin de aralarında bulunduğu makalenin yazarları, LTR simülasyonlarına yönelik yeni bir yaklaşımın iki nedenden dolayı gerekli olduğunu ileri sürüyor: Derin öğrenmede yakın zamanda yapılan benzer girişimlerin, dikkat çeken algoritmalarla birlikte tekrarlanabilir teknikler oluşturmada başarısız olması. tercüme edememek uygulanabilir gerçek dünya sistemlerine; ve sistemlerin başlangıçta daha etkili olduğu durumlarda yeni verilere karşı eğitim verilerinin performansı açısından aktarılabilirlik eksikliği.

Canlı gidiyor

Makale, AESim'in canlı ve mevcut kullanıcıların ve etkinliklerin verilerine dayanan ilk e-ticaret simülasyon platformu olduğunu ve canlı verilerin tek taraflı kullanımıyla çevrimiçi performansı doğru bir şekilde yansıtabileceğini ve daha sonraki araştırmacılar için mavi gökyüzü eğitim oyun alanı sağladığını iddia ediyor. LTR metodolojilerini ve yeniliklerini değerlendirmek.

Model, endüstriyel arama motorları için tipik bir şemaya yeni bir bakış açısı getiriyor: İlk aşama, kullanıcının sorgusuyla ilgili öğelerin alınmasıdır. Bu öğeler başlangıçta kullanıcıya sunulmaz, bunun yerine ağırlıklı bir LTR modeline göre sıralanır. Ardından, sıralanan sonuçlar, şirketin sonuçları sunma hedeflerini (reklam ve çeşitlilik faktörlerini de içerebilen hedefler) dikkate alan bir filtreden geçirilir.

AESim Mimarisi

AESim'de sorgular, kategori dizinleriyle değiştirilir ve sistemin, öğeleri son listeyi oluşturan özelleştirilebilir bir yeniden sıralayıcıya geçirmeden önce bir kategori dizininden almasına olanak tanır. Çerçeve, araştırmacıların birden çok modelde ortak sıralamanın etkilerini incelemesine izin verse de, bu yön gelecekteki çalışmalara bırakılıyor ve mevcut uygulama otomatik olarak tek bir modele dayalı ideal değerlendirmeyi arıyor.

AESim mimarisi. Kaynak: https://arxiv.org/pdf/2107.07693.pdf

AESim, 'sanal kullanıcıyı' ve sorgularını kapsülleyen yerleştirmeler (makine öğrenimi mimarisinde sanal temsiller) oluşturur ve Gradyan Cezası ile Wasserstein Üretken Çelişkili Ağını kullanır (WGAN GP) yaklaşmak.

Mimari, kategoriye göre sıralanmış milyonlarca kullanılabilir öğeden oluşan bir veritabanı, özelleştirilebilir bir sıralama sistemi, bir geri bildirim modülü ve GAN tabanlı bileşenler tarafından oluşturulan sentetik veri kümelerinden oluşur. Geri bildirim modülü, bir sıralama modelinin en son yinelemesinin performansını değerlendirebilen iş akışındaki son aşamadır.

Üretken Çekişmeli Taklit Öğrenme

'Sanal Kullanıcı Modülü'nün karar mantığını modellemek için, nihai sonuçları sağlayan geri bildirim modülü, Üretken Çelişkili Taklit Öğrenmesi (GAİL), ilk olarak 2016 yılında Stanford araştırmacıları tarafından önerilen bir teori. GAIL, bir sistemin bir sistem geliştirmesine izin veren modelden bağımsız bir paradigmadır. politika aracılığıyla doğrudan verilerden taklit öğrenme.

AESim tarafından geliştirilen eğitim setleri, benzer sistemler için önceki denetimli öğrenme modellerinde kullanılan statik, tarihsel veri setleriyle temelde aynıdır. AESim ile arasındaki fark, geri bildirim için statik bir veri kümesine bağlı olmaması ve (eski) eğitim verilerinin derlendiği sırada oluşturulan öğe siparişleri tarafından engellenmemesidir.

AESim'in üretken yönü, WGAN-GP aracılığıyla sanal bir kullanıcı oluşturulmasına odaklanır; bu kullanıcı, 'sahte' kullanıcı ve sorgu özelliklerini çıkarır ve daha sonra bu sahte verileri, AESim'in erişebildiği canlı ağlar tarafından sağlanan gerçek kullanıcı verilerinden ayırt etmeye çalışır.

Tipik bir endüstriyel arama motoru simülasyonunda sahte ve gerçek kullanıcıların bulut temsili.

Test yapmak

Araştırmacılar AESim'i test ettiler. ikili, noktasal ve ListeMLE her biri bir yeniden sıralama algoritması bağlamında kesişmeyen rastgele bir arama sorgusu dilimine hizmet etmek zorundaydı.

Bu noktada AESim, Facebook'un yeni dil modelinin de muhtemelen karşılaşacağı gibi, hızla değişen ve çeşitlenen canlı verilerle karşı karşıyadır. Bu nedenle, sonuçlar genel performans ışığında değerlendirilmiştir.

On gün boyunca test edilen AESim, üç modelde dikkate değer bir tutarlılık gösterdi, ancak araştırmacılar ek bir Belge Bağlam Dil Modeli testinin (DLCM) modülü çevrimdışı ortamda düşük performans gösterdi, ancak canlı ortamda çok iyi performans gösterdi ve test edilen yapılandırma ve modellere bağlı olarak sistemin canlı muadilleriyle boşluklar göstereceğini kabul etti.