Alibaba, 라이브 데이터를 사용하는 검색 엔진 시뮬레이션 AI 개발

알리바바는 중국의 학술 연구자들과 협력하여 전자상거래 거대 기업의 실시간 인프라에서 얻은 실제 데이터를 사용하여 '과거' 또는 오래된 정보에 얽매이지 않는 새로운 순위 모델을 개발하고자 검색 엔진 시뮬레이션 AI를 개발했습니다.

라고 불리는 엔진 애심는 AI 시스템이 모델이 훈련되었을 때 사용 가능한 데이터를 추상화하는 대신 라이브 및 현재 데이터를 평가하고 통합할 수 있어야 한다는 필요성을 인정하는 일주일에 두 번째 주요 발표를 나타냅니다. 이전 발표는 지난주 Facebook에서 발표한 것입니다. 공개 BlenderBot 2.0 언어 모델, 쿼리에 대한 응답으로 인터넷 검색 결과의 라이브 폴링을 특징으로 하는 NLP 인터페이스.

AESim 프로젝트의 목적은 새로운 Learning-To-Rank 개발을 위한 실험적 환경을 제공하는 것입니다.LTR) 상용 정보 검색 시스템의 솔루션, 알고리즘 및 모델. 연구원들은 프레임워크를 테스트하면서 유용하고 실행 가능한 매개변수 내에서 온라인 성능을 정확하게 반영한다는 사실을 발견했습니다.

난징 대학과 알리바바 연구 부서의 대표 4명을 포함한 이 논문의 저자들은 LTR 시뮬레이션에 대한 새로운 접근 방식이 두 가지 이유 때문에 필요하다고 주장합니다. 즉, 최근 딥 러닝에서 유사한 이니셔티브가 주목을 끌기 위한 알고리즘이 쏟아져 나오면서 재현 가능한 기술을 만드는 데 실패했기 때문입니다. 번역 실패 적용 가능한 실제 시스템으로; 시스템이 처음에 더 효과적인 경우 교육 데이터 대 새로운 데이터의 성능 측면에서 전송 가능성이 부족합니다.

가는 중

논문은 AESim이 라이브 및 현재 사용자 및 활동 데이터를 기반으로 한 최초의 전자 상거래 시뮬레이션 플랫폼이며 라이브 데이터를 일방적으로 사용하여 온라인 성능을 정확하게 반영할 수 있어 후배 연구원에게 푸른 하늘 훈련 놀이터를 제공한다고 주장합니다. LTR 방법론과 혁신을 평가합니다.

이 모델은 산업용 검색 엔진의 일반적인 스키마에 새로운 관점을 도입했습니다. 첫 번째 단계는 사용자 질의와 관련된 항목을 검색하는 것입니다. 이 항목들은 처음에 사용자에게 제시되는 것이 아니라 가중치가 적용된 LTR 모델에 따라 먼저 정렬됩니다. 정렬된 결과는 해당 결과를 제공하는 회사의 목표(광고 및 다양성 요소 포함)를 고려하는 필터를 거칩니다.

AESim의 아키텍처

AESim에서 쿼리는 범주 인덱스로 대체되어 시스템이 최종 목록을 생성하는 사용자 지정 가능한 재순위 지정자에 항목을 전달하기 전에 범주 인덱스에서 항목을 검색할 수 있습니다. 프레임워크를 통해 연구원은 여러 모델에 걸쳐 공동 순위의 영향을 연구할 수 있지만 이 측면은 향후 작업으로 남겨두고 현재 구현은 자동으로 단일 모델을 기반으로 이상적인 평가를 찾습니다.

AESim의 아키텍처. 출처 : https://arxiv.org/pdf/2107.07693.pdf

AESim은 '가상 사용자'와 해당 쿼리를 캡슐화하는 임베딩(기계 학습 아키텍처의 가상 표현)을 생성하고 그래디언트 페널티가 있는 Wasserstein 생성적 적대 네트워크(Gradient Penalty)를 활용합니다.WGAN-GP) 접근하다.

이 아키텍처는 범주별로 정렬된 수백만 개의 사용 가능한 항목 데이터베이스, 사용자 지정 가능한 순위 시스템, 피드백 모듈 및 GAN 기반 구성 요소에서 생성된 합성 데이터 세트로 구성됩니다. 피드백 모듈은 순위 모델의 최신 반복 성능을 평가할 수 있는 워크플로의 마지막 단계입니다.

생성적 적대적 모방 학습

'가상 사용자 모듈'의 의사결정 논리를 모델링하기 위해 최종 결과를 제공하는 피드백 모듈은 생성적 적대적 모방 학습(Generative Adversarial Imitation Learning,GAIL), 2016년 스탠포드 연구원들이 처음 제안한 이론. GAIL은 시스템이 정책 통해 데이터에서 직접 모방 학습.

AESim에서 개발한 교육 세트는 본질적으로 유사한 시스템에 대한 이전 지도 학습 모델에서 사용된 정적, 과거 데이터 세트와 동일합니다. AESim과의 차이점은 피드백을 위해 정적 데이터 세트에 의존하지 않고 (오래된) 교육 데이터가 컴파일될 때 생성된 항목 순서에 의해 방해받지 않는다는 것입니다.

AESim의 생성적 측면은 WGAN-GP를 통해 가상 사용자를 생성하는 데 중점을 두고 있으며, 이는 '가짜' 사용자 및 쿼리 특성을 출력한 다음 AESim이 액세스할 수 있는 라이브 네트워크에서 제공된 진짜 사용자 데이터와 이 가짜 데이터를 구별하려고 시도합니다.

일반적인 산업 검색 엔진 시뮬레이션에서 가짜 사용자와 실제 사용자를 클라우드로 표현한 것입니다.

지원

연구원들은 AESim을 배포하여 테스트했습니다. 쌍으로, 점으로 그리고 목록MLE 각 인스턴스는 리랭커 알고리즘의 맥락에서 교차하지 않는 임의의 검색 쿼리 조각을 제공해야 했습니다.

현재 AESim은 페이스북의 새로운 언어 모델과 마찬가지로 빠르게 변화하고 다양한 실시간 데이터의 제약을 받고 있습니다. 따라서 결과는 전반적인 성능을 고려하여 검토되었습니다.

XNUMX일 동안 테스트한 AESim은 세 가지 모델에서 놀라운 일관성을 보여 주었지만 연구원들은 문서 컨텍스트 언어 모델(DLCM) 모듈은 오프라인 환경에서는 제대로 수행되지 않았지만 라이브 환경에서는 매우 잘 수행되었으며 테스트 중인 구성 및 모델에 따라 시스템이 라이브 상대와의 격차를 입증할 것임을 인정합니다.