알리바바, 라이브 데이터를 사용하는 검색 엔진 시뮬레이션 AI 개발

중국 학술 연구자들과의 협력을 통해 알리바바는 실제 사용자 데이터를 사용하여 새로운 랭킹 모델을 개발하는 검색 엔진 시뮬레이션 AI를 개발했습니다. 이 엔진은 아마존의 라이브 인프라에서 실제 데이터를 사용하여 개발되었습니다.

이 엔진은 AESim이라고 불리며, 라이브 데이터를 사용하여 AI 시스템이 평가하고 통합할 수 있도록 하는 두 번째 주요 발표입니다. 이전 발표는 페이스북에서 블렌더봇 2.0 언어 모델을 공개한 것입니다. 이 언어 모델은 사용자와 지능적인 대화를 나눌 수 있는 오픈 소스 챗봇입니다.

AESim 프로젝트의 목표는 상업적인 정보 검색 시스템에서 새로운 러닝-투-랭크(LTR) 솔루션, 알고리즘 및 모델을 개발하기 위한 실험 환경을 제공하는 것입니다. 이 프레임워크를 테스트한 결과, 온라인 성능을 유용하고 행동 가능한 매개변수 내에서 정확하게 반영하는 것으로 나타났습니다.

이 논문의 저자들은 새로운 LTR 시뮬레이션 접근 방식이 필요하다고 주장합니다. 이유는 두 가지입니다. 첫째, 최근의 유사한 시도가 실패했습니다. 둘째, 이전의 시스템은 초기에 더 효과적인 경우에도 새로운 데이터에서 성능이 저하되는 경우가 많습니다.

라이브로 전환

이 논문은 AESim이 라이브 사용자 데이터와 활동을 기반으로 하는 최초의 전자 상거래 시뮬레이션 플랫폼이라고 주장합니다. 또한 라이브 데이터만을 사용하여 온라인 성능을 정확하게 반영할 수 있다고 합니다.

아키텍처

AESim의 아키텍처는 다음과 같습니다. 사용자의 쿼리와 관련된 항목을 검색하여 사용자에게 표시하지 않고 가중된 LTR 모델로 정렬합니다. 그런 다음 정렬된 결과를 필터링하여 회사의 목표를 고려합니다.

생성적 적대적 모방 학습

AESim은 생성적 적대적 모방 학습(GAIL)을 사용하여 가상 사용자의 의사 결정 논리를 모델링합니다. GAIL은 2016年に 스탠퍼드 연구자들이 제안한 모델입니다. 이 접근 방식은 시스템이 데이터에서 직접 정책을 개발할 수 있도록 합니다.

AESim은 WGAN-GP 접근 방식을 사용하여 가상 사용자와 쿼리 특성을 생성합니다. 그런 다음 이 가상 데이터를 실제 사용자 데이터와 구별하려고 합니다.

테스팅

연구자들은 AESim을 테스트하기 위해 페어 와이즈, 포인트 와이즈 및 리스트MLE 인스턴스를 시스템에 배포했습니다. 각 인스턴스는 랜덤하게 선택된 검색 쿼리 세트를 제공해야 했습니다.

테스트 결과, AESim은 10일 동안 3개의 모델에서 일관된 성능을 보였습니다. 그러나 연구자들은 추가 테스트에서 DLCM 모듈이 오프라인 환경에서 성능이 좋지 않았지만 라이브 환경에서 매우 잘 수행되었다고 보고했습니다. 시스템은 라이브 카운터파트와의 성능 격차를 보일 수 있다고 인정합니다.