Alibaba Phát Triển Trí Tuệ Nhân Tạo Mô Phỏng Công Cụ Tìm Kiếm Sử Dụng Dữ Liệu Trực Tiếp

Trong sự hợp tác với các nhà nghiên cứu học thuật tại Trung Quốc, Alibaba đã phát triển một công cụ tìm kiếm trí tuệ nhân tạo mô phỏng sử dụng dữ liệu trực tiếp từ cơ sở hạ tầng trực tuyến của gã khổng lồ thương mại điện tử để phát triển các mô hình xếp hạng mới không bị giới hạn bởi thông tin ‘lịch sử’ hoặc ‘lỗi thời’.

Công cụ, được gọi là AESim, đại diện cho thông báo lớn thứ hai trong một tuần để công nhận nhu cầu của các hệ thống trí tuệ nhân tạo phải có khả năng đánh giá và tích hợp dữ liệu trực tiếp và hiện tại, thay vì chỉ trừu tượng hóa dữ liệu có sẵn tại thời điểm mô hình được đào tạo. Thông báo trước đó là từ Facebook, đã ra mắt mô hình ngôn ngữ BlenderBot 2.0, một giao diện NLP có tính năng thăm dò trực tiếp kết quả tìm kiếm internet để trả lời các câu hỏi.

Mục tiêu của dự án AESim là cung cấp một môi trường thử nghiệm cho việc phát triển các giải pháp, thuật toán và mô hình học xếp hạng (LTR) mới trong các hệ thống thu thập thông tin thương mại. Trong quá trình thử nghiệm khuôn khổ, các nhà nghiên cứu đã phát hiện ra rằng nó phản ánh chính xác hiệu suất trực tuyến trong các tham số hữu ích và có thể hành động.

Các tác giả của bài báo, bao gồm bốn đại diện từ Đại học Nam Kinh và từ bộ phận nghiên cứu của Alibaba, khẳng định rằng một cách tiếp cận mới đối với mô phỏng LTR là cần thiết vì hai lý do: sự thất bại của các sáng kiến gần đây trong học sâu để tạo ra các kỹ thuật có thể tái tạo, với một loạt các thuật toán thất bại trong việc dịch vào các hệ thống thực tế; và sự thiếu khả năng chuyển đổi, về hiệu suất của dữ liệu đào tạo so với dữ liệu mới trong các trường hợp mà các hệ thống ban đầu hiệu quả hơn.

Đi Trực Tiếp

Bài báo cho rằng AESim là nền tảng mô phỏng thương mại điện tử đầu tiên dựa trên dữ liệu của người dùng và hoạt động trực tiếp, và nó có thể phản ánh chính xác hiệu suất trực tuyến bằng cách sử dụng đơn phương dữ liệu trực tiếp, cung cấp một môi trường đào tạo lý tưởng cho các nhà nghiên cứu sau này để đánh giá các phương pháp và đổi mới LTR.

Mô hình này kết hợp một cách tiếp cận mới đối với một lược đồ điển hình cho các công cụ tìm kiếm công nghiệp: giai đoạn đầu tiên là thu thập các mục liên quan đến truy vấn của người dùng, những mục này không được trình bày trực tiếp cho người dùng, nhưng thay vào đó được sắp xếp bởi một mô hình LTR có trọng số. Sau đó, các kết quả được sắp xếp sẽ được truyền qua một bộ lọc xem xét các mục tiêu của công ty trong việc cung cấp kết quả – những mục tiêu có thể bao gồm cả yếu tố quảng cáo và đa dạng hóa.

Kiến Trúc Của AESim

Trong AESim, các truy vấn được thay thế bằng các chỉ số danh mục, cho phép hệ thống thu thập các mục từ một chỉ số danh mục trước khi truyền chúng đến một bộ sắp xếp lại có thể tùy chỉnh, tạo ra danh sách cuối cùng. Mặc dù khuôn khổ cho phép các nhà nghiên cứu nghiên cứu về các hiệu ứng của việc xếp hạng chung trên nhiều mô hình, nhưng khía cạnh này đang được để lại cho công việc trong tương lai, và việc triển khai hiện tại tự động tìm kiếm đánh giá lý tưởng dựa trên một mô hình duy nhất.

Kiến trúc của AESim. Nguồn: https://arxiv.org/pdf/2107.07693.pdf

AESim tạo ra các bản nhúng (đại diện ảo trong kiến trúc học máy) bao gồm ‘người dùng ảo’ và truy vấn của họ, và sử dụng một mạng đối kháng tạo sinh với phạt Gradient (WGAN-GP) tiếp cận.

Kiến trúc bao gồm một cơ sở dữ liệu hàng triệu mục có sẵn được sắp xếp theo danh mục, một hệ thống xếp hạng có thể tùy chỉnh, một mô-đun phản hồi, và các tập dữ liệu tổng hợp được tạo ra bởi các thành phần dựa trên GAN. Mô-đun phản hồi là giai đoạn cuối cùng trong quy trình làm việc, có khả năng đánh giá hiệu suất của lần lặp cuối cùng của một mô hình xếp hạng.

Học Imitation Đối Kháng Tạo Sinh

Để mô hình hóa logic quyết định của ‘Mô-đun Người dùng Ảo’, mô-đun phản hồi (cung cấp kết quả cuối cùng) được đào tạo thông qua Học Imitation Đối Kháng Tạo Sinh (GAIL), một lý thuyết đầu tiên được đề xuất bởi các nhà nghiên cứu tại Stanford vào năm 2016. GAIL là một khuôn khổ không dựa trên mô hình cho phép một hệ thống phát triển một chính sách trực tiếp từ dữ liệu thông qua học imitation.

Các tập dữ liệu đào tạo được phát triển bởi AESim về cơ bản là giống như các tập dữ liệu tĩnh, lịch sử được sử dụng trong các mô hình học có giám sát trước đó cho các hệ thống tương tự. Sự khác biệt với AESim là nó không phụ thuộc vào một tập dữ liệu tĩnh cho phản hồi, và không bị giới hạn bởi thứ tự mục được tạo ra tại thời điểm dữ liệu đào tạo được biên dịch.

Khía cạnh tạo sinh của AESim tập trung vào việc tạo ra một người dùng ảo thông qua WGAN-GP, tạo ra ‘giả’ đặc điểm người dùng và truy vấn, và sau đó cố gắng phân biệt dữ liệu này với dữ liệu người dùng thực được cung cấp bởi các mạng trực tuyến mà AESim có thể truy cập.

Đại diện đám mây của người dùng giả và thực trong một mô phỏng công cụ tìm kiếm công nghiệp điển hình.

Thử Nghiệm

Các nhà nghiên cứu đã thử nghiệm AESim bằng cách triển khai một đối sánh, điểm và ListMLE vào hệ thống, mỗi cái trong số đó phải phục vụ một lát cắt ngẫu nhiên không giao nhau của các truy vấn tìm kiếm trong bối cảnh của một thuật toán sắp xếp lại.

Ở điểm này, AESim bị thách thức bởi dữ liệu trực tiếp thay đổi nhanh chóng và đa dạng, tương tự như mô hình ngôn ngữ mới của Facebook. Do đó, kết quả đã được xem xét trong ánh sáng của hiệu suất tổng thể.

Được thử nghiệm trong mười ngày, AESim đã thể hiện sự nhất quán đáng chú ý trên ba mô hình, mặc dù các nhà nghiên cứu đã lưu ý rằng một thử nghiệm bổ sung của một mô-đun Mô hình Ngôn ngữ Context Tài liệu (DLCM) hoạt động kém trong môi trường ngoại tuyến, nhưng rất tốt trong môi trường trực tiếp, và thừa nhận rằng hệ thống sẽ thể hiện khoảng trống với các đối tác trực tiếp của nó, tùy thuộc vào cấu hình và mô hình được thử nghiệm.