人工智能5 years ago
阿里巴巴开发出利用实时数据的搜索引擎模拟人工智能
阿里巴巴与中国学术研究人员合作，开发出一款搜索引擎模拟人工智能，该技术利用这家电商巨头实时基础设施中的真实世界数据，以开发不受“历史”或过时信息束缚的新型排序模型。 这款名为AESim的引擎，是一周内第二个承认人工智能系统需要能够评估并整合实时和当前数据、而不仅仅是抽象化模型训练时可用数据的重要公告。较早的公告来自Facebook，该公司上周发布了BlenderBot 2.0语言模型，这是一个具备实时检索互联网搜索结果以回应用户查询功能的自然语言处理界面。 AESim项目的目标是为商业信息检索系统中开发新的学习排序（LTR）解决方案、算法和模型提供一个实验环境。在测试该框架时，研究人员发现它在有用且可操作的参数范围内准确地反映了在线性能。 该论文的作者，包括来自南京大学和阿里巴巴研究部门的各四位代表，断言LTR模拟需要新方法的原因有二：近期深度学习领域的类似尝试未能创造出可复现的技术，大量引人注目的算法未能转化为适用的现实世界系统；以及缺乏可迁移性，即在系统最初更有效的情况下，训练数据与新数据之间的性能表现差异。 走向实时 该论文声称，AESim是首个基于实时和当前用户及活动数据的电商模拟平台，它能够通过单方面使用实时数据准确反映在线性能，为后续研究人员评估LTR方法和创新提供了一个理想的训练平台。 该模型对工业搜索引擎的典型架构采用了新的思路：第一阶段是检索与用户查询相关的项目，这些项目最初并不呈现给用户，而是首先通过加权的LTR模型进行排序。然后，排序后的结果会经过一个过滤器，该过滤器会考虑公司在提供结果时的目标——这些目标可能包括广告和多样性因素。 AESim的架构 在AESim中，查询被替换为类别索引，允许系统在将项目传递给可定制的重新排序器以生成最终列表之前，先从类别索引中检索项目。尽管该框架允许研究人员研究跨多个模型的联合排序效果，但这一方面留待未来工作，当前的实现基于单一模型自动寻求理想的评估。 AESim创建了封装“虚拟用户”及其查询的嵌入（机器学习架构中的虚拟表示），并采用了带梯度惩罚的Wasserstein生成对抗网络（WGAN-GP）方法。 该架构包含一个按类别排序的数百万可用项目数据库、一个可定制的排序系统、一个反馈模块，以及由基于GAN的组件生成的合成数据集。反馈模块是工作流程的最后阶段，能够评估排序模型最新迭代的性能。 生成对抗模仿学习 为了对“虚拟用户模块”的决策逻辑进行建模，反馈模块（提供最终结果）通过生成对抗模仿学习（GAIL）进行训练，该理论由斯坦福大学研究人员于2016年首次提出。GAIL是一种无模型范式，允许系统通过模仿学习直接从数据中制定策略。 AESim开发的训练集本质上与先前用于类似系统的监督学习模型所使用的静态历史数据集相同。AESim的不同之处在于，它不依赖静态数据集进行反馈，也不受（旧的）训练数据编译时生成的项目顺序所束缚。 AESim的生成方面集中在通过WGAN-GP创建虚拟用户，该网络输出“虚假”的用户和查询特征，然后尝试将这些伪造数据与AESim能够访问的实时网络提供的真实用户数据区分开来。 测试 研究人员通过将一个成对式、点对式和一个ListMLE实例部署到系统中来测试AESim，每个实例都必须在重新排序算法的上下文中处理一组互不重叠的随机搜索查询片段。 在这一点上，AESim面临着快速变化和多样化的实时数据的挑战，这与Facebook的新语言模型可能面临的情况非常相似。因此，结果是从整体性能的角度来考虑的。 经过十天的测试，AESim在三个模型上表现出显著的一致性，尽管研究人员指出，对文档上下文语言模型（DLCM）模块的额外测试在离线环境中表现不佳，但在实时环境中表现非常好，并承认该系统与其实时对应物之间会存在差距，具体取决于测试的配置和模型。
