Wilson Pang，《真实世界人工智能》访谈系列的合著者

彭伟森加入 澳鹏 2018年XNUMX月担任CTO，负责公司产品和技术。 Wilson 在软件工程和数据科学领域拥有超过十九年的经验。 在加入澳鹏之前，Wilson 曾担任全球第二大在线旅行社公司携程网中国首席数据官，带领数据工程师、分析师、数据产品经理和科学家改善用户体验并提高运营效率，业务增长。 在此之前，他曾担任加利福尼亚州 eBay 的高级工程总监，并在多个领域提供领导，包括数据服务和解决方案、搜索科学、营销技术和计费系统。 在加入 eBay 之前，他曾在 IBM 担任架构师，为各种客户构建技术解决方案。 Wilson 在中国浙江大学获得电气工程硕士和学士学位。

我们讨论他的新书： 人工智能的真实世界：负责任的机器学习实用指南

您描述了当您领导 eBay 的搜索科学团队时，您在机器学习方面的第一堂课之一就是了解了解要衡量的指标的重要性。 给出的例子是“每次会话的购买量”指标如何未能考虑到商品的货币价值。 公司如何才能最好地了解需要衡量哪些指标以避免类似问题？

从您的团队赋予人工智能模型的目标开始——在我们的例子中，我们希望通过机器学习来增加收入。 当您将指标附加到目标时，请考虑一旦您发布模型并且人们开始与其交互，这些指标将产生什么机制，但也要记下您的假设。 在我们的例子中，我们假设模型会针对收入进行优化，但每次会话的购买数量并没有转化为这一点，因为该模型正在针对大量低票价销售进行优化，而最终我们并没有赚不到更多的钱。 一旦我们意识到这一点，我们就能够更改指标并将模型指向正确的方向。 因此，确定粒度指标并记录假设对于项目的成功至关重要。

您个人从研究和撰写这本书中学到了什么？

我们有很多不同的问题可以通过不同公司、不同行业的人工智能来解决。 用例可能非常不同，人工智能解决方案可能不同，训练人工智能解决方案的数据可能不同。 然而，尽管存在这些差异，人们在人工智能之旅中所犯的错误却非常相似。 这些错误在各行各业的各类公司中一次又一次地发生。

我们分享了实施人工智能项目时的一些常见最佳实践，希望帮助更多的人和公司避免这些错误，并让他们有信心部署负责任的人工智能。

您希望人们从阅读本文中学到哪些最重要的教训？

我们坚信，深思熟虑、负责任且合乎道德地使用机器学习技术可以使世界变得更加公正、公平和包容。 机器学习技术有望重塑整个商业世界的一切，但它并不一定很难。 团队可以遵循经过尝试和测试的方法和流程，并有信心将其部署到生产中。

另一个重要的教训是，业务线所有者（如产品经理）和技术方面的团队成员（如工程师和数据科学家）需要使用共同语言。 为了成功部署人工智能，领导者必须弥合团队之间的差距，为业务专家和 C 级提供足够的背景，以便与技术实施者进行有效的对话。

当很多人想到人工智能时，首先想到的是代码。 本书的重要教训之一是数据对于人工智能模型的成功至关重要。 从收集到标记再到存储，数据涉及很多过程，每一步都会影响模型的成功。 最成功的人工智能部署是那些高度重视数据并努力不断改进机器学习模型这一方面的人。

现实世界的人工智能所需要的只是一个跨职能的团队和创新精神。

讨论的是确定人工智能模型的准确性何时足够高以支持使用人工智能。 评估所需准确性类型的最简单方法是什么？

这取决于您的用例和风险承受能力。 开发人工智能的团队应该始终有一个测试阶段，确定其组织和利益相关者的准确性水平和可接受的阈值。 对于生死攸关的用例——如果人工智能出错就会产生潜在的危害，比如量刑软件、自动驾驶汽车、医疗用例，门槛非常非常高——团队必须投入精力以防万一模型错误。 对于更具容错性的用例，其中存在很多主观性——例如内容、搜索或广告相关性，团队可以依靠用户反馈来继续调整他们的模型，即使在生产过程中也是如此。 当然，这里也存在一些高风险的用例，可能会向用户展示非法或不道德的材料，因此这里也必须制定保障措施和反馈机制。 

您能定义一下预先定义项目成功的重要性吗？ 

从业务问题入手与预先定义成功同样重要，因为两者是相辅相成的。 按照书中关于汽车经销商使用人工智能来标记图像的示例，他们无法确定成功是什么样子，因为他们没有定义要解决的业务问题。 对他们来说，成功可能是由许多不同的因素决定的，这使得解决问题变得困难，即使对于团队来说也是如此，更不用说具有固定范围的机器学习模型了。 如果他们计划对所有有凹痕的车辆进行标记，以创建需要维修的车辆列表，并将成功定义为准确标记二手车库存中 80% 的车辆凹痕，那么当他们准确标记 85% 时，团队会称其为成功。 但是，如果这种成功与业务问题和直接业务影响无关，则很难在本例中标签准确性的重点定义之外评估该项目。 在这里，业务问题更加复杂，标签凹痕只是其中的一个组成部分。 就他们而言，他们本可以更好地将成功定义为在索赔流程中节省时间/金钱或将维修流程优化 X%，然后将标签影响转化为实际业务成果。

确保训练数据示例涵盖生产部署中将发生的所有用例有多重要？

在所有用例上对模型进行训练以避免偏差非常重要。 但还需要注意的是，虽然不可能涵盖生产中的所有用例，但构建人工智能的团队需要了解他们的生产数据以及训练数据，以便他们针对生产中会遇到的情况来训练人工智能。 访问来自具有不同用例的大型多元化群体的训练数据对于模型的成功至关重要。 例如，一个被训练来识别上传图像中的宠物的模型需要针对所有类型的宠物进行训练； 狗、猫、鸟类、小型哺乳动物、蜥蜴等。如果模型仅在狗、猫和鸟类上进行训练，那么当有人上传豚鼠的图像时，模型将无法识别它。 虽然这是一个非常简单的示例，但它表明了对尽可能多的可能用例进行训练对于模型的成功至关重要。

书中讨论的是需要自上而下养成良好的数据卫生习惯，培养这种习惯的常见第一步是什么？

良好的数据卫生习惯将提高内部数据的可用性，并为机器学习用例做好准备。 整个公司必须善于组织和跟踪其数据集。 实现这一目标的一个可靠方法是使其成为业务需求并跟踪实施，以便很少有报告最终成为自定义作业，并且团队越来越多地使用汇集到中央存储库的数据管道进行工作，并具有清晰的本体。 另一个好的做法是记录收集数据的时间和地点以及将数据放入数据库之前发生的情况，以及建立定期清理未使用或陈旧数据的流程。

感谢您的精彩采访，对于有兴趣了解更多信息的读者，我建议他们阅读这本书 人工智能的真实世界：负责任的机器学习实用指南.