威尔森·庞（Wilson Pang），《人工智能的真实世界》（Real World AI）合著者 – 采访系列

威尔森·庞（Wilson Pang）于2018年11月加入Appen，担任首席技术官，负责公司的产品和技术。威尔森拥有19年以上的软件工程和数据科学经验。在加入Appen之前，威尔森曾是中国第二大在线旅行社公司——携程的首席数据官，他领导数据工程师、分析师、数据产品经理和科学家，改善用户体验和提高运营效率，从而促进业务增长。在此之前，他曾是eBay在加利福尼亚州的高级工程总监，领导了数据服务和解决方案、搜索科学、营销技术和计费系统等多个领域的工作。他还曾在IBM担任架构师，为各类客户开发技术解决方案。威尔森在中国浙江大学获得了电气工程的硕士和学士学位。

我们讨论了他的新书：人工智能的真实世界：负责的机器学习实践指南

您在书中提到，当您领导eBay的搜索科学团队时，您在机器学习方面的第一个教训是理解知道什么指标需要测量的重要性。书中给出的例子是，指标“每次会话的购买次数”没有考虑到物品的货币价值。公司如何最好地了解需要测量什么指标，以避免类似的问题？

首先要确定AI模型的目标——在我们的例子中，我们希望通过机器学习推动更多的收入。然后，将指标附加到这些目标上，思考这些指标会产生什么效果，一旦模型发布并且人们开始与之交互时，也要注意您的假设。在我们的例子中，我们假设模型会优化收入，但每次会话的购买次数并没有转化为收入，因为模型正在优化高数量的低票值销售，最终我们没有赚到更多的钱。直到我们意识到这一点，我们才能改变指标并将模型引向正确的方向。因此，确定细粒度的指标以及注意假设对于项目的成功至关重要。

您在研究和撰写这本书的过程中，个人有什么收获？

我们有很多不同的问题可以通过AI解决，这些问题来自不同的公司和行业。用例可以非常不同，AI解决方案可能不同，用于训练AI解决方案的数据也可能不同。然而，尽管存在这些差异，人们在AI之旅中犯的错误却非常相似。这些错误在各个公司和行业中反复出现。

我们分享了一些在实施AI项目时的最佳实践，希望能够帮助更多的人和公司避免这些错误，并获得部署负责AI的信心。

您希望读者从这本书中获得的最重要的收获是什么？

我们坚信，机器学习技术的深思熟虑、负责和道德使用，可以使世界变得更加公正、公平和包容。机器学习技术承诺重塑整个商业世界，但这并不一定很难。有经过验证的方法和流程，团队可以遵循这些方法和流程，并获得部署到生产环境的信心。

另一个关键的收获是，业务负责人（如产品经理）和技术团队成员（如工程师和数据科学家）需要使用共同的语言。为了成功部署AI，领导者必须弥合团队之间的差距，为业务专家和C级高管提供足够的背景，以便他们能够高效地与技术实施者进行对话。

很多人一想到AI，就会想到代码。但这本书中的一个关键收获是，数据对于AI模型的成功至关重要。从收集到标记、存储，每一步都会影响模型的成功。最成功的AI部署是那些高度重视数据并努力不断改进其ML模型这一方面的部署。

所有真实世界的AI都需要的是一个跨职能的团队和创新精神。

讨论了确定AI模型的准确性是否足够高以支持使用AI的方法。评估所需的准确性类型的最简单方法是什么？

这取决于您的用例和风险承受能力。开发AI的团队应该始终有一个测试阶段，在这个阶段，他们确定准确性水平和组织及利益相关者的可接受阈值。对于生死攸关的用例——如果AI出错可能会造成伤害，例如判刑软件、自动驾驶汽车、医疗用例，准确性要求非常高——团队必须制定错误的应急措施。对于容错性更强的用例——在内容、搜索或广告相关性方面，团队可以依靠用户反馈来调整他们的模型，即使在生产环境中也是如此。当然，在这些用例中，也有一些高风险的场景，例如可能向用户展示非法或不道德的材料，因此必须制定防范措施和反馈机制。

定义项目的成功标准的重要性是什么？

从一开始就定义业务问题和定义成功标准同样重要，因为这两个方面是相互关联的。按照书中关于汽车经销商使用AI标记图像的例子，他们没有定义成功标准，因为他们没有定义要解决的业务问题。成功对他们来说可能是很多事情，这使得即使对于团队来说，也很难解决问题，更不用说机器学习模型了。如果他们从一开始就确定要标记所有带有凹痕的车辆，以创建需要维修的车辆列表，并将成功定义为准确标记80%的车辆凹痕，那么当他们准确标记85%时，团队就会认为这是一个成功。但是，如果这个成功标准没有与业务问题和直接的业务影响挂钩，那么很难评估这个项目的成功。在他们的例子中，他们本可以通过定义成功标准为节省索赔流程的时间/金钱或通过X%优化维修流程来做得更好，然后将标记的影响转化为真正的业务成果。在他们的例子中，业务问题更加复杂，标记凹痕只是其中的一个方面。

确保训练数据示例涵盖所有将在生产部署中发生的用例的重要性如何？

确保模型在所有用例上进行训练以避免偏差至关重要。但是，必须注意到，在生产环境中，无法涵盖所有用例，开发AI的团队需要了解生产数据以及训练数据，以便训练AI模型以适应生产环境中遇到的情况。获取来自大型多样化群体的训练数据，对于模型的成功至关重要。例如，一个训练来识别上传图像中宠物的模型需要在所有类型的宠物上进行训练，包括狗、猫、鸟、小型哺乳动物、爬行动物等。如果模型仅在狗、猫和鸟上进行训练，那么当有人上传一张带有豚鼠的图像时，模型将无法识别它。虽然这是一个非常简单的例子，但它表明，在尽可能多的可能用例上进行训练对于模型的成功至关重要。

书中讨论了从上到下培养良好的数据卫生习惯的必要性。培养这种习惯的常见第一步是什么？

良好的数据卫生习惯将提高内部数据的可用性，并为机器学习用例做好准备。整个公司必须变得擅长组织和跟踪其数据集。实现这一点的一种确保方法是将其作为业务要求，并跟踪实施情况，以便有很少的报告需要定制工作，团队可以与数据管道合作，将数据导入中央存储库，并具有明确的本体论。另一个良好的做法是记录数据的收集时间和地点，以及在数据被放入数据库之前对其进行的任何操作，并定期建立清理未使用或过时数据的流程。

感谢您接受这次精彩的采访，对于希望了解更多的读者，我推荐他们阅读这本书：人工智能的真实世界：负责的机器学习实践指南，以便更深入地了解人工智能的应用和实践。