Ingo Mierswa, PhD Ingo Mierswa, PhD

韧性 > 准确性：为什么“模型韧性”应该成为模型运营的真正指标

作者：Ingo Mierswa，RapidMiner 的创始人、总裁和首席数据科学家。数据科学在过去几年中取得了巨大的进步，许多组织使用高级分析或机器学习模型来深入了解其过程和预测未来可能的结果。然而，对于其他“科学”来说，项目是否会成功并不是很明显，据报道，高达 87% 的数据科学项目永远不会投入生产。虽然不能期望 100% 的成功率，但数据科学项目中存在一些模式，这些模式导致了比该领域应接受的更高的成功率。这些问题模式似乎独立于任何特定的行业或用例，这表明数据科学中存在一个需要解决的普遍问题。衡量机器学习的成功创建机器学习（ML）模型的数据科学家依赖于明确定义的数学标准来衡量这些模型的性能。应用哪些标准主要取决于模型类型。假设一个模型应该预测新情况的类别或类别 – 例如，客户是否会流失。这种情况下，数据科学家会使用准确率（模型正确的频率）或精度（我们预测流失的客户实际流失的频率）等指标。数据科学家需要这样的客观标准，因为他们的工作是优化这些评估标准以产生最佳模型。事实上，除了准备数据以便于建模外，构建和调整这些模型是 数据科学家花费时间的主要部分。这有一个缺点，即数据科学家实际上并没有关注将这些模型投入生产，这对多个原因来说是一个问题。首先，不能产生成功结果的模型不能为部署它们的组织产生商业影响。其次，由于这些组织已经花费了时间和金钱来开发、训练和投入生产的模型，但这些模型在运行“真实世界”数据时没有产生成功的结果，因此他们更有可能认为机器学习和其他数据科学工具对他们的组织是无用的，并且不太可能继续进行未来的数据科学计划。事实是，数据科学家只是喜欢调整模型，并且花费了大量时间在此。但是，没有商业影响，这些时间的花费并不明智，这在今天的世界中尤其令人痛苦，因为数据科学家的资源非常稀缺。Netflix 奖和生产失败我们已经看到这种现象，即过度投资于模型构建而不是模型的运营化，这种现象在近年来已经发生。 Netflix 奖 是一个开放的竞赛，目的是找到最好的协同过滤算法来预测用户对电影的评分。如果你给一部新电影一个高评分，你可能会喜欢这部电影 – 因此，使用这种评分系统，Netflix 会向你推荐某些标题，如果你喜欢推荐的内容，你可能会更长时间地留在 Netflix 作为客户。该奖项的奖金是 100 万美元，颁发给能够将 Netflix 自己的算法提高至少 10% 的团队。该挑战于 2006...