Oleg Grynets, CTO, Data Practice, EPAM Systems, Inc.

你的数据生态系统是否为AI做好准备？公司如何确保其系统为AI改造做好准备

作为未来的货币，收集数据是公司熟悉的过程。然而，之前的技术和工具集限制了企业只能处理简单的结构化数据，例如交易信息和客户及呼叫中心对话。从那里，品牌会使用情感分析来了解客户对产品或服务的感受。新的AI工具和功能为公司提供了难得的机会，超越结构化数据，并利用复杂和非结构化的数据集，解锁更大的客户价值。例如，大型语言模型（LLM）可以分析人类的互动并提取关键的洞察力，丰富客户体验（CX）。然而，在组织能够利用AI的力量之前，有很多步骤需要为AI集成做准备，而其中最重要（也经常被忽视）的步骤之一就是现代化其数据生态系统。以下是一些最佳实践和策略，企业可以利用它们使其数据生态系统为AI做好准备。掌握数据资产企业必须收集和组织其数据到一个集中存储库或数据资产中，以成为AI-ready。一个公司的数据资产是存储和管理所有数据的基础设施，其主要目标是使数据在需要时可供正确的人使用，以便做出数据驱动的决策或获得对其数据资产的整体视图。不幸的是，大多数公司不了解其现有的数据资产，无论是由于遗留的限制、数据隔离、访问控制不良或其他原因。为了更深入地了解其数据资产，企业应该与能够提供AI解决方案的合作伙伴合作，例如统一的生成AI编排平台。这样的平台可以使企业加速对LLM、AI本地应用程序、自定义插件和——最重要的是——数据存储的实验和创新。该平台还可以作为一个安全、可扩展和可定制的AI工作台，帮助企业更深入地了解其数据生态系统，改进AI驱动的商业解决方案。更深入地了解自己的数据资产不仅可以提高AI解决方案的有效性，还可以帮助组织更负责任地使用其AI工具，优先考虑数据安全。数据正在变得更加详细，多亏了AI驱动的过程和功能，这凸显了需要技术上符合安全要求和遵循负责任的AI最佳实践的必要性。提升数据治理和安全性企业的数据治理框架必须经历重大改造，以成为AI-ready。数据治理框架是一个相对较新的发明，专注于更传统的数据资产。然而，如今，除了结构化数据外，企业还需要使用非结构化数据，例如个人可识别信息（PII）、电子邮件、客户反馈等，而当前的数据治理框架无法处理这些数据。此外，生成AI(Gen AI)正在改变数据治理范式，从基于规则到护栏。企业需要定义边界，而不是依赖于硬性规则，因为一次成功或失败并不能揭示任何特别有见地的东西。通过定义边界，计算特定数据集的成功率，然后测量输出是否在这些参数内，组织可以确定AI解决方案是否技术上合规或需要微调。组织必须实施和采用新的数据治理工具、方法和方法论。领先的品牌使用机器学习技术来自动化数据治理和质量保证。特别是，通过预先建立政策和阈值，这些公司可以更容易地自动执行数据标准的执行。其他最佳的数据治理实践包括部署严格的数据处理和存储协议，在可能的情况下匿名化数据，并限制不必要的数据收集。随着当前围绕AI驱动数据收集的监管环境不断演变，非遵守可能会导致严重的罚款和声誉损害。导航这些新兴规则需要一个全面的数据治理框架，该框架注明了公司运营区域特定的数据保护法，例如欧盟的AI法案。同样，企业必须在整个组织中提高数据素养。公司需要在每个级别进行更改，而不仅仅是针对技术人员，例如工程师或数据科学家。首先进行数据成熟度评估，评估不同角色的数据安全能力。这种评估可以找出如果团队不使用相同的商业语言。建立基准后，企业可以实施计划以提高数据素养和安全意识。增强数据处理能力如果还不明显，非结构化数据是品牌将会失败或成功的关键。如前所述，非结构化数据可以包括PII、电子邮件和客户反馈以及任何不能存储在常规文本文件、PDF、Microsoft Excel电子表格等中的数据。非结构化数据的这种难以处理的性质使其更难分析或进行搜索。大多数数据技术工具和平台无法纳入和处理大量非结构化数据，特别是在日常客户互动的背景下。为了克服非结构化数据的挑战，组织必须捕获这些未记录的知识，提取它，并将其映射到企业知识库中，以创建其数据生态系统的完整图景。在过去，这个知识管理过程是劳动密集型的，但AI使其变得更容易和更划算，通过从多个来源收集数据，修复不一致性，删除重复项，分离重要和不重要的数据等。一旦AI集成到数据生态系统中，它就可以帮助自动化复杂资产的处理，例如法律文件、合同、呼叫中心互动等。AI还可以帮助构建知识图来组织非结构化数据，使Gen AI功能更有效。另外，Gen AI使公司能够根据共享的相似性收集和分类数据，揭示缺失的依赖关系。虽然这些新兴的AI驱动的数据分析工具可以理解和从混乱或无序的数据中提取洞察力，但企业还必须现代化其技术栈以支持这些复杂的数据集。重新激活技术栈从审计开始——特别是评估哪些系统的性能达到可以与现代创新保持一致的水平，哪些系统不合格。公司还必须确定哪些现有的系统可以与新工具集成。获取帮助以成为AI-ready使数据生态系统为AI做好准备是一个复杂、繁琐和多阶段的过程，需要很高的专业知识。很少有公司拥有这样的知识或技能。 如果一个品牌选择利用合作伙伴的专业知识来准备其数据生态系统以适应AI集成，则在搜索过程中应优先考虑某些质量。首先，理想的合作伙伴必须在多个相互关联的学科（不仅仅是AI）中拥有技术专业知识，例如云计算、安全、数据、CX等。另一个理想的合作伙伴的标志是，如果它认识到敏捷性的重要性。随着技术变化的加速，预测未来变得更加具有挑战性。为此，理想的合作伙伴不应尝试猜测某种未来状态；相反，它帮助企业的数据生态系统和人力资本变得足够敏捷，以适应市场趋势和客户需求。此外，如前所述，AI技术适用于每个人，而不仅仅是数据科学团队。AI使能是一个组织范围的努力。每位员工都需要具备AI素养，无论其职级如何。合作伙伴应帮助弥合这一差距，将业务和人员专业知识结合起来，帮助企业在内部开发必要的能力。