清理我们混乱的数据：人工智能如何改变游戏规则

我们正被数据淹没。每个平台、智能手表和智能手机都将我们的生活分割成可量化的碎片，但其中大部分仍然杂乱无章且无法使用。 

企业深谙此道，这也是科技巨头 Meta 的用意所在。 投资 去年夏天，该公司斥资 14 亿美元收购了数据标注初创公司 Scale AI 49% 的股份，这是一项经过深思熟虑的战略举措，旨在为其人工智能模型获取高质量的训练数据。

大型语言模型的可靠性完全取决于其输入数据的质量——简而言之，“垃圾进，垃圾出”。然而，如今企业面临的真正挑战是如何将海量原始信息转化为可执行的数据。 

解决方案可能就隐藏在眼前：人工智能本身可以通过生成策略来绕过标注海量数据集或梳理无尽电子表格的繁琐任务，将混乱转化为可用的、人类的智能。 

数据混乱时：企业面临的隐性成本

根据 Gartner研究 自 2020 年以来，数据质量差每年给企业造成至少 12.9 万美元的损失，影响生产力，导致决策信息不足和报告不准确。 

数据混乱的后果在医疗保健等领域尤为明显。不完整的健康记录、账单明细以及系统间数据不匹配会导致误诊、治疗错误和资源分配效率低下。长此以往，这将推高成本并削弱公众对这些系统的信任。

同时，在物流方面，供应商和分销商之间的数据不匹配会导致延误或库存短缺。错误的收货地址或过时的库存记录会对整个供应链产生连锁反应，导致错过交货期限和客户不满。 

“通过结合过往数据，预测或了解（沿途）可能发生的情况，可以真正减少这些低效环节。” 阿斯帕鲁·科耶夫物流人工智能公司首席执行官 跨度量学在与……交谈时注意到 联合人工智能.

更实际地说，混乱的数据代价高昂。“1-10-100”法则可以说明这一点：录入数据时检查成本为1美元，事后清理成本为10美元，如果不采取任何措施，则总成本为100美元。

人工智能平台能带来什么？

随着企业面临日益增长的脏数据问题，他们开始转向人工智能寻求解决方案。新兴的人工智能平台能够自动完成数据清洗流程，从而确保成本效益并提高准确性。

罗伯特·贾迪纳创始人 清晰型其中一个平台解释了人工智能的工作原理： 

“它将数据整合为通用格式：该过程的一部分是将每个数据转换为适合业务的规范格式。” 

然而，Claritype 的人工智能远不止于简单的标准化。该平台的监督式修复功能使组织能够跨越系统边界，寻求解决最紧迫问题的答案，从而打破信息孤岛。 

“以前各自独立的系统，现在都掌握着能够解答整个业务相关问题的部分答案，”贾尔迪纳说道。 联合人工智能. 

例如，如果一个重要供应商受到发货延迟的影响，只有将供应商与订单和客户历史记录关联起来，公司才能确定应该首先通知哪些重要客户有关延迟的情况。

“我们的最终目标是将这种相互关联的思维方式扩展到企业中的每一块数据，以便我们能够轻松、快速地回答每一个问题，”贾尔迪纳说。 

这种相互关联的思维方式代表了当今企业正在发生的更广泛的思维模式转变，因为它们正从……转型 特设 从数据清洗到系统化数据治理，各组织不再将数据质量视为一次性解决方案，而是正在建立结构化的流程，以确保所有系统的一致性和可靠性。

数据治理如今被视为一项重要的业务流程，而不仅仅是IT部门的一项任务。通过将数据管理融入整体战略，企业可以做出更明智的决策，并从数据中获得更有意义的洞察。

人工智能如何清理数据以及它面临的挑战

过度依赖人工智能可能很危险。贾尔迪纳认为，“令人担忧的自动化数据转换是那些超越标准化、沦为猜测的转换。” 

例如，某些缩写很容易被误解。“International Business Machines, Inc.”或“IBM”通常会被转换成“IBM”，但如果转换是自动进行的，而“IB”被意外地转换成了“IBM”，则可能给两家公司都带来严重的问题。

数据缺失和不准确是两个最常见的问题，仅仅依靠人工智能根据上下文填补空白很容易适得其反。正如贾尔迪纳指出的那样，“当影响变得显著时，我们需要人工来验证每一个猜测。” 

平衡自动化与人类洞察力

混乱的数据凸显了组织在信息处理方式上的深层缺陷。为了向前发展并改进决策，企业必须摒弃将数据视为纯粹技术问题的做法，转而采用结合人类专业知识、道德意识和长期战略愿景的治理模式。 

更干净的数据能够创造更高效的人工智能，而人工智能反过来又有助于提升数据质量；这种相互促进的循环前景广阔，但也提醒我们，单靠自动化无法解决数据混乱的问题。只有将算法的精确性与人类的判断力相结合，并意识到算法可能引入的偏见，才能真正发挥其潜力，确保我们所构建系统的透明度和公信力。

亚历克斯·桑多瓦尔制造智能人工智能公司首席执行官 艾莉艾他还强调，生成式人工智能副驾驶并非仅依靠算法运行，而是依赖于人类对工厂逻辑的熟练掌握。 

他总结道：“如今最成功的部署不仅仅是向模型输入大量的可编程逻辑控制器（PLC）数据、操作员记录和合规协议。它们依赖于一种新型的一线工作人员：能够将机器行为与数字直觉联系起来的人。”