Nrupesh Patel

工程分析：一种用于改善数据运营的弹性补充

数据工程和商业分析之间的根本分歧使得组织在快速发展的数字环境中难以运营。企业管理着来自各个来源的海量结构化和非结构化数据，但许多企业难以从中提取有意义的商业价值。核心问题是数据基础设施的建设和维护团队与依赖及时和准确的数据驱动洞察的团队之间存在一个持续且昂贵的断裂。为了有效地整合支持数据工程和商业分析的解决方案，领导层必须了解这种断裂是如何形成的以及它如何在技术和运营维度上表现出来。解决这一挑战需要一个综合的方法，包括技术、流程和组织文化。这种努力不仅仅是一个简单的工具升级，而是一种跨功能的转变，受到数据工程和商业分析功能的指导。数据工作在一个谱系上——从分析到工程根据IBM的说法，商业分析是指使用统计方法和计算技术来处理、挖掘和可视化数据，以发现支持更好商业决策的模式、关系和洞察。分析证明了其价值，当它通过可行的洞察提高性能、降低风险或提高效率时。分析团队通过一系列持续的指标来跟踪这些关系和模式，通常是一个关键绩效指标（KPI）集合。 INFORMS分析框架将其描述为一个从商业问题开始并扩展到解决方案生命周期管理的循环。分析过程由问题框定指导，并由技术支持。分析团队，由业务需求驱动，面临着快速交付洞察的压力，并依赖“新鲜”的数据来支持他们的工作流程。过时的数据会带来过时的洞察。团队需要访问能够实现数据实时或近实时处理的数据基础设施，以便将其转化为具有真正商业价值的洞察。数据工程代表了谱系的另一端，并由基础设施和技术需求驱动。IBM将数据工程定义为“在大规模上设计和构建用于数据聚合、存储和分析的系统的实践”。虽然这项工作支持洞察交付，但数据工程工作流程与分析框架明显不同，重点是数据的物流和仓储。不和谐的紧张和补充数据工程和分析团队之间的紧张关系通常源于不同的时间尺度和竞争的工作流程需求。工程团队的基础设施和工具决策取决于系统采用率、技术创新、IT能力和人才市场的资源限制。分析任务依赖于作为中间产品的摄取数据来驱动洞察交付。这需要分析团队在现有的基础设施中工作，同时预测和传达未来的需求。这些差异创造了一个连续体，其中数据运营（DataOps）函数以不同单位时间的时间框架存在。这种不和谐的交换有时是互补的，有时容易发生碰撞。整合这些时间框架需要组织具有跨功能通信和业务流程对齐的能力。如果分析团队受限于过时的基础设施，那么遗留系统的技术债务会降低洞察交付的速度，并削弱竞争优势。如果数据工程团队仅仅受限于快速周转的期望，那么合规性、业务连续性、安全性、质量和市场暴露都会面临风险。对于DataOps，成功取决于在团队之间一致地识别出特定环境下的弹性补充。最近的研究发现，业务策略和数据分析策略的对齐可以增强大数据分析能力，从而实现市场响应的敏捷性。进一步的研究支持，业务和数据科学策略的对齐对于成功捕获数据价值至关重要。共同的痛点新兴技术要求对数据基础设施进行快速的更改。随着信息系统的复杂性增加，团队正在开发更先进的模型和架构表示来应对这些挑战。同样重要的是，技术设计与组织和社会需求的对齐。将大型数据基础设施系统适应运营需求通常需要过程发现，工程团队会分析事件日志以确定基于实际使用的系统需求。这些反馈过程改进实践与稀缺的工程和IT时间竞争，并反映了数据工程师面临的时间延迟的积累。由于每个团队在DataOps谱系中监测不同的指标，将性能需求转化为管道开发可能会导致不一致和昂贵的错误。为什么要重新发明轮子？一份Gartner报告确定，一个专门的数据和分析架构学科对于实现运营策略和资源分配至关重要。业务和技术架构的对齐对于技术驱动的业务环境日益重要。过程对齐是一个古老的运营挑战，现在以一个暴露组织协调缺陷的速度和规模发生。几个技术支持跨部门过程对齐。业务流程管理（BPM）和数据治理（DG）是两个已建立的框架，帮助组织解决这一需求。技术战略对业务成果的影响力增加了支持技术和业务流程对齐的学科的重要性。主数据管理（MDM）和DG已成为有效的学科，以对齐业务流程和数据运营。具有MDM和DG的DataOps团队最有能力应用弹性补充原则来提高运营效率。明确的数据所有权角色和建立的架构学科加强了过程对齐和跨功能通信，以支持技术和业务策略成果。对齐的DataOps利用数据价值链的全部范围来支持业务策略。数据质量和数据完整性反馈解释是数据工程和分析团队的共同痛点。工程师和分析师之间的翻译差距反映了一个更广泛的问题，即技术战略和业务模型对齐。由于基础设施开发通常滞后于业务需求，通信韧性成为组织实现数据价值捕获的速率限制因素。人员流动、市场不确定性、技术债务和内部资源竞争提出了关于跨功能通信过程在压力下如何表现的问题。通过实施、精度和高压情况下的可靠执行，强化分析和工程团队之间的联系，代表了向弹性数据运营转变的重要一步。