Análisis de ingeniería: un complemento elástico para mejores operaciones de datos

Una división fundamental entre la ingeniería de datos y el análisis de negocios complica la forma en que las organizaciones operan en un entorno digital en constante evolución. Las empresas gestionan volúmenes sin precedentes de datos estructurados y no estructurados de diversas fuentes, pero muchas luchan por extraer un valor empresarial significativo. El problema principal es una desconexión persistente y costosa entre los equipos que construyen y mantienen la infraestructura de datos y los equipos que dependen de información oportuna y precisa para tomar decisiones. Para integrar soluciones que apoyen la ingeniería de datos y el análisis de negocios, es fundamental que el liderazgo comprenda cómo se forma esta división y cómo se manifiesta en dimensiones técnicas y operativas. Abordar este desafío requiere un enfoque integral que incluya tecnología, procesos y cultura organizativa. El esfuerzo no es solo una actualización de herramientas, sino más bien un cambio transversal guiado por las funciones de ingeniería de datos y análisis de negocios.

Trabajo de datos en un espectro—análisis a ingeniería

Según IBM, el análisis de negocios se refiere a los métodos estadísticos y tecnologías informáticas que procesan, extraen y visualizan datos para descubrir patrones, relaciones e ideas que apoyen una mejor toma de decisiones empresariales. El análisis demuestra su valor cuando mejora el rendimiento, reduce el riesgo o aumenta la eficiencia a través de ideas acciónables. Los equipos de análisis siguen estas relaciones y patrones a través de una serie de métricas continuas, típicamente un conjunto de indicadores clave de rendimiento (KPI). El Marco de análisis de INFORMS describe esto como un ciclo que comienza con un problema empresarial y se extiende hasta la gestión del ciclo de vida de la solución. El proceso de análisis está guiado por la configuración del problema y apoyado por la tecnología.

Los equipos de análisis, impulsados por las necesidades empresariales, enfrentan presión para entregar ideas rápidamente y dependen de “datos frescos” para apoyar sus flujos de trabajo. Los datos estancados entregan ideas estancadas. Los equipos necesitan acceso a la infraestructura de datos que permita el procesamiento en tiempo real o casi en tiempo real de los datos en ideas que entreguen un valor empresarial real.

La ingeniería de datos representa el otro lado del espectro y está impulsada por los requisitos de infraestructura y tecnología. IBM define la ingeniería de datos como “la práctica de diseñar y construir sistemas para la agregación, almacenamiento y análisis de datos a gran escala”. Aunque el trabajo apoya la entrega de ideas, los flujos de trabajo de ingeniería de datos son claramente diferentes del marco de análisis y se centran en la logística y el almacenamiento de datos.

Tensiones y complementos sincopados

La tensión entre los equipos de ingeniería de datos y análisis surge con mayor frecuencia de las diferencias en las escalas de tiempo y las demandas de flujo de trabajo en competencia. Las decisiones de infraestructura y herramientas de los equipos de ingeniería dependen de las tasas de adopción del sistema, la innovación tecnológica, la capacidad de TI y las limitaciones de recursos en un mercado de talento restringido. Las tareas de análisis dependen de los datos ingeridos como productos intermedios que alimentan la entrega de ideas. Esto requiere que los equipos de análisis trabajen dentro de la infraestructura de datos existente que ha desarrollado la ingeniería de datos, al mismo tiempo que anticipan y comunican las necesidades futuras.

Estas diferencias crean un continuo en el que las funciones de operaciones de datos (DataOps) existen con marcos de tiempo de diferentes duraciones de unidad. Este intercambio sincopado es a veces complementario y a veces propenso a colisiones. Integrar estos marcos de tiempo requiere capacidad organizativa para la comunicación transversal y la alineación de procesos empresariales. Si los equipos de análisis están sujetos a infraestructuras obsoletas, entonces la deuda técnica del sistema legado reduce la velocidad de entrega de ideas y debilita la ventaja competitiva. Si los equipos de ingeniería de datos permanecen atados a expectativas de rápido retorno, entonces el cumplimiento, la continuidad empresarial, la seguridad, la calidad y la exposición al mercado están en riesgo.

Para DataOps, el éxito depende de identificar consistentemente el complemento elástico específico del contexto en los equipos. Investigaciones recientes han encontrado que la alineación de la estrategia empresarial y la estrategia de análisis de datos mejora la capacidad de análisis de datos grandes como agilidad de respuesta al mercado. Además, investigaciones apoyan que la alineación de la estrategia de datos-ciencia es esencial para capturar con éxito el valor de los datos.

Puntos de dolor compartidos

Las tecnologías emergentes exigen cambios rápidos en la infraestructura de datos. A medida que los sistemas de información aumentan en complejidad, los equipos están desarrollando modelos y representaciones arquitectónicas más avanzados para navegar estos desafíos. Igualmente importante es la alineación del diseño técnico con las necesidades organizativas y sociales. Adaptar los sistemas de infraestructura de datos grandes a las necesidades operativas a menudo requiere descubrimiento de procesos, con los equipos de ingeniería analizando registros de eventos para determinar los requisitos del sistema en función del uso real.

Estas prácticas de mejora de procesos reflexivas compiten por el tiempo y los recursos escasos de ingeniería y TI, y reflejan la acumulación de retrasos que enfrentan los ingenieros de datos. Debido a que cada equipo dentro del espectro de DataOps monitorea diferentes métricas, traducir los requisitos de rendimiento a desarrollo de canal puede llevar a una falta de alineación y errores costosos.

¿Por qué reinventar la rueda?

Un informe de Gartner identifica una disciplina de arquitectura de datos y análisis dedicada como crítica para realizar la estrategia operativa y la asignación de recursos. Alinear la arquitectura empresarial y técnica es cada vez más importante para entornos empresariales impulsados por tecnología.

La alineación de procesos es un desafío operativo antiguo que ahora ocurre a una velocidad y escala que revela fallos en la coordinación organizativa. Varias técnicas apoyan la alineación de procesos entre departamentos. La gestión de procesos empresariales (BPM) y el gobierno de datos (DG) son dos marcos establecidos que ayudan a las organizaciones a abordar esta necesidad. La influencia creciente de la estrategia tecnológica en los resultados empresariales está aumentando la importancia de las disciplinas que apoyan la alineación de la estrategia tecnológica y de procesos empresariales.

La gestión de datos maestros (MDM) y el gobierno de datos (DG) han surgido como disciplinas efectivas para alinear los procesos empresariales y las operaciones de datos. Los equipos de DataOps con MDM y DG en su lugar están mejor posicionados para aplicar principios de complemento elástico para mejorar la eficiencia operativa. Los roles de propiedad de datos claros y una disciplina de arquitectura establecida fortalecen la alineación de procesos y la comunicación transversal para apoyar los resultados de la estrategia técnica y empresarial. DataOps alineados aprovechan todo el espectro de la cadena de valor de los datos hacia la estrategia empresarial.

La calidad de los datos y la integridad de los datos presentan puntos de dolor compartidos para los equipos de ingeniería de datos y análisis. Las brechas de traducción entre ingenieros y analistas reflejan un problema más amplio a nivel de arquitectura que involucra la estrategia tecnológica y la alineación del modelo de negocio. Debido a que el desarrollo de infraestructura a menudo se retrasa con respecto a las necesidades empresariales, la resiliencia de la comunicación es un factor limitante para que las organizaciones capturen el valor de los datos. La rotación, la incertidumbre del mercado, la deuda técnica y la competencia interna de recursos plantean preguntas sobre cómo los procesos de comunicación transversal funcionan bajo presión. Fortalecer las conexiones entre los equipos de análisis y ingeniería a través de la implementación, la precisión y la ejecución confiable en situaciones de alta presión representa un cambio vital hacia operaciones de datos elásticas.