Инженерный анализ данных: эластичная поддержка для лучших операций с данными

Основная пропасть между инженерными данными и бизнес-аналитикой осложняет работу организаций в быстро меняющейся цифровой среде. Предприятия управляют беспрецедентными объемами структурированных и неструктурированных данных из различных источников, но многие из них испытывают трудности в извлечении значимой бизнес-ценности. Основная проблема заключается в постоянном и дорогостоящем разрыве между командами, которые строят и поддерживают инфраструктуру данных, и командами, которые полагаются на своевременные и точные данные для принятия решений. Чтобы эффективно интегрировать решения, поддерживающие инженерные данные и бизнес-аналитику, руководству необходимо понять, как образуется этот разрыв и как он проявляется в технических и операционных измерениях. Решение этой проблемы требует комплексного подхода, включающего технологии, процессы и организационную культуру. Это не простой апгрейд инструментов, а скорее межфункциональный сдвиг, руководствующийся функциями инженерных данных и бизнес-аналитики.

Работа с данными на спектре – от аналитики к инженерии

По мнению IBM, бизнес-аналитика представляет собой статистические методы и вычислительные технологии, которые обрабатывают, анализируют и визуализируют данные для выявления закономерностей, отношений и выводов, поддерживающих лучшее принятие бизнес-решений. Аналитика доказывает свою ценность, когда она улучшает производительность, снижает риск или увеличивает эффективность за счет действенных выводов. Аналитические команды отслеживают эти отношения и закономерности через серию текущих метрик, обычно набора ключевых показателей эффективности (KPI). INFORMS Аналитический каркас описывает это как цикл, начинающийся с бизнес-проблемы и продлевающийся до управления жизненным циклом решения. Процесс аналитики руководствуется формулировкой проблемы и поддерживается технологиями.

Аналитические команды, движимые бизнес-потребностями, сталкиваются с давлением, чтобы быстро предоставлять выводы и полагаются на “свежие” данные для поддержки своих рабочих процессов. Устаревшие данные обеспечивают устаревшие выводы. Командам необходимо доступ к инфраструктуре данных, которая позволяет обрабатывать данные в режиме реального времени или gần реального времени в выводы, которые обеспечивают реальную бизнес-ценность.

Инженерия данных представляет собой другую сторону спектра и движима требованиями инфраструктуры и технологий. IBM определяет инженерию данных как “практику проектирования и строительства систем для агрегации, хранения и анализа данных в масштабе”. Хотя работа поддерживает поставку выводов, рабочие процессы инженерии данных существенно отличаются от аналитического каркаса и сосредоточены на логистике и складировании данных.

Синкопированные напряжения и дополнения

Напряжение между командами инженерии данных и аналитики возникает чаще всего из-за различий во временных масштабах и конкурирующих требований рабочих процессов. Решения по инфраструктуре и инструментам инженерных команд зависят от темпов внедрения системы, инноваций технологий, емкости ИТ и ограничений ресурсов на ограниченном рынке талантов. Задачи аналитики полагаются на потребляемые данные как промежуточные продукты, которые стимулируют поставку выводов. Это требует от команд аналитики работать в рамках существующей инфраструктуры, разработанной инженерией данных, а также предвидеть и сообщать о будущих потребностях.

Эти различия создают континуум, в котором функции операций с данными (DataOps) существуют с временными рамками разной продолжительности. Этот синкопированный обмен иногда является дополнительным, а иногда склонным к столкновению. Интеграция этих временных рамок требует организационной способности к межфункциональному общению и выравниванию бизнес-процессов. Если команды аналитики связаны устаревшей инфраструктурой, то технический долг устаревших систем снижает скорость поставки выводов и ослабляет конкурентное преимущество. Если команды инженерии данных остаются связанными с ожиданиями быстрого оборота, то соблюдение, бизнес-continuity, безопасность, качество и рыночная экспозиция находятся под угрозой.

Для DataOps успех зависит от постоянного выявления контекстно-специфического эластичного дополнения между командами. Недавние исследования показали, что выравнивание бизнес-стратегии и стратегии аналитики данных усиливает возможность аналитики больших данных как рыночной реакции на гибкость. Дальнейшие исследования подтверждают, что выравнивание бизнес-стратегии и стратегии науки о данных является важным для успешного захвата ценности данных.

Общие болевые точки

Новые технологии требуют быстрых изменений в инфраструктуре данных. По мере того, как информационные системы становятся более сложными, команды разрабатывают более сложные модели и архитектурные представления для навигации по этим проблемам. Не менее важно выравнивание технического дизайна с организационными и социальными потребностями. Адаптация крупных систем инфраструктуры данных к операционным потребностям часто требует открытия процессов, при котором инженерные команды анализируют журналы событий для определения требований системы на основе фактического использования.

Эти рефлексивные практики улучшения процессов конкурируют за редкое время инженерии и ИТ и отражают накопление задержек, с которыми сталкиваются инженеры данных. Поскольку каждая команда в спектре DataOps отслеживает разные метрики, перевод требований производительности в разработку конвейера может привести к несоответствию и дорогостоящим ошибкам.

Зачем изобретать велосипед?

Отчет Gartner определяет специальную дисциплину архитектуры данных и аналитики как важную для реализации операционной стратегии и распределения ресурсов. Выравнивание бизнес- и технической архитектуры становится все более важным для технологически обусловленных бизнес-сред.

Выравнивание процессов является давней проблемой операций, которая теперь происходит с темпом и масштабом, которые раскрывают недостатки организационной координации. Несколько методов поддерживают межведомственное выравнивание процессов. Управление бизнес-процессами (BPM) и управление данными (DG) являются двумя устоявшимися каркасами, которые помогают организациям решить эту проблему. Растущее влияние технологической стратегии на бизнес-результаты увеличивает важность дисциплин, поддерживающих технологическую и бизнес-процессную выравнивание.

Управление мастер-данными (MDM) и DG появились как эффективные дисциплины для выравнивания бизнес-процессов и операций с данными. Команды DataOps с MDM и DG лучше всего подготовлены для применения принципов эластичного дополнения для улучшения операционной эффективности. Ясные роли владения данными и установленная дисциплина архитектуры укрепляют выравнивание процессов и межфункциональное общение для поддержки технической и бизнес-стратегии. Выравнивание DataOps использует весь спектр цепочки создания ценности данных для бизнес-стратегии.

Качество данных и целостность данных представляют собой общие болевые точки для команд инженерии данных и аналитики. Переводные пробелы между инженерами и аналитиками отражают более широкую проблему на уровне архитектуры, которая включает технологическую стратегию и выравнивание бизнес-модели. Поскольку развитие инфраструктуры часто отстает от бизнес-потребностей, устойчивость общения является ограничивающим фактором для организаций, чтобы реализовать захват ценности данных. Персонал, рыночная неопределенность, технический долг и внутренняя конкуренция ресурсов вызывают вопросы о том, как межфункциональные процессы общения работают под напряжением. Укрепление связей между командами аналитики и инженерии через реализацию, точность и надежную реализацию в высоконапряженных ситуациях представляет собой важный сдвиг в сторону эластичных операций с данными.