Інженерія аналітики: еластичний комплемент для кращої операції з даними

Фундаментальна розбіжність між інженерією даних і бізнес-аналітикою ускладнює роботу організацій в швидко змінючому цифровому середовищі. Підприємства керують безпрецедентними об’ємами структурованих і неструктурованих даних з різних джерел, проте багато з них борються за витягнення значущої бізнес-цінності. Основною проблемою є тривала і дорога розбіжність між командами, які будують і підтримують інфраструктуру даних, і командами, які залежать від своєчасних і точних даних для прийняття рішень. Для ефективної інтеграції рішень, які підтримують інженерію даних і бізнес-аналітику, керівництву необхідно зрозуміти, як ця розбіжність формується і як вона проявляється в технічних і операційних вимірах. Для вирішення цієї проблеми потрібен комплексний підхід, який включає технології, процеси і організаційну культуру. Цей зусилля не є простим оновленням інструментів, а радше міжфункціональним зрушенням, керованим функціями інженерії даних і бізнес-аналітики.

Робота з даними на спектрі – від аналітики до інженерії

За даними IBM, бізнес-аналітика відноситься до статистичних методів і технологій обробки даних, які обробляють, видобувають і візуалізують дані для відкриття закономірностей, відносин і інсайтів, які підтримують краще прийняття бізнес-рішень. Аналітика доводить свою цінність, коли вона покращує результати, знижує ризики або збільшує ефективність завдяки дієвішим інсайтам. Команди аналітиків відстежують ці закономірності і відносини через серію тривалих метрик, зазвичай набір ключових показників hiệu quảності (KPI). INFORMS рамки аналітики описують це як цикл, який починається з бізнес-проблеми і розширюється до управління життєвим циклом рішень. Процес аналітики керується формулюванням проблеми і підтримується технологіями.

Команди аналітиків, які рухаються бізнес-потребами, відчувають тиск для надання інсайтів швидко і залежать від “свіжих” даних для підтримки своїх робочих процесів. Старі дані доставляють застарілі інсайти. Командам потрібно мати доступ до інфраструктури даних, яка дозволяє короткочасну або майже реальну обробку даних в інсайти, які доставляють реальну бізнес-цінність.

Інженерія даних представляє іншу сторону спектру і керується вимогами інфраструктури і технологій. IBM визначає інженерію даних як “практику проектування і будівництва систем для агрегації, зберігання і аналізу даних у масштабі”. Хоча робота підтримує доставку інсайтів, робочі процеси інженерії даних істотно відрізняються від рамок аналітики і зосереджені на логістіці і складуванні даних.

Синкоповані напруження і комплементи

Напруження між командами інженерії даних і аналітики найчастіше виникає через різну шкалу часу і конкуруючі вимоги робочих процесів. Рішення щодо інфраструктури і інструментів від команд інженерії залежать від темпів прийняття систем, інновацій технологій, можливостей ІТ і обмежень ресурсів на обмеженому ринку талантів. Завдання аналітики залежать від інгестованих даних як проміжних продуктів, які підтримують доставку інсайтів. Це вимагає від команд аналітики працювати в рамках існуючої інфраструктури, яку розробили команди інженерії даних, і одночасно передбачати і спілкуватися про майбутні потреби.

Ці відмінності створюють континуум, в якому функції операцій з даними (DataOps) існують з тривалістю різної одиниці часу. Цей синкопований обмін іноді є комплементарним, а іноді схильним до зіткнення. Інтеграція цих тривалостей вимагає організаційної здатності до міжфункціональної комунікації і вирівнювання бізнес-процесів. Якщо команди аналітики залежать від застарілої інфраструктури, то технічний борг застарілих систем знижує швидкість доставки інсайтів і ослаблює конкурентну перевагу. Якщо команди інженерії даних залишаються зв’язаними з очікуваннями швидкого повороту, то дотримання вимог, бізнес-цілісність, безпека, якість і ринкова експозиція знаходяться під загрозою.

Для DataOps успіх залежить від постійного визначення контекстно-специфічного еластичного комплементу між командами. Нещодавні дослідження виявили, що вирівнювання бізнес-стратегії і стратегії даних аналітики підвищує здатність великих даних аналітики реагувати на ринкові зміни. Додаткові дослідження підтримують, що вирівнювання бізнес-стратегії і стратегії даних науки є важливим для успішного захоплення цінності даних.

Спільні болісні точки

Нові технології вимагають швидких змін інфраструктури даних. По мірі зростання складності інформаційних систем команди розробляють більш складні моделі і архітектурні представлення для подолання цих викликів. Не менш важливо вирівнювання технічного дизайну з організаційними і соціальними потребами. Адаптація великих систем інфраструктури даних до операційних потреб часто вимагає відкриття процесів, при якому команди інженерії даних аналізують журнали подій для визначення вимог систем на основі фактичного використання.

Ці рефлексивні практики покращення процесів конкурують за рідкісний інженерний і ІТ-час і відображають накопичення часу затримок, з якими стикаються інженери даних. Оскільки кожна команда в спектрі DataOps відстежує різні метрики, переклад вимог продуктивності в розвиток трубопроводів може привести до розбіжності і дорогої помилки.

Чому винаходити велосипед?

Звіт Gartner ідентифікує спеціалізовану дисципліну архітектури даних і аналітики як критичну для реалізації операційної стратегії і розподілу ресурсів. Вирівнювання бізнес-архітектури і технічної архітектури все більше важливе для технологічно-зорієнтованих бізнес-середовищ.

Вирівнювання процесів є давнім викликом операцій, який тепер відбувається з темпом і масштабом, який розкриває недоліки організаційної координації. Деякі техніки підтримують міжвідділове вирівнювання процесів. Управління бізнес-процесами (BPM) і управління даними (DG) є двома усталеними рамками, які допомагають організаціям звернутися до цієї потреби. Зростаючий вплив технологічної стратегії на бізнес-результати збільшує важливість дисциплін, які підтримують технологічну і бізнес-процесну координацію.

Управління майстер-даними (MDM) і управління даними (DG) з’явилися як ефективні дисципліни для вирівнювання бізнес-процесів і операцій з даними. Команди DataOps з MDM і DG, які знаходяться на місці, найкраще підходять для застосування принципів еластичного комплементу для покращення операційної ефективності. Чіткі ролі володіння даними і дисципліна архітектури посилюють вирівнювання процесів і міжфункціональну комунікацію для підтримки технічної і бізнес-стратегічної результативності. Вирівнювання DataOps використовує весь спектр ланцюга цінності даних для бізнес-стратегії.

Якість даних і цілісність даних представляють спільні болісні точки для команд інженерії даних і аналітики. Перекладові розриви між інженерами і аналітиками відображають ширшу проблему на рівні архітектури, яка включає технологічну стратегію і вирівнювання бізнес-моделі. Оскільки розвиток інфраструктури часто відстає від бізнес-потреб, стійкість комунікації є обмежувальним фактором для організацій, щоб реалізувати захоплення цінності даних. Перерва, ринкова нестабільність, технічний борг, внутрішня конкуренція ресурсів і питання про те, як міжфункціональні комунікаційні процеси працюють під тиском, піднімають питання про зміцнення зв’язків між командами аналітики і інженерії даних через реалізацію, точність і надійну реалізацію в умовах високого тиску представляє життєво важливе зрушення до еластичної операції з даними.