Дані команди померли, довгими будуть дані команди

Так, заголовок клікбейтний і провокаційний, але як CTO з багатьма роками досвіду в галузі даних, я став свідком трансформації, яка виправдовує драматизм. Традиційна “дані команди” – бек-офіс команда, що розбиває звітність і панелі – фактично померли. На їхньому місці з’являється новий вид даних команди: AI-перший, продукт-орієнтований потужний інструмент з прямим впливом на доходи. Вони вже не є центром витрат, а прибутковою групою.

Подорож від бізнес-інтелекту до машинного навчання

Не так давно дані команди були синонімом бізнес-інтелекту (BI). Ми були істориками компанії даних, живучи в SQL і таблицях, завданням яких було відповісти на питання “Що відбулося в минулому кварталі?” Коли великі дані технології, такі як Hadoop, з’явилися і термін “дані вчений” став новою модною роботою, дані команди еволюціонували. До середини 2010-х років ми робили більше, ніж звітність; ми перейшли до дані візуалізації та інтерактивної аналітики, виробляючи динамічні панелі для кожного відділу. Робота полягала в даних завоюванні, змішуванні наборів даних з різних джерел і форм, і спробі зрозуміти домен знань.

Потім кінцівка 2010-х років принесла машинне навчання епоху. Дані команди почали наймати дані вчених для побудови передбачувальних моделей і відкриття інсайтів у величезних наборах даних. Ми перейшли від опису минулого до передбачення майбутнього: моделі churn, рекомендаційні двигуни, прогнози попиту – ви називайте. Але навіть тоді, наші виходи були слайд-деки і інсайти, а не живі продукти. Ми функціонували як внутрішній сервіс бюро, радячи бізнесу через аналіз. Інакше кажучи, ми були центрами витрат – цінними, так, але на одному кроку віддалені від основного продукту і доходу.

У найкращих випадках, машинне навчання команди були розсіяні в окремі підрозділи або вбудовані в продуктивні групи, так що їхні моделі і висновки могли бути повністю інтегровані в платформи. Великий розрив привів до численних провальних проектів, затонулих інвестицій і втрачених можливостей.

GenAI: Від підтримуючої функції до центру прибутку

Потім GenAI прибув і все змінилося. Випуск потужних великих мовних моделей, таких як сім’я GPT і відкриті варіанти, такі як Llama, перевернули ландшафт майже за одну ніч. Раптом, дані команди не тільки аналізували бізнес, але й стали інтегральними для побудови AI-продуктів і досвіду. Коли ви успішно інтегруєте LLM в клієнтську програму або внутрішній робочий потік, ви вже не тільки інформуєте бізнес; ви керуєте ним. Добре реалізована система GenAI може автоматизувати клієнтську підтримку, генерувати маркетинговий контент, персоналізувати користувальницький досвід або навіть надавати дані, необхідні для інформування і навчання нових агентських систем AI. Ці можливості безпосередньо впливають на потоки доходів. Насправді, продукт роботи даних команди змінився з презентацій PowerPoint на живі AI-потужні програми.

GenAI команди почали з інноваційних груп, доставляючи докази концепції, які генерували “фактор враження”. І скоро кожен став AI-інженером, поширюючи тіньові ІТ-проекти по організаціям.

Дані команди скоро виявили себе перед новим питанням: “Коли ви станете центром прибутку?” Коли AI-інженери почали створювати чудові інструменти, стало ясно, що час був готовий до злиття двох команд: тих, хто контролював дані, і тих, хто будував програми.

Розгляньте роздрібну компанію, яка розгортає GenAI-чатбот для обробки продажних запитів, або банк, який запускає AI-приватний інвестиційний радник. Ці не традиційні ІТ-побічні проекти – це цифрові продукти, які створюють клієнтську цінність і генерують доходи. Однак, в той же час, для створення цих систем у масштабі, AI-інженерні команди повинні мати можливість доступу і операціоналізації даних, які традиційні команди підготували.

Екзекютиви помітили. Очікування даних команд зараз небесно високі, з радами і CEO, які шукають нас, щоб доставити наступний AI-паливний вектор зростання. Ми перейшли від того, щоб бути аналітиками за кulisами, до фронт-лінійних інноваторів. Це захоплююча позиція, але вона супроводжується інтенсивним тиском, щоб доставити результати у масштабі.

Від дослідження до продукту – одностороння двері

Зміна від дослідницького аналізу до продукто-орієнтованого AI є глибокою і необоротною. Чому необоротною? Бо вплив GenAI на бізнес виявляється занадто великим, щоб знову віднести назад до R&D іграшки. За даними недавнього глобального опитування, 96% ІТ-лідерів зараз інтегрували AI у свої основні процеси – у порівнянні з 88% тільки рік тому. Інакше кажучи, майже кожна підприємство перейшла від експериментів з AI до впровадження його в місійні робочі потоки. Як тільки ви перетнули той поріг, де AI доставляє цінність у виробництві, немає повернення.

Ця нова AI-драйвена фокус змінює темп і менталітет даних команд. У минулому, у нас була розкоша довгих проектів відкриття і відкритих аналізів. Сьогодні, якщо ми будемо будувати AI-функцію, вона повинна бути готовою до виробництва, відповідною і надійною – як будь-який клієнтський продукт. Ми вступили в те, що деякі називають “Автономною ерою” даних науки. Питання, яке керує нашою роботою, вже не “які інсайти ми можемо відкрити?”, а “яку інтелектуальну систему ми можемо побудувати, яка діє на інсайти в реальному часі?”.

GenAI системи не тільки відповідають на питання; вони починають приймати рішення. Це одностороння двері: після переживання цього типу автономії і впливу, компанії не погодяться на статичні звіти і ручне прийняття рішень. Тепер більше, ніж будь-коли, дані команди повинні бути орієнтовані на зацікавлених сторін і продукт.

Тверда правда: Чому більшість ініціатив GenAI не вдаються

Серед усіх цих емоцій, є стримана реальність: більшість ініціатив GenAI не вдаються. Виявляється, що успішне розгортання GenAI є надзвичайно складним. Недавнє дослідження MIT виявило, що приголомшливі 95% підприємств GenAI пілотних проектів ніколи не доставляють вимірюваний ROI. 只 близько 5% AI-пілотів фактично досягають швидких доходів або значимого бізнес-впливу. Це не через відсутність потенціалу – це через складність виконання AI правильно.

Розкопуючи причини невдачі, дослідження MIT малює ясну картину. Багато проектів спотикаються через “гіп над трудом” – команди переслідують блискучі демонстраційні випадки використання замість інвестування в нудні основи інтеграції, валідації і моніторингу. Інші не вдаються через класичний “сміття у сміття” синдром – погана якість даних і сілодовані дані трубопроводи засуджують проект до невдачі, перш ніж AI навіть отримає можливість зробити свою роботу. Часто, це не AI-модель, яка є дефектною, це оточуюча середовище. Як дослідники кажуть, GenAI не не вдається в лабораторії; воно не вдається в підприємстві, коли воно зіштовхується з нечіткими цілями, поганими даними і організаційною інерцією. На практиці, більшість AI-пілотів застряють на стадії доказу концепції і ніколи не закінчуються повним розгортанням виробництва.

Ця реальна перевірка є цінним уроком. Вона говорить нам, що хоча дані команди зараз знаходяться в центрі уваги, більшість борються з підвищеними очікуваннями. Для GenAI успіху у масштабі, нам потрібно перейти значно вищу планку, ніж ми робили в старих днях BI.

Поза розумними промптами: Дані, керування та інфраструктура мають значення

Що відрізняє 5% AI-проектів, які процвітають, від 95%, які спотикаються? У моєму досвіді (і як дослідження підтверджує), переможці фокусуються на основних можливостях – дані, керування і інфраструктура. GenAI не є магією; це побудовано на даних. Без високоякісних, добре керованих даних трубопроводів, які годують ваші моделі, навіть найкращий AI буде виробляти нерегулярні результати. Summit Partners сказали це добре в недавньому аналізі: “успіх будь-якої системи або процесу, який використовує AI, залежить від якості, структури і доступності даних, які живлять його.”

У практичних термінах, це означає, що організації повинні подвоїти зусилля щодо даних архітектури і керування під час впровадження GenAI. Чи маєте ви уніфіковані, доступні дані сховища, які ваш AI може витягнути (і я маю на увазі ВСІ дані сховища, включаючи дані центри, гіперскейлери і третині СaaS-системи, серед інших)? Чи є ці дані очищені, куратори і відповідальні з регулюваннями? Чи є чітка дані лінія і аудитованість (так що ви можете довіряти AI-виходам і знати, як вони виникли)? Ці питання зараз знаходяться на передньому плані.

GenAI змушує компанії нарешті впорядкувати свій будинок даних.

Керування також набуло нового значення. Коли AI-модель може потенційно генерувати неправильну відповідь (або образливу), міцне керування не є опціональним – воно є обов’язковим. Контролі, такі як версіонування, перевірки упередженості, людський огляд у циклі і суворі заходи безпеки навколо чутливих даних входів, є необхідними. Без належного керування, навчання і чітко визначених цілей, навіть сильний AI-інструмент буде боротися з отриманням тривалого впливу в бізнесі.

І не забудьте інфраструктуру. Розгортання GenAI у масштабі вимагає значної обчислювальної потужності і суворої інженерії. Моделі повинні бути подані в реальному часі, по можливості мільйонам запитів з низькою затримкою. Вони часто потребують GPU або спеціалізованого обладнання, а також постійного моніторингу, утримання і життєвого циклу керування. Коротко кажучи, вам потрібно індустріальне AI-інфраструктура, яка є безпечною, масштабованою і стійкою. Це місце, де концепція Private AI приходить як.framework, який об’єднує інфраструктуру з даними і керуванням. Private AI відноситься до розробки AI в контрольованому і безпечному середовищі, забезпечуючи безпеку даних і відповідність.

Чому AI-інженери не можуть зробити це самі

Ураховуючи ці вимоги, ясно, що просто найняття кількох талановитих AI-інженерів не є срібною кулею. Ми вивчили цей урок за останні кілька років в галузі даних. У перші дні даних науки буму, компанії намагалися знайти “єдинорога” дані вчених, які могли зробити все – побудувати моделі, написати код, обробити дані і розгортання. Цей міт був згодом спростований. Як один ветеран даних вчений сказав, “модель, яка сидить у ноутбуці, насправді нічого не робить для бізнесу.” Вам потрібно вбудувати цю модель в програму або процес, щоб вона створювала цінність. І роблення цього вимагає командну роботу, яка охоплює кілька навичок.

У кінцівці 2010-х років, ми побачили дані команди диверсифікувати в окремі ролі: дані інженери почали будувати надійні трубопроводи, машинне навчання інженери фокусувалися на виробництві моделей, аналітичні інженери керували аналітичним шаром, і так далі.

Сьогодні GenAI підвищує планку ще вище. Так, вам потрібно AI-спеціалістів (prompt інженерів, LLM налаштувальників тощо), але ці спеціалісти будуть стикатися зі стіною, якщо вони не матимуть зрілих даних трубопроводів, керування рамками і безпечних платформ для роботи. AI-інженер може прототипувати велику мовну модель в пісочниці, але перетворення цього в продукт, який використовується тисячами або мільйонами, вимагає співпраці з командами безпеки, офіцерами відповідності, даних архітекторами, інженерами сайту і багатьма іншими.

AI є командним спортом. Це спокусительно думати, що ви можете впасти державний зразок моделі в свій бізнес і раптом мати AI-драйвений підприємство. Компанії, які успішно працюють з AI, є тими, які побудували міжфункціональні команди, або “AI-фабрики”, які об’єднують всі ці частини. Їхні дані команди ефективно еволюціонували в повноцінні AI-продуктові команди, змішуючи дані, моделювання, інженерію і операційний досвід. Вони будують і розгортають свої інструменти у даних-драйвені, продукт-орієнтований спосіб, з генерацією цінності, закладеної в кожному KPI.

Наступне покоління даних команд

Так, що майбутнє тримає для нових “даних команд”? Ось погляд на те, що прийде для цих команд у найближчі кілька років:

• Менше ручного ETL/ELT: Тедійне дані завоювання зникне. З більш автоматизованими даних трубопроводами і AI-допомогою інтеграції, команди не будуть витрачати половину свого часу на очищення і переміщення даних. Робота даних підготовки буде все більше оброблятися інтелектуальними системами, дозволяючи людям фокусуватися на вищому рівні дизайну і контролю якості.
• Менше панелей: Ера нескінченного налаштування фільтрів панелей згасає. AI буде дозволяти більш природну мовну запитуваність і динамічні інсайти доставку. Замість попередньо побудованих панелей для кожного питання, користувачі отримають розмовні відповіді від AI (із джерелом даних прикріпленим). Дані команди будуть витрачати менше часу на розробку статичних звітів і більше часу на навчання AI генерувати інсайти на льоту.
• Більше AI-родної продукту розробки: Дані команди будуть у центрі продукту інновацій. Чи то розробка нового клієнтського AI-функції, чи внутрішньої AI-інструменту, який оптимізує операції, ці команди будуть діяти як продукти команди. Вони будуть використовувати програмне забезпечення розробки практики, швидке прототипування, A/B тестування і користувальницький досвід дизайну – не тільки дані аналіз. Кожна дані команда буде, по суті, стати AI-продуктовою командою, доставляючи прямої бізнес-цінності.
• Автономні агенти на підйомі: У не дуже віддаленому майбутньому, дані команди розгортатимуть автономні AI-агенти, щоб обробляти рутинні рішення і завдання. Замість того, щоб тільки передбачати результати, ці агенти будуть авторизовані приймати певні дії (із наглядом). Уявіть собі AI-опс агента, який може виявити аномалію і автоматично відкрити ремедіаційний тікет, або продаж AI-агента, який налаштовує електронну комерцію ціни в реальному часі. Дані команди будуть відповідальними за побудову і керування цими агентами,推уючи межі того, що автоматизація може досягти.

У світлі цих змін, можна сказати, що “дані команди, як ми їх знали, померли”. Електронні таблиці джокеї і панельні сантехніки віддали місце щось нове: AI-перші команди, які є флуентними в даних, коді і бізнес-стратегії. Але далеко від того, щоб бути елогієм, це є святкуванням. Нова генерація даних команд тільки починається, і вони є більш цінними, ніж будь-коли

Так, пам’ятайте, дані інженер помер, довгими буде дані інженер! Дані команди, як ми їх знали, пішли, але довгими будуть нові дані команди – нехай вони панують у цьому AI-драйвені світі з інсайтом, відповідальністю і сміливістю.