Датові команди померли, хай живуть датові команди

Так, назва кликбейтна і провокативна, але як технічний директор з багатьма роками досвіду у сфері даних, я став свідком трансформації, яка виправдовує драму. Традиційна “датова команда” – бек-офісна команда, яка розбиває звітність і панелі, – фактично померла. На її місці з’являється новий вид датової команди: команда, орієнтована на штучний інтелект, продуктивна і з прямим впливом на доходи. Вони вже не є центром витрат, а групою, що генерує прибуток.

Подорож від бізнес-інтелекту до машинного навчання

Не так давно датові команди були синонімом бізнес-інтелекту (BI). Ми були істориками даних компанії, живучи в SQL і таблицях, завданням яких було відповісти на питання “Що відбулося в минулому кварталі?” Коли з’явилися технології великих даних, такі як Hadoop, і термін “дата-учений” став новою модною роботою, датові команди еволюціонували. До середини 2010-х років ми робили більше, ніж просто звітність; ми пішли у бік візуалізації даних та інтерактивної аналітики, створюючи динамічні панелі для кожного департаменту. Робота полягала у обробці даних, змішуванні наборів даних з різних джерел і форм, і спробі зрозуміти знання домену.

Потім наприкінці 2010-х років прийшла ера машинного навчання. Датовими командами почали наймати дата-учених для будівництва прогнозних моделей і відкриття інсайтів у великих наборах даних. Ми перейшли від опису минулого до прогнозування майбутнього: моделі виходу, системи рекомендацій, прогнози попиту – ви назовите. Але навіть тоді наші виходи були слайд-шоу і інсайтами, а не живими продуктами. Ми функціонували як внутрішній сервісний бюро, консультуючи бізнес через аналіз. Інакше кажучи, ми були центрами витрат – цінними, так, але на крок віддалені від основного продукту і доходу.

У найкращих випадках команди машинного навчання були розподілені по окремим підрозділам або інтегровані в продуктивні групи, так що їхні моделі і висновки могли бути повністю інтегровані в платформи. Великий розрив призвів до численних провальних проектів, втрачених інвестицій і втрачених можливостей.

GenAI: Від функції підтримки до центру прибутку

Потім з’явився GenAI і все змінилося. Випуск потужних великих мовних моделей, таких як сім’я GPT і відкриті варіанти, такі як Llama, перевернув ландшафт майже за одну ніч. Раптом датові команди не тільки аналізували бізнес, але й стали інтегральною частиною будівництва продуктів і досвіду штучного інтелекту. Коли ви успішно інтегруєте LLM в клієнтську програму або внутрішній робочий процес, ви не тільки інформуєте бізнес; ви керуєте ним. Добре реалізована система GenAI може автоматизувати підтримку клієнтів, генерувати маркетинговий контент, персоналізувати досвід користувача або навіть надавати дані, необхідні для інформування і навчання нових агентських систем штучного інтелекту. Ці можливості безпосередньо впливають на потоки доходів. Насправді, продукт роботи датової команди перейшов від слайд-шоу PowerPoint до живих застосунків, що працюють на штучному інтелекті.

Команди GenAI почали з інноваційних груп, що доставляли докази концепції, які генерували “фактор враження”. І досить швидко кожен став інженером штучного інтелекту, поширюючи тіньові ІТ-проекти по організаціям.

Датовим командам скоро довелося звернутися до нового питання: “Коли ви станете центром прибутку?” Коли інженери штучного інтелекту почали створювати чудові інструменти, стало зрозуміло, що час був готовий до злиття двох команд: тих, хто контролював дані, і тих, хто будував застосунки.

Розгляньте компанію роздрібної торгівлі, яка розгортає чат-бот GenAI для обробки запитів про продажі, або банк, який запускає інвестиційний радник, що працює на штучному інтелекті. Це не традиційні ІТ-проекти – це цифрові продукти, які створюють цінність для клієнтів і генерують доходи. Однак, в той же час, для створення цих систем у масштабі інженерні команди штучного інтелекту повинні мати можливість доступу і оперативного використання даних, які традиційні команди підготували.

Виконавці помітили. Очікування від датових команд зараз дуже високі, з радами директорів і генеральними директорами, які очікують від нас доставки наступного вектора зростання, що працює на штучному інтелекті. Ми перейшли від того, що були аналітиками, що працюють за кулисами, до інноваторів першої лінії. Це захоплююче становище, але воно супроводжується інтенсивним тиском, щоб доставляти результати у масштабі.

Від дослідження до продукту – одностороння двері

Перехід від дослідницького аналізу до продукту, орієнтованого на штучний інтелект, глибокий і необоротний. Чому необоротний? Бо вплив GenAI на бізнес виявляється занадто великим, щоб знову віднести його до категорії іграшки Р&D. За даними недавнього глобального опитування, 96% лідерів ІТ вже інтегрували штучний інтелект у свої основні процеси – проти 88% лише рік тому. Інакше кажучи, майже кожна підприємство перейшло від експериментів зі штучним інтелектом до його впровадження у місійні робочі процеси. Як тільки ви перетинаєте цей поріг, де штучний інтелект доставляє цінність у виробництві, немає повернення назад.

Ця нова орієнтація на штучний інтелект змінює темп і спосіб мислення датових команд. У минулому у нас була розкоша довгих проектів відкриття і відкритих аналізів. Сьогодні, якщо ми будемо будувати функцію штучного інтелекту, вона повинна бути готовою до виробництва, відповідати вимогам і бути надійною – як будь-який клієнтський продукт. Ми вступили у те, що деякі називають “Автономною ерою” науки про дані. Питання, яке керує нашою роботою, вже не “які інсайти ми можемо відкрити?”, а “яку інтелектуальну систему ми можемо побудувати, яка діє на інсайти в реальному часі?”

Системи GenAI не тільки відповідають на питання; вони починають приймати рішення. Це одностороння двері: після переживання такого рівня автономності і впливу компанії не погодяться на статичні звіти і ручне прийняття рішень. Тепер, більше ніж будь-коли, датові команди повинні бути орієнтовані на зацікавлених осіб і продукти.

Тверда правда: Чому більшість ініціатив GenAI терплять невдачу

Серед усіх цих хвилювань є стримана реальність: більшість ініціатив GenAI терплять невдачу. Виявляється, що успішне розгортання GenAI є надзвичайно складним. Недавнє дослідження Массачусетського технологічного інституту показало, що приголомшливі 95% пілотних проектів GenAI підприємств ніколи не доставляють вимірного ROI. Лише близько 5% пілотних проектів штучного інтелекту насправді досягають швидких прибутків або значного бізнес-імпакту. Це не через відсутність потенціалу – це через складність правильної реалізації штучного інтелекту.

Розкопуючи причини невдачі, дослідження Массачусетського технологічного інституту малює чітку картину. Багато проектів спотикаються через “гіп над трудом” – команди переслідують демонстраційні випадки використання, а не інвестують у нудні основи інтеграції, валідації і моніторингу. Інші терплять невдачу через класичну “сміттєво-викиньте-сміттєво” – погана якість даних і ізольовані потоки даних засуджують проект до провалу, навіть до того, як штучний інтелект починає свою роботу. Часто не штучний інтелект є дефектним, а оточуюче середовище. Як дослідники кажуть, GenAI не терпить невдачу в лабораторії; він терпить невдачу в підприємстві, коли зіштовхується з нечіткими цілями, поганими даними і організаційною інерцією. На практиці більшість пілотних проектів штучного інтелекту застряють на стадії доказу концепції і ніколи не переходять до повного розгортання.

Ця реальна перевірка є цінним уроком. Вона говорить нам, що хоча датові команди зараз знаходяться в центрі уваги, більшість із них борються за виконання підвищених очікувань. Для того, щоб GenAI успішно працював у масштабі, нам потрібно перейти значно вищу планку, ніж ми робили в старі дні бізнес-інтелекту.

Поза розумними запитами: Дані, керування та інфраструктура мають значення

Що відрізняє 5% проектів штучного інтелекту, які процвітають, від 95%, які спотикаються? За мого досвіду (і як підтверджують дослідження), переможці фокусуються на основних можливостях – даних, керуванні і інфраструктурі. GenAI не є магією; він побудований на даних. Без високоякісних, добре керованих потоків даних, що живлять ваші моделі, навіть найкращий штучний інтелект буде давати непередбачувані результати. Summit Partners добре сказали в недавньому аналізі: “успіх будь-якої системи або процесу, що використовує штучний інтелект, залежить від якості, структури і доступності даних, які живлять його.”

У практичному сенсі це означає, що організації повинні подвоїти зусилля щодо архітектури даних і керування під час впровадження GenAI. Чи маєте ви уніфіковані, доступні сховища даних, які ваш штучний інтелект може використовувати (і я маю на увазі всі сховища даних, включаючи центри даних, гіперскели, і системи SaaS третіх сторін, серед інших)? Чи є ці дані очищені, кураторовані і відповідають нормативним вимогам? Чи є чітка лінія даних і аудитність (так що ви можете довіряти виходам штучного інтелекту і знати, як вони були отримані)? Ці питання зараз знаходяться на передньому плані.

GenAI змушує компанії нарешті привести свій будинок даних у порядок

Керування також набуло нового значення. Коли модель штучного інтелекту потенційно може генерувати неправильну відповідь (або образливу), міцне керування не є опціональним – воно є обов’язковим. Контролі, такі як версіонування, перевірки на упередженість, перегляд людини в циклі і суворі заходи безпеки щодо чутливих даних, є необхідними. Без належного керування, навчання і чітко визначених цілей навіть потужний інструмент штучного інтелекту буде боротися за отримання імпульсу в бізнесі.

І не забудьте про інфраструктуру. Розгортання GenAI у масштабі вимагає значної обчислювальної потужності і суворої інженерії. Моделі повинні бути розгорнуті в реальному часі, по можливості мільйонів запитів з низькою затримкою. їм часто потрібні GPU або спеціалізоване обладнання, а також постійний моніторинг, утримання і керування життєвим циклом. Коротко кажучи, вам потрібна інфраструктура штучного інтелекту, що є безпечною, масштабованою і стійкою. Це місце, де концепція Private AI входить як框, що поєднує інфраструктуру з даними і керуванням. Private AI відноситься до розробки штучного інтелекту в контрольованому і безпечному середовищі, що забезпечує безпеку даних і відповідність вимогам.

Боттом-лайн полягає в тому, що успіх GenAI залежить від гармонії трьох стовпів: даних, керування і інфраструктури. Без одного з них ви ризикуєте приєднатися до 95% проектів, які ніколи не переходять стадію демонстрації.

Чому інженери штучного інтелекту не можуть зробити це самі

Ураховуючи ці вимоги, зрозуміло, що просте наймання кількох талановитих інженерів штучного інтелекту не є срібною кулею. Ми вивчили цей урок за останні кілька років у сфері даних. На початку буму науки про дані компанії намагалися знайти “юнікорнів” – дата-учених, які могли зробити все – побудувати моделі, написати код, обробити дані і розгорнути їх. Ця міфологія вже давно спростована. Як один ветеран дата-ученого сказав, “модель, що сидить у ноутбуці, насправді нічого не робить для бізнесу.” Вам потрібно вбудувати цю модель в застосунок або процес, щоб вона могла створити цінність. І зробити це потрібно колективними зусиллями, що охоплюють кілька наборів навичок.

У кінці 2010-х років ми бачили, як датові команди диверсифікувалися в окремі ролі: інженери даних почали будувати міцні потоки даних, інженери машинного навчання фокусувалися на виробництві моделей, інженери аналітики керували аналітичним шаром і так далі.

Сьогодні GenAI підвищує планку ще вище. Так, вам потрібно спеціалістів штучного інтелекту (інженерів запитів, тонких налаштувальників LLM тощо), але ці спеціалісти зіштовхнуться з стіною, якщо у них немає зрілих потоків даних, керування і безпечних платформ для роботи. Інженер штучного інтелекту може прототипувати чудову мовну модель у пісочниці, але перетворення її в продукт, який використовуватимуть тисячі або мільйони людей, вимагає співробітництва з командами безпеки, офіцерами з відповідності, архітекторами даних, інженерами сайту і багатьма іншими.

Штучний інтелект – це командний спорт. Це спокусительно думати, що ви можете просто впасти державну модель у свій бізнес і раптом мати підприємство, що працює на штучному інтелекті. Компанії, які успішно працюють зі штучним інтелектом, є тими, які побудували міжфункціональні команди, або “фабрики штучного інтелекту”, які поєднують всі ці частини. Їхні датові команди ефективно еволюціонували у фул-стекові команди продукту штучного інтелекту, що поєднують дані, моделювання, інженерію і операції. Вони будують і розгортають свої інструменти у даних, продуктивному і орієнтованому на цінність方式, з генерацією цінності, закладеною в кожному KPI.

Наступне покоління датових команд

Так, що ж чекає на майбутнє для нових “датових команд”? Ось погляд на те, що чекає на ці команди в найближчі роки:

• Менше ручного ETL/ELT: Нудна робота з обробки даних зникне. З більш автоматизованими потоками даних і штучним інтелектом, що допомагає інтеграції, команди не будуть витрачати половину свого часу на очистку і переміщення даних. Робота з підготовки даних буде все більше оброблятися інтелектуальними системами, дозволяючи людям фокусуватися на вищому рівні дизайну і контролю якості.
• Менше панелей: Ера нескінченного налаштування фільтрів панелей згасає. Штучний інтелект дозволить більш природний мовний запит і динамічну доставку інсайтів. Замість попередньо побудованих панелей для кожного питання користувачі отримуватимуть розмовні відповіді від штучного інтелекту (із джерельними даними). Датовим командам доведеться витрачати менше часу на розробку статичних звітів і більше часу на навчання штучного інтелекту, щоб генерувати інсайти на льоту.
• Більше розробки продукту, орієнтованого на штучний інтелект: Датовим команди будуть у центрі інновацій продукту. Чи то розробка нового клієнтського продукту, орієнтованого на штучний інтелект, чи внутрішнього інструменту, що оптимізує операції, ці команди будуть діяти як продуктивні команди. Вони будуть використовувати практики розробки програмного забезпечення, швидке прототипування, тестування A/B і дизайн досвіду користувача – не тільки аналіз даних. Кожна датова команда, по суті, стане командою продукту штучного інтелекту, що доставляє прямій бізнес-цінності.
• Автономні агенти на підйомі: У не такому віддаленому майбутньому датові команди розгортатимуть автономні агенти штучного інтелекту, щоб обробляти звичайні рішення і завдання. Замість того, щоб просто передбачати результати, ці агенти будуть авторизовані на виконання певних дій (із наглядом). Уявіть собі агента операцій штучного інтелекту, який може виявити аномалію і автоматично відкрити ticket на виправлення, або агента продажів штучного інтелекту, який налаштовує ціни електронної комерції в реальному часі. Датовим командам доведеться будувати і керувати цими агентами, розширюючи межі того, що може досягти автоматизація.

У світлі цих змін можна сказати, що “датові команди, як ми їх знали, померли”. Таблицьні джокеї і пламені панелей дали місце новому: командам, орієнтованим на штучний інтелект, що є вільними у даних, коді і бізнес-стратегії. Але далеко від того, щоб це була елегія, це є святкування. Наступне покоління датових команд тільки починається, і вони є більш цінними, ніж будь-коли

Так, пам’ятайте, інженер даних помер, хай живе інженер даних! Датовим команди, як ми їх знали, пішли, але нехай живуть нові датові команди – нехай вони панують у цьому світі, що працює на штучному інтелекті, з інсайтом, відповідальністю і сміливістю.