Zespoły danych są martwe, niech żyją zespoły danych

Tak, tytuł jest klikalny i prowokacyjny, ale jako CTO z wieloma latami doświadczenia w dziedzinie danych, byłam świadkiem przemiany, która uzasadnia tę dramatyczność. Tradycyjny „zespół danych” – zespół w biurze, który zajmuje się raportami i dashboardami – jest skutecznie martwy. Jego miejsce zajmuje nowy rodzaj zespołu danych: zespół, który jest nastawiony na AI, ukierunkowany na produkty i ma bezpośredni wpływ na przychody. Nie są już one centrum kosztów, ale grupą generującą zyski.

Podróż od Business Intelligence do Machine Learning

Niedawno zespoły danych były synonimem inteligencji biznesowej (BI). Byliśmy historykami danych firmy, żyjącymi w SQL i arkuszach kalkulacyjnych, odpowiedzialnymi za odpowiedzi na pytanie „Co się stało w zeszłym kwartale?” Gdy pojawiły się technologie Big Data, takie jak Hadoop, i termin „naukowiec danych” stał się nową modą, zespoły danych ewoluowały. W połowie lat 2010-tych robiliśmy więcej niż raporty; weszliśmy w wizualizację danych i interaktywną analitykę, produkując dynamiczne dashboady dla każdego departamentu. Praca polegała na walce z danymi, łączeniu zestawów danych z różnych źródeł i kształtów, oraz próbach zrozumienia wiedzy branżowej.

Później, pod koniec lat 2010-tych, nastąpiła era machine learningu. Zespoły danych zaczęły zatrudniać naukowców danych, aby budować modele predykcyjne i odkrywać spostrzeżenia w ogromnych zestawach danych. Przeszliśmy od opisywania przeszłości do przewidywania przyszłości: modele churn, silniki rekomendacji, prognozy popytu – wybierzcie. Ale nawet wtedy nasze dane wyjściowe były prezentacjami i spostrzeżeniami, a nie żywymi produktami. Funkcjonowaliśmy jako wewnętrzna agencja usługowa, doradzająca biznesowi poprzez analizę. Innymi słowy, byliśmy centrami kosztów – cennymi, tak, ale o jeden krok oddalonymi od rdzenia produktu i przychodu.

W najlepszych przypadkach zespoły machine learningu były rozproszone w oddzielne jednostki lub osadzone w grupach produktowych, tak aby ich modele i wnioski mogły być w pełni zintegrowane z platformami. Wielka przepaść doprowadziła do licznych nieudanych projektów, zainwestowanych pieniędzy i utraconych możliwości.

GenAI: Od funkcji wsparcia do centrum zysków

Potem pojawił się GenAI i wszystko się zmieniło. Wydanie potężnych dużych modeli językowych, takich jak rodzina GPT i otwarte warianty, takie jak Llama, odwróciło krajobraz niemal z dnia na dzień. Nagle zespoły danych nie tylko analizowały biznes, ale stały się integralną częścią budowy produktów i doświadczeń AI. Gdy pomyślnie zintegrujesz LLM z aplikacją kliencką lub wewnętrznym procesem, nie tylko informujesz biznes; napędzasz go. Dobrze zaimplementowany system GenAI może zautomatyzować obsługę klienta, generować treści marketingowe, personalizować doświadczenia użytkowników lub nawet dostarczać dane niezbędne do poinformowania i przeszkolenia nowych systemów AI. Te możliwości mają bezpośredni wpływ na strumienie przychodów. W efekcie produkt pracy zespołu danych przesunął się od slajdów PowerPoint do żywych aplikacji napędzanych przez AI.

Zespoły GenAI zaczęły od grup innowacyjnych, dostarczających dowody koncepcji, które generowały „wow efekt”. I niedługo potem każdy był inżynierem AI, rozprzestrzeniającym cienie IT w organizacjach.

Zespoły danych wkrótce znalazły się w obliczu nowego pytania: „Kiedy staniesz się centrum zysków?” Gdy inżynierowie AI zaczęli tworzyć niesamowite narzędzia, było jasne, że nadszedł czas, aby połączyć dwa zespoły: te, które kontrolowały dane, i te, które budowały aplikacje.

Rozważmy firmę detaliczną, która wdrożyła chatbota GenAI do obsługi zapytań sprzedażowych lub bank, który uruchomił AI-driven, personalizowanego doradcę inwestycyjnego. Nie są to tradycyjne projekty IT – są to cyfrowe produkty, które tworzą wartość dla klienta i generują przychody. Jednak w tym samym czasie, aby stworzyć te systemy na dużą skalę, zespoły inżynierów AI muszą mieć możliwość dostępu i operacjonalizacji danych, które tradycyjne zespoły przygotowały.

Dyrektorzy wykonawczy zauważyli to. Oczekiwania wobec zespołów danych są teraz niezwykle wysokie, z zarządami i CEO, którzy spodziewają się, że dostarczymy następny wektor wzrostu napędzany przez AI. Przeszliśmy od bycia analitykami w tle do pionierów na pierwszej linii. To ekscytująca pozycja, w której się znajdujemy, ale wiąże się z intensywną presją, aby dostarczyć wyniki na dużą skalę.

Od eksploracji do produktu – drzwi jednokierunkowe

Przesunięcie od analitycznej eksploracji do produktu AI jest głębokie i nieodwracalne. Dlaczego nieodwracalne? Ponieważ wpływ GenAI na biznes okazał się zbyt duży, aby relegować go z powrotem do zabawki R&D. Zgodnie z niedawnym globalnym sondażem, 96% liderów IT już zintegrowało AI z procesami rdzenia – w porównaniu z 88% rok temu. Innymi słowy, prawie każda firma przeszła od eksperymentowania z AI do osadzania go w procesach misji. Gdy przekroczysz ten próg, na którym AI dostarcza wartość w produkcji, nie ma już powrotu.

Nowy AI-napędzany focus zmienia tempo i nastawienie zespołów danych. W przeszłości mieliśmy luksus długich projektów odkrywczych i otwartych analiz. Dziś, jeśli budujemy funkcję AI, musi być ona gotowa do produkcji, zgodna z przepisami i niezawodna – jak każdy produkt kliencki. Wszedłśmy w to, co niektórzy nazywają „Era Autonomiczności” nauki o danych. Pytanie, które kieruje naszą pracą, nie brzmi już „jakie spostrzeżenia możemy odkryć?”, ale „jaki inteligentny system możemy zbudować, który działa na spostrzeżeniach w czasie rzeczywistym?”

Systemy GenAI nie tylko odpowiadają na pytania; zaczynają podejmować decyzje. To drzwi jednokierunkowe: po doświadczeniu tego rodzaju autonomii i wpływu firmy nie zadowolą się już statycznymi raportami i ręcznym podejmowaniem decyzji. Teraz bardziej niż kiedykolwiek zespoły danych muszą być zorientowane na interesariuszy i produkty.

Twarda prawda: Dlaczego większość inicjatyw GenAI kończy się niepowodzeniem

Wśród całego entuzjazmu jest trzeźwa rzeczywistość: większość inicjatyw GenAI kończy się niepowodzeniem. Okazuje się, że pomyślne wdrożenie GenAI jest niezwykle trudne. Niedawne badanie MIT wykazało, że aż 95% projektów pilotażowych GenAI w przedsiębiorstwach nigdy nie dostarcza mierzalnego zwrotu z inwestycji. Tylko około 5% pilotów AI rzeczywiście osiąga szybkie zyski lub znaczący wpływ biznesowy. Nie jest to spowodowane brakiem potencjału – jest to spowodowane złożonością robienia AI dobrze.

Wgłębiając się w przyczyny niepowodzeń, badanie MIT rysuje wyraźny obraz. Wiele projektów potyka się, ponieważ „hype przewyższa ciężką pracę” – zespoły gonią za efektownymi przypadkami użycia, zamiast inwestować w nudne podstawy integracji, walidacji i monitorowania. Inne kończą się niepowodzeniem z powodu klasycznego „śmieci w, śmieci wy” – zła jakość danych i sylotowe potoki danych skazują projekt na niepowodzenie, zanim AI nawet zacznie działać. Często nie jest to model AI, który jest wadliwy, ale otaczające środowisko. Jak mówią badacze, GenAI nie zawodzi w laboratorium; zawodzi w przedsiębiorstwie, gdy zderza się z niejasnymi celami, złymi danymi i organizacyjną bezwładnością. W praktyce większość pilotów AI zatrzymuje się na etapie dowodu koncepcyjnego i nigdy nie przechodzi do pełnej wdrożenia produkcyjnego.

Ten sprawdzian rzeczywistości jest cenną lekcją. Mówi nam, że nawet jeśli zespoły danych są teraz w centrum uwagi, większość z nich ma trudności z spełnieniem podniesionych oczekiwań. Aby GenAI odniósł sukces na dużą skalę, musimy przekroczyć znacznie wyższą poprzeczkę niż dawniej w dniach BI.

Poza sprytnymi promptami: Dane, zarządzanie i infrastruktura mają znaczenie

Co odróżnia 5% projektów AI, które prosperują, od 95%, które zawodzą? W moim doświadczeniu (i jak potwierdza badanie) zwycięzcy koncentrują się na podstawowych możliwościach – danych, zarządzaniu i infrastrukturze. GenAI nie jest magią; jest zbudowany na danych. Bez wysokiej jakości, dobrze zarządzanych potoków danych, które karmią twoje modele, nawet najlepszy AI wyprodukuje nieregularne wyniki. Summit Partners powiedział to dobrze w niedawnym analizie: „sukces każdego systemu lub procesu, który wykorzystuje AI, zależy od jakości, struktury i dostępności danych, które go zasilają”.

W praktyce oznacza to, że organizacje muszą podwoić wysiłki w dziedzinie architektury danych i zarządzania, gdy przyjmują GenAI. Czy masz ujednolicone, dostępne sklepy danych, z których może korzystać twoje AI (i mam na myśli WSZYSTKIE sklepy danych, w tym centra danych, hyperscalery i systemy SaaS, między innymi)? Czy te dane są czyste, opracowane i zgodne z przepisami? Czy jest wyraźna linia danych i audytowalność (abyś mógł zaufać wyjściom AI i wiedzieć, jak powstały)? Te pytania są teraz na pierwszym planie.

GenAI zmusza firmy do uporządkowania swojego domu danych.

Zarządzanie również zyskało nowe znaczenie. Gdy model AI może potencjalnie wygenerować błędną odpowiedź (lub obraźliwą), solidne zarządzanie nie jest opcjonalne – jest obowiązkowe. Kontrole, takie jak wersjonowanie, sprawdzanie stronniczości, przegląd człowieka w pętli i ścisłe środki bezpieczeństwa wokół wrażliwych danych wejściowych, są niezbędne. Bez odpowiedniego zarządzania, szkolenia i wyraźnie określonych celów, nawet silne narzędzie AI będzie miało trudności z uzyskaniem przyczepności w biznesie.

I nie zapomnijmy o infrastrukturze. Wdrożenie GenAI na dużą skalę wymaga znacznego komputera i rygorystycznego inżynierii. Modele muszą być obsługiwane w czasie rzeczywistym, na przestrzeni milionów zapytań o niską latencję. Często wymagają one GPU lub specjalistycznego sprzętu, a także ciągłego monitorowania, przechowywania i zarządzania cyklem życia. Krótko mówiąc, potrzebujesz przemysłowej infrastruktury AI, która jest bezpieczna, skalowalna i wytrzymała. To jest miejsce, w którym pojawia się concept Private AI jako ramy, które łączą infrastrukturę z danymi i zarządzaniem. Private AI odnosi się do rozwoju AI w kontrolowanym i bezpiecznym środowisku, zapewniając bezpieczeństwo danych i zgodność.

Prawda jest taka, że sukces GenAI zależy od harmonii trzech filarów: danych, zarządzania i infrastruktury. Bez jednego z nich ryzykujesz dołączenie do 95% projektów, które nigdy nie osiągną skali poza etapem demo.

Dlaczego inżynierowie AI nie mogą tego zrobić sami

Biorąc pod uwagę te wymagania, jest jasne, że proste zatrudnienie kilku utalentowanych inżynierów AI nie jest srebrną kulą. Nauczyliśmy się tej lekcji w ciągu kilku ostatnich lat w branży danych. Na początku boomu data science firmy próbowały znaleźć „jednorogie” naukowców danych, którzy mogliby zrobić wszystko – zbudować modele, napisać kod, obsłużyć dane i wdrożenie. Ten mit został już zdyskredytowany. Jak powiedział jeden doświadczony naukowiec danych, „model w notesie nie robi nic dla biznesu”. Musisz osadzić ten model w aplikacji lub procesie, aby mógł tworzyć wartość. I to wymaga współpracy zespołu, który obejmuje wiele umiejętności.

W późnych latach 2010-tych widzieliśmy, jak zespoły danych różnicują się w odrębne role: inżynierowie danych zaczęli budować solidne potoki, inżynierowie machine learningu skupili się na produkowaniu modeli, inżynierowie analityczni zarządzali warstwą analityczną itd.

Dziś GenAI podnosi poprzeczkę jeszcze wyżej. Tak, potrzebujesz specjalistów AI (inżynierów promptów, fine-tunerów LLM itd.), ale ci specjaliści uderzą w ścianę, jeśli nie będą mieli dojrzałych potoków danych, ram zarządzania i bezpiecznych platform do pracy. Inżynier AI może zaprojektować wspaniały model językowy w piaskownicy, ale przekształcenie go w produkt używany przez tysiące lub miliony wymaga współpracy z zespołami bezpieczeństwa, oficerami zgodności, architektami danych, inżynierami niezawodności witryny i wielu innych.

AI to sport zespołowy. Jest kuszące myśleć, że możesz upuścić model stanu sztuki do swojego biznesu i nagle mieć firmę napędzaną przez AI. Firmy, które odnoszą sukcesy z AI, są tymi, które zbudowały zespoły wielofunkcyjne, czy „fabryki AI”, które łączą wszystkie te elementy. Ich zespoły danych ewoluowały skutecznie w pełne zespoły produktów AI, łącząc dane, modelowanie, inżynierię i operacje. Budują i wdrażają swoje narzędzia w sposób napędzany danymi i ukierunkowany na produkty, z generowaniem wartości wbudowanym w każdy KPI.

Następna generacja zespołów danych

Co przynosi przyszłość dla nowego „zespołu danych”? Oto wygląd tego, co nadchodzi dla tych zespołów w ciągu najbliższych kilku lat:

• Mniej ręcznego ETL/ELT: Nużąca walka z danymi zmaleje. Z bardziej zautomatyzowanymi potokami danych i AI-pomocną integracją, zespoły nie będą spędzać połowy swojego czasu na czyszczeniu i przenoszeniu danych. Praca z danymi będzie coraz częściej obsługiwana przez inteligentne systemy, pozwalając ludziom koncentrować się na wyższym poziomie projektowania i kontroli jakości.
• Mniej dashboardów: Era niekończącego się dostosowywania filtrów dashboardów maleje. AI umożliwi bardziej naturalny język zapytań i dynamiczną dostawę spostrzeżeń. Zamiast prebudowanych dashboardów dla każdego pytania, użytkownicy otrzymają odpowiedzi konwersacyjne od AI (z danymi źródłowymi). Zespoły danych będą spędzać mniej czasu na tworzeniu statycznych raportów i więcej czasu na szkolenie AI do generowania spostrzeżeń na fly.
• Więcej AI-natywnego rozwoju produktu: Zespoły danych będą w centrum innowacji produktowych. Niezależnie od tego, czy rozwijasz nową funkcję AI dla klienta, czy wewnętrzne narzędzie AI, które optymalizuje operacje, te zespoły będą działać jak zespoły produktowe. Zastosują praktyki rozwoju oprogramowania, szybkie prototypowanie, testy A/B i projektowanie doświadczeń użytkownika – a nie tylko analizę danych. Każdy zespół danych stanie się skutecznie zespołem produktu AI, dostarczając bezpośrednią wartość biznesową.
• Autonomiczne agenci na wzrost: W niedalekiej przyszłości zespoły danych wdrożą autonomiczne agenty AI, aby obsłużyć rutynowe decyzje i zadania. Zamiast tylko przewidywać wyniki, ci agenci będą upoważnieni do podjęcia pewnych działań (z nadzorem). Wyobraź sobie agenta AI operacyjnego, który może wykryć anomalie i automatycznie otworzyć ticket naprawy, lub agenta AI sprzedażowego, który dostosowuje ceny e-commerce w czasie rzeczywistym. Zespoły danych będą odpowiedzialne za budowanie i zarządzanie tymi agentami, rozszerzając granice tego, co może osiągnąć automatyzacja.

W świetle tych zmian można by rzeczywiście powiedzieć, że „zespoły danych, jakie znałyśmy, są martwe”. Klikalne zespoły i hydraulicy dashboardów ustąpiły miejsca czemuś nowemu: zespołom nastawionym na AI, które są biegłe w danych, kodzie i strategii biznesowej. Ale zamiast być żałobą, jest to celebracja. Nowa generacja zespołów danych jest dopiero na początku, i są one bardziej wartościowe niż kiedykolwiek

Więc pamiętaj, inżynier danych jest martwy, niech żyje inżynier danych! Zespoły danych, jakie znałyśmy, odeszły, ale niech żyją nowe zespoły danych – niech rządzą w tym świecie napędzanym przez AI z wglądem, odpowiedzialnością i audacją.