Tankeledere

Data Teams Er Døde, Lenge Leve Data Teams

mm

Ja, tittelen er klikkvennlig og provokativ, men som en CTO med mange år i data, har jeg vært vitne til en transformasjon som rettferdigger dramatikken. Den tradisjonelle “data team” – bakkontoret som knuser rapporter og dashboards – er effektivt død. I dens sted, en ny type data team er på vei til å oppstå: en AI-først, produkt-drevet kraftsentral med direkte inntektsimpakt. De er ikke lenger en kostnadsenhet, men en inntekts-genererende gruppe.

Reisen fra Business Intelligence til Maskinlæring

For ikke så lenge siden, var data teams synonymt med business intelligence (BI). Vi var historikere av selskapsdata, levde i SQL og regneark, og var ansvarlige for å svare på “Hva skjedde forrige kvartal?” Da store data-teknologier som Hadoop oppstod og begrepet “data scientist” ble det nye sexy jobben, utviklet data teams seg. Midt på 2010-tallet, gjorde vi mer enn bare rapportering; vi gikk inn i data visualisering og interaktive analyser, og produserte dynamiske dashboards for hvert avdeling. Jobben var om data-wrangling, å blande datasett fra ulike kilder og former, og å prøve å forstå domene-kunnskap.

Deretter kom slutten av 2010-tallet og maskinlæring-æraen. Data teams begynte å ansette data scientists for å bygge prediktive modeller og avdekke innsikt i enorme datasett. Vi skiftet fra å beskrive fortiden til å forutsi fremtiden: churn-modeller, anbefalingsmotorer, etterspørselsprognoser – du navn det. Men selv da, var våre utdata slide-decks og innsikt, ikke live-produkter. Vi fungerte som en intern servicebyrå, og rådgav bedriften gjennom analyse. Med andre ord, vi var kostnadsenheter – verdifulle, ja, men ett skritt unna fra kjerneprodukt og inntekt.

I de beste tilfeller, var maskinlæring-lagene spredt ut i separate enheter eller innlemmet i produktgrupper, så at deres modeller og inferens kunne være fullt integrert i plattformer. Den store skillelinjen ledet til talløse feilprosjekter, sunkne investeringer og tapte muligheter.

GenAI: Fra Støttefunksjon til Inntektsenhet

Deretter kom GenAI og alt endret seg. Utgivelsen av kraftfulle store språkmodeller, som GPT-familien og åpne kildevarianter som Llama, snudde landskapet virtuelt over natten. Plutselig, var data teams ikke bare analytiske av bedriften, men ble integrert i å bygge AI-produkter og -opplevelser. Når du suksessfullt integrerer en LLM i en kunde-tilgjengelig applikasjon eller en intern arbeidsflyt, er du ikke lenger bare informerende bedriften; du driver det. En godt implementert GenAI-system kan automatisere kundesupport, generere markedsføringsinnhold, personalisere brukeropplevelser eller til og med gi data nødvendig for å informere og trene oppdyrkende agente AI-systemer. Disse evnene påvirker direkte inntektsstrømmer. I virkeligheten, har data teams’ arbeidsprodukt skiftet fra PowerPoint-bilder til live AI-drevne applikasjoner.

GenAI-lag begynte med innovasjonsgrupper, og leverte bevis for konsept som genererte “wow-faktor”. Og snart nok, var alle AI-ingeniører, og spredte skygge-IT over organisasjoner.

Data teams fant snart seg selv konfrontert med en ny spørsmål: “Når vil du bli en inntektsenhet?” Da AI-ingeniører begynte å lage fantastiske verktøy, var det klart at tiden var moden til å slå sammen to lag: de som kontrollerte data og de som bygde applikasjonene.

Vurdér en detaljhandelsbedrift som setter i gang en GenAI-chatbot for å håndtere salgsforespørsler, eller en bank som lanserer en AI-drevet, personalisert investeringsrådgiver. Disse er ikke tradisjonelle IT-sideprosjekter – de er digitale produkter som skaper kunde-verdi og genererer inntekt. Men samtidig, for å skape disse systemene i skala, trenger AI-ingeniør-lag å kunne tilgå og operationalisere data som tradisjonelle lag har forberedt.

Eksekutivene har lagt merke til. Forventningene til data teams er himmelhøye nå, med styre og CEO som ser til oss for å levere den neste AI-drevne vekstvektoren. Vi har gått fra å være bak-scenen-analytikere til front-line-innovatører. Dette er en spennende posisjon å være i, men det kommer med intens press for å levere resultater i skala.

Fra Utforskning til Produkt – En Enveiskjedør

Skiftet fra utforskende analyse til produkt-sentrert AI er profundt og uavvendelig. Hvorfor uavvendelig? Fordi GenAIs påvirkning på bedrift er bevist å være for stor til å relegate tilbake til en R&D-lek. Ifølge en nylig global undersøkelse, 96% av IT-ledere har nå integrert AI i deres kjerneprosesser – opp fra 88% bare ett år tidligere. Med andre ord, nesten hver entreprise har gått fra å eksperimentere med AI til å integrere det i kritiske arbeidsflyter. Når du krysser terskelen der AI leverer verdi i produksjon, er det ingen vei tilbake.

Dette nye AI-drevne fokus endrer tempo og mentalitet hos data teams. I fortiden, hadde vi luksusen av lange oppdagelsesprosjekter og åpne analyser. I dag, hvis vi bygger en AI-funksjon, må den være produksjonsklar, kompatibel og pålitelig – som enhver kunde-tilgjengelig produkt. Vi har gått inn i det som noen kaller “Autonomous Age” av data-vitenskap. Spørsmålet som styre vårt arbeid er ikke lenger “hvilke innsikt kan vi avdekke?” men “hvilket intelligent system kan vi bygge som handler på innsikt i sanntid?”

GenAI-systemer er ikke bare svar på spørsmål; de begynner å fatte beslutninger. Dette er en enveiskjedør: etter å ha opplevd denne type autonomi og påvirkning, vil bedrifter ikke gå tilbake til statiske rapporter og manuelle beslutninger. Nå mer enn noen gang, trenger data teams å være stakeholder- og produkt-orienterte.

Den Harde Sannheten: Hvorfor de Fleste GenAI-Initiativer Feiler

Midt i all spenningen, er det en edruelig realitet: de fleste GenAI-initiativer feiler. Det viser seg at å deployere GenAI suksessfullt er ekstremt utfordrende. En nylig MIT-studie fant at en overveldende 95% av entreprise GenAI-pilotprosjekter aldri leverer en målbart ROI. Bare om lag 5% av AI-pilotprosjektene oppnår rask inntektsøkning eller meningfull bedrifts-påvirkning. Dette skyldes ikke mangel på potensiale – det skyldes kompleksiteten ved å gjøre AI riktig.

Graver i årsakene til feil, maler MIT-forskningen et klart bilde. Mange prosjekter snubler på grunn av “hype over hardt arbeid” – lag jager flashy demo-bruksområder i stedet for å investere i de kjedelige grunnleggende fundamentene for integrasjon, validering og overvåking. Andre feiler på grunn av det klassiske “skrald inn, skrald ut”-syndromet – dårlig datakvalitet og siloede datapipetter ødelegger prosjektet før AI-en får mulighet til å gjøre sin jobb. Ofte er det ikke AI-modellen som er feil, det er den omgivende miljøet. Som forskerne sier, feiler GenAI ikke i laboratoriet; det feiler i bedriften når det kolliderer med uklare mål, dårlig data og organisatorisk trøtthet. I praksis, stanser de fleste AI-pilotprosjektene på proof-of-concept-stadiet og går aldri videre til full produksjons-deployering.

Denne realitetskontrollen er en verdifull lærepen. Den forteller oss at selv om data teams nå er i rampelyset, sliter de fleste med å møte de økte forventningene. For GenAI å lykkes i skala, må vi krysse en betydelig høyere bar enn vi gjorde i de gamle BI-dagene.

Bortenfor Clever Prompts: Data, Styring & Infrastruktur Må Være viktig

Hva skiller de 5% av AI-prosjektene som trives fra de 95% som feiler? Ifølge min erfaring (og som forskning bekrefter), vinnerne fokuserer på grunnleggende evner – data, styring og infrastruktur. GenAI er ikke magi; det er bygget på data. Uten høykvalitets, godt styrede datapipetter som mater modellene dine, vil selv den beste AI produsere ujevne resultater. Summit Partners sa det godt i en nylig analyse: “suksessen til enhver system eller prosess som bruker AI avhenger av kvaliteten, strukturen og tilgjengeligheten av data som driver det.”

I praktiske termer, betyr dette at organisasjoner må satse dobbelt på data-arkitektur og styring når de adopterer GenAI. Har du forente, tilgjengelige data-lagre som din AI kan trekke på (og jeg mener alle data-lagre, inkludert data-sentre, hyperskalere og tredjeparts SaaS-systemer, blant andre)? Er data renset, kuratert og kompatibelt med reguleringer? Er det klar data-avstamning og overvåkbarhet (så du kan stole på AI-utdata og vite hvordan de ble til)? Disse spørsmålene er nå i forgrunnen.

GenAI Tvinger Bedrifter til å Få Data-huset i Orden

Styring har også fått en ny betydning. Når en AI-modell kan potensielt generere en feilaktig beskjed (eller en offensiv en), er robust styring ikke valgfritt – det er obligatorisk. Kontroller som versjonering, bias-sjekker, menneske-i-løkken-gjennomgang og strenge sikkerhetstiltak rundt sensitive data-innganger er essensielle. Uten ordentlig styring, trening og tydelig definerte mål, vil selv et sterkt AI-verktøy slite med å få fotfeste i bedrift.

Og la oss ikke glemme infrastruktur. Deployering av GenAI i skala krever betydelig beregningskraft og rigid ingeniørarbeid. Modeller må serveres i sanntid, over muligens millioner av forespørsler med lav ventetid. De trenger ofte GPU eller spesialisert maskinvare, samt pågående overvåking, vedlikehold og livssyklus-håndtering. Kort sagt, du trenger industriell AI-infrastruktur som er sikker, skalerbar og motstandsdyktig. Dette er hvor konseptet Private AI kommer inn som rammen som forener infrastruktur med data og styring. Private AI refererer til utviklingen av AI innen en kontrollert og sikker miljø, og sikrer data-sikkerhet og kompatibilitet.

Bunnpunktet er at GenAIs suksess avhenger av harmonien mellom tre søyler: data, styring og infrastruktur. Uten en av dem, risikerer du å bli en del av de 95% av prosjektene som aldri skalerer beyond demo-stadiet.

Hvorfor AI-ingeniører ikke Kan Gjøre Det Alene

Gitt disse kravene, er det klart at å ansette bare noen talentfulle AI-ingeniører ikke er en sølvkule. Vi har lært denne leksjonen over de siste årene i data-industrien. I de tidlige dagene av data-vitenskaps-boomen, prøvde bedrifter å finne “unicorn”-data-vitenskapsmenn som kunne gjøre alt – bygge modeller, skrive kode, håndtere data og deployering. Den myten er siden blitt avvæpnet. Som en erfaren data-vitenskapsmann sa: “en modell som sitter i en notebook gjør ikke noe for bedriften.” Du må innbygge den modellen i en applikasjon eller prosess for å skape verdi. Og det krever et lag-anstrengelse som omfatter flere ferdigheter.

I slutten av 2010-tallet, så vi data-lag diversifisere seg i distinkte roller: data-ingeniører begynte å bygge robuste pipetter, maskinlæring-ingeniører fokuserte på å produksjons-sette modeller, analytics-ingeniører håndterte analytics-laget, og så videre.

I dag, øker GenAI bare standarden enda høyere. Ja, du trenger AI-spesialister (prompt-ingeniører, LLM-fine-tunere, osv.), men disse spesialistene vil treffen en vegg hvis de ikke har modne datapipetter, styrings-rammer og sikre plattformer å jobbe med. En AI-ingeniør kan prototypere en stor språk-modell i en sandbox, men å omdanne den til et produkt som brukes av tusener eller millioner, krever samarbeid med sikkerhets-lag, compliance-offiserer, data-arkitekter, nettverks-ingeniører og mer.

AI er et lag-sport. Det er fristende å tro at du kan slippe en state-of-the-art-modell inn i bedriften og plutselig ha en AI-drevet entreprise. Bedrifter som lykkes med AI, er de som har bygget tverrfaglige lag, eller “AI-fabrikker”, som bringer alle disse delene sammen. Deres data-lag har effektivt utviklet seg til full-stack AI-produkt-lag, som blander data, modellering, ingeniør-arbeid og operasjons-ekspertise. De bygger og deployer sine verktøy på en data-drevet, produkt-led måte, med verdi-generering innbygget i hver KPI.

Den Neste Generasjon av Data Teams

Så, hva holder fremtiden for den nye “data team”? Her er et glimt av hva som kommer for disse lagene i de neste årene:

  • Mindre manuell ETL/ELT: Tidkrevende data-wrangling vil avta. Med mer automatiserte datapipetter og AI-assistert integrasjon, vil lag ikke bruke halve tiden sin på å rense og flytte data. Grunt-arbeidet med data-forberedelse vil bli håndtert av intelligente systemer, og mennesker vil fokusere på høyere-nivå-design og kvalitetskontroll.
  • Færre dashboards: Erasen med endeløse dashboard-filtre er på vei ut. AI vil muliggjøre mer naturlig språk-forespørsler og dynamisk innsikt-levering. I stedet for forhåndsbygde dashboards for hver spørsmål, vil brukere få konversasjonelle svar fra AI (med kilde-data vedlagt). Data-lag vil bruke mindre tid på å utvikle statiske rapporter og mer tid på å trene AI til å generere innsikt på fly.
  • Mer AI-nativt produkt-utvikling: Data-lag vil være i hjertet av produkt-innovasjon. Enten det er å utvikle en ny kunde-tilgjengelig AI-funksjon eller en intern AI-verktøy som optimaliserer operasjoner, vil disse lagene fungere som produkt-lag. De vil bruke programvare-utviklings-praksis, rask prototyping, A/B-testing og bruker-erfaring-design – ikke bare data-analyse. Hvert data-lag vil, i effekt, bli et AI-produkt-lag som leverer direkte bedrifts-verdi.
  • Autonome agenter på fremmarsj: I ikke så fjerne fremtid, vil data-lag deployere autonome AI-agenter for å håndtere rutine-beslutninger og -oppgaver. I stedet for bare å forutsi resultater, vil disse agentene bli autorisert til å ta bestemte handlinger (med tilsyn). Tenk en AI-ops-agent som kan detektere en anomali og automatisk åpne en remedierings-billett, eller en salgs-AI-agent som justerer e-handels-priser i sanntid. Data-lag vil være ansvarlige for å bygge og håndtere disse agentene, og å presse grensene for hva automatisering kan oppnå.

I lys av disse endringene, kan en faktisk si “data teams som vi kjente dem er døde.” Regnearks-jockeier og dashboard-rørleggerne har gitt plass til noe nytt: AI-først-lag som er flytende i data, kode og bedrifts-strategi. Men langt fra å være en nekrolog, er dette en feiring. Den nye generasjon av data teams er bare begynt, og de er mer verdifulle enn noen gang

Så, husk, data-ingeniøren er død, lenge leve data-ingeniøren! Data-lagene som vi kjente dem er borte, men lenge leve de nye data-lag – må de regjere i denne AI-drevne verden med innsikt, ansvar og dristighet.

Sergio Gago er CTO i Cloudera, med over 20 års erfaring innen AI/ML, kvantecomputing og data-drevne arkitekturer. Tidligere Managing Director for AI/ML og kvante i Moody's Analytics, har han også hatt CTO-roller i Rakuten, Qapacity og Zinio. Sergio er en sterk forkjemper for pålitelig data-infrastruktur, og mener at AI vil utvikle seg til å bli bedriftens operativsystem innen 2030.