Data Teams Are Dead, Long Live Data Teams

Ja, tittelen er klikkvennlig og provokerende, men som en CTO med mange års erfaring innen data, har jeg vært vitne til en transformasjon som rettferdiggjør dramatikk. Den tradisjonelle “data team” – bakkontoret som knuser rapporter og dashboards – er effektivt død. I dens sted er en ny type data team i ferd med å oppstå: en AI-først, produkt-drevet kraftsentral med direkte inntektsimpakt. De er ikke lenger en kostnadsenhet, men en inntekts-genererende gruppe.

Reisen fra Business Intelligence til Machine Learning

For ikke så lenge siden var data teams synonymt med business intelligence (BI). Vi var historikere av selskapsdata, levde i SQL og regneark, og ble bedt om å svare på “Hva skjedde forrige kvartal?” Da store data-teknologier som Hadoop oppstod og begrepet “data scientist” ble det nye sexy jobben, utviklet data teams seg. Midt på 2010-tallet gjorde vi mer enn bare rapportering; vi gikk inn i data visualisering og interaktive analyser, og produserte dynamiske dashboards for hver avdeling. Jobben handlet om data wrangling, å blande datasets fra ulike kilder og former, og å prøve å forstå domenekunnskap.

Så kom slutten av 2010-tallet og maskinlæringseraen. Data teams begynte å ansette data scientists for å bygge prediktive modeller og avdekke innsikt i store datasets. Vi skiftet fra å beskrive fortiden til å forutsi fremtiden: churn-modeller, anbefalingsmotorer, etterspørselsprognoser – du navn det. Men selv da var våre utdata presentasjoner og innsikt, ikke live-produkter. Vi fungerte som en intern servicebyrå, som rådgav bedriften gjennom analyse. Med andre ord, vi var kostnadsenheter – verdifulle, ja, men ett skritt unna fra kjerneprodukt og inntekt.

I de beste tilfeller var maskinlæringsteamene spredt ut i separate enheter eller innlemmet i produktgrupper, så deres modeller og inferens kunne være fullt integrert i plattformer. Den store skillelinjen ledet til mange feilende prosjekter, sunkne investeringer og tapt muligheter.

GenAI: Fra støttefunksjon til inntektsenhet

Så kom GenAI og alt endret seg. Utgivelsen av kraftfulle store språkmodeller, som GPT-familien og åpne kildevarianter som Llama, snudde landskapet nesten over natten. Plutselig var data teams ikke bare med å analysere bedriften, men i stedet ble de essensielle for å bygge AI-produkter og -opplevelser. Når du suksessfullt integrerer en LLM i en kunde-orientert applikasjon eller en intern arbeidsflyt, er du ikke lenger bare med å informere bedriften; du driver den. En velimplementert GenAI-system kan automatisere kundesupport, generere markedsføringsinnhold, tilpasse brukeropplevelser eller til og med gi dataene nødvendig for å informere og trene fremvoksende agente AI-systemer. Disse evnene påvirker direkte inntektsstrømmer. I virkeligheten har data teams arbeidsprodukt skiftet fra PowerPoint-foyer til live AI-drevne applikasjoner.

GenAI-teamene startet med innovasjonsgrupper, leverte bevis på konsept som genererte “wow-faktor”. Og snart nok var alle AI-ingeniører, spredte skygge-IT over organisasjonene.

Data teams fant snart seg selv med et nytt spørsmål: “Når vil du bli en inntektsenhet?” Da AI-ingeniører begynte å lage fantastiske verktøy, var det klart at tiden var moden til å slå sammen to team: de som kontrollerte dataene og de som bygde applikasjonene.

Tenk på en detaljhandelsbedrift som setter i gang en GenAI-chatbot for å håndtere salgsforespørsler, eller en bank som lanserer en AI-drevet, personlig investeringsrådgiver. Disse er ikke tradisjonelle IT-sideprosjekter – de er digitale produkter som skaper kundeverdi og genererer inntekt. Men samtidig, for å skape disse systemene i stor skala, trenger AI-ingeniørteamene å kunne få tilgang til og operationalisere dataene som tradisjonelle team har forberedt.

Ledere har merket dette. Forventningene til data teams er himmelhøye nå, med styre og CEO som ser til oss for å levere den neste AI-drevne vekstvektoren. Vi har gått fra å være bak-scenen-analytikere til front-line innovatører. Det er en spennende posisjon å være i, men det kommer med intens press for å levere resultater i stor skala.

Fra utforskning til produkt – En envegsdør

Skiftet fra utforskende analyse til produkt-sentrert AI er profundt og uavvendelig. Hvorfor uavvendelig? Fordi GenAIs påvirkning på bedrift er bevist for stor til å legge tilbake til en R&D-lek. Ifølge en nylig global undersøkelse, 96% av IT-ledere har nå integrert AI i sine kjerneprosesser – opp fra 88% bare ett år tidligere. Med andre ord, nesten hver entreprise har gått fra å eksperimentere med AI til å innlemme det i kritiske arbeidsflyter. Når du krysser terskelen der AI leverer verdi i produksjon, er det ingen vei tilbake.

Denne nye AI-drevne fokus endrer takten og tankesettet til data teams. I fortiden hadde vi luksusen av lange oppdagelsesprosjekter og åpne analyser. I dag, hvis vi bygger en AI-funksjon, må den være produksjonsklar, samsvarlig og pålitelig – som ethvert kunde-orientert produkt. Vi har gått inn i det som noen kaller “Autonomous Age” av data science. Spørsmålet som veileder vår arbeid er ikke lenger “Hva innsikt kan vi avdekke?” men “Hva intelligent system kan vi bygge som handler på innsikt i sanntid?”

GenAI-systemer er ikke bare med å svare på spørsmål; de begynner å fatte beslutninger. Det er en envegsdør: etter å ha erfart denne type autonomi og påvirkning, vil bedrifter ikke nøye seg med statiske rapporter og manuell beslutning. Nå mer enn noen gang trenger data teams å være stakeholder- og produkt-orientert.

Den harde sannheten: Hvorfor de fleste GenAI-initiativer feiler

Midt i all spenningen, er det en edruelig realitet: de fleste GenAI-initiativer feiler. Det viser seg at å deployere GenAI suksessfullt er ekstremt utfordrende. En nylig MIT-studie fant at en overveldende 95% av enterprise GenAI-pilotprosjekter aldri leverer en målbart ROI. Bare om lag 5% av AI-pilotprosjektene oppnår rask inntektsøkning eller meningfull bedriftspåvirkning. Dette skyldes ikke mangel på potensial – det skyldes kompleksiteten ved å gjøre AI riktig.

Ved å grave i årsakene til feil, maler MIT-forskningen et klart bilde. Mange prosjekter snubler fordi de jager flashy demo-brukstilfeller i stedet for å investere i de kjedelige grunnleggende fundamentene for integrasjon, validering og overvåking. Andre feiler på grunn av det klassiske “garbage in, garbage out”-syndromet – dårlig datakvalitet og siloede datapipetter dømmer prosjektet før AI-en får mulighet til å gjøre jobben sin. Ofte er det ikke AI-modellen som er feil, det er den omgivende miljøet. Som forskerne sier, feiler GenAI ikke i laboratoriet; det feiler i bedriften når det kolliderer med uklare mål, dårlig data og organisatorisk trøgg.

Ut over smarte promter: Data, styring og infrastruktur teller

Hva skiller de 5% av AI-prosjektene som lykkes fra de 95% som feiler? I min erfaring (og som forskning bekrefter), fokuserer vinnerne på grunnleggende evner – data, styring og infrastruktur. GenAI er ikke magi; det er bygget på data. Uten høykvalitets, godt styrt datapipetter som mater modellene dine, vil selv den beste AI produsere uregelmessige resultater. Summit Partners sa det godt i en nylig analyse: “suksessen til ethvert system eller prosess som bruker AI henger på kvaliteten, strukturen og tilgjengeligheten av dataene som driver det.”

I praktisk forstand betyr dette at organisasjoner må doble innsatsen på dataarkitektur og styring når de adopterer GenAI. Har du forente, tilgjengelige data lagre som din AI kan trekke på (og jeg mener alle data lagre, inkludert data sentre, hyperscalers og tredjeparts SaaS-systemer, blant andre)? Er dataene rengjort, kuratert og samsvarlig med reguleringer? Er det klar data linje og revisjon (så du kan stole på AI-utdata og vite hvordan de ble til)? Disse spørsmålene er nå i fremste rekke.

GenAI tvinger bedrifter til endelig å få data huset i orden.

Styring har også fått ny betydning. Når en AI-modell kan potensielt generere et feil svar (eller et offensivt ett), er robust styring ikke valgfritt – det er obligatorisk. Kontroller som versjonering, bias-sjekker, menneske-i-løkken-gjennomgang, og strenge sikkerhetstiltak rundt sensitive data innganger er essensielle. Uten ordentlig styring, trening og tydelig definerte mål, vil selv et sterkt AI-verktøy slite med å få fotfeste i bedrift.

Og la oss ikke glemme infrastruktur. Å deployere GenAI i stor skala krever betydelig datamaskinkraft og rigorøs ingeniørarbeid. Modeller må serveres i sanntid, over muligens millioner av forespørsler med lav latency. De trenger ofte GPU eller spesialisert maskinvare, samt pågående overvåking, vedlikehold og livssyklusstyring. Kort sagt, du trenger industriell AI-infrastruktur som er sikker, skalerbar og resilient. Dette er hvor konseptet Private AI kommer inn som rammen som forener infrastruktur med data og styring. Private AI refererer til utviklingen av AI innen en kontrollert og sikker miljø, som sikrer datasikkerhet og samsvar.

Hvorfor AI-ingeniører ikke kan gjøre det alene

Gitt disse kravene, er det klart at å ansette noen talende AI-ingeniører ikke er en sølvkule. Vi har lært denne leksjonen over de siste årene i dataindustrien. I de tidlige dagene av data science-boomen, prøvde bedrifter å finne “unicorn” data scientists som kunne gjøre alt – bygge modeller, skrive kode, håndtere data og deployering. Denne myten har siden blitt avvist. Som en veteran data scientist sa, “en modell som sitter i en notebook gjør ikke noe for bedriften.” Du må innlemme den modellen i en applikasjon eller prosess for å skape verdi. Og å gjøre det krever et team innsats som spenner over flere ferdigheter.

I slutten av 2010-tallet, så vi data teams diversifisere seg i distinkte roller: data-ingeniører begynte å bygge robuste pipetter, maskinlæring-ingeniører fokuserte på produksjon av modeller, analytics-ingeniører håndterte analytics-laget, og så videre.

I dag, øker GenAI bare standarden enda høyere. Ja, du trenger AI-spesialister (prompt-ingeniører, LLM-fine-tunere, osv.), men disse spesialistene vil treffen en vegg hvis de ikke har modne datapipetter, styringsrammer og sikre plattformer å jobbe med. En AI-ingeniør kan prototypere en stor språkmodell i en sandkasse, men å omdanne det til et produkt brukt av tusenvis eller millioner, krever samarbeid med sikkerhetsteam, compliance-offiserer, data-arkitekter, nettverks-ingeniører og mer.

AI er et lag-spill. Det er fristende å tro at du kan slippe en state-of-the-art-modell i din bedrift og plutselig ha en AI-drevet entreprise. Bedriftene som lykkes med AI, er de som har bygget tverrfaglige team, eller “AI-fabrikker”, som bringer alle disse delene sammen. Deres data teams har effektivt utviklet seg til full-stack AI-produkt team, som blander data, modellering, ingeniørarbeid og operasjoner-ekspertise. De bygger og deployer verktøyene sine på en data-drevet, produkt-led måte, med verdi-generering innlemmet i hver KPI.

Den neste generasjonen av data teams

Hva holder fremtiden for det nye “data team”? Her er et glimt av hva som kommer for disse teamene i de neste årene:

• Mindre manuell ETL/ELT: Tidkrevende data wrangling vil avta. Med mer automatiske datapipetter og AI-assistert integrasjon, vil teamene ikke bruke halve tiden sin på å rengjøre og flytte data. Grunnarbeidet med data-forberedelse vil bli håndtert av intelligente systemer, som lar mennesker fokusere på høyere nivå-design og kvalitetskontroll.
• Færre dashboards: Epoken med endeløse justeringer av dashboard-filter er på vei ut. AI vil enable mere naturlig språk-spørring og dynamisk innsikt-levering. I stedet for forhåndsbygde dashboards for hvert spørsmål, vil brukerne få konversasjonelle svar fra AI (med kilde-data vedlagt). Data teams vil bruke mindre tid på å utvikle statiske rapporter og mer tid på å trene AI til å generere innsikt på fly.
• Mer AI-nativt produktutvikling: Data teams vil være i hjertet av produkt-innovasjon. Enten det er å utvikle en ny kunde-orientert AI-funksjon eller en intern AI-verktøy som optimaliserer operasjoner, vil disse teamene fungere som produkt team. De vil bruke programvare-utviklingspraksis, rask prototyping, A/B-testing og bruker-erfaring-design – ikke bare data-analyse. Hvert data team vil, i virkeligheten, bli et AI-produkt team som leverer direkte bedriftsverdi.
• Autonome agenter på fremmarsj: I en ikke så fjernt fremtid, vil data teams deployere autonome AI-agenter for å håndtere rutine-beslutninger og oppgaver. I stedet for bare å forutsi resultater, vil disse agentene bli autorisert til å ta visse handlinger (med tilsyn). Tenk deg en AI-ops-agent som kan detektere en anomali og automatisk åpne en remedieringsbillett, eller en salgs-AI-agent som finjusterer e-handelspriser i sanntid. Data teams vil være ansvarlige for å bygge og håndtere disse agentene, og presse grensene for hva automatisering kan oppnå.

I lys av disse endringene, kan en faktisk si “data teams som vi kjente dem er døde.” Regneark-jockeier og dashboard-rørleggerne har gitt plass til noe nytt: AI-først team som er flytende i data, kode og bedriftsstrategi. Men langt fra å være en gravtale, er dette en feiring. Den nye generasjonen av data teams er bare i ferd med å begynne, og de er mer verdifulle enn noen gang

Så, husk, data-ingeniøren er død, lang leve data-ingeniøren! Data teams som vi kjente dem er borte, men lang leve de nye data teams – må de regjere i denne AI-drevne verden med innsikt, ansvar og mot.