Data Teams Are Dead, Long Live Data Teams

Ja, de titel is clickbaity en provocerend, maar als CTO met veel ervaring in data, heb ik een transformatie meegemaakt die de dramatiek rechtvaardigt. Het traditionele “data team” – de back-office crew die rapporten en dashboards samenstelde – is effectief dood. In zijn plaats komt een nieuw soort data team op: een AI-first, product-gedreven krachtpatser met directe invloed op de omzet. Ze zijn geen kostenpost meer, maar een winstgevende groep.

De Reis van Business Intelligence naar Machine Learning

Niet zo lang geleden waren data teams synoniem met business intelligence (BI). We waren de historici van bedrijfsdata, levend in SQL en spreadsheets, belast met het beantwoorden van “Wat gebeurde er vorig kwartaal?” Toen big data-technologieën zoals Hadoop opkwamen en de term “data scientist” het nieuwe sexy beroep werd, evolueerden data teams. Halverwege de jaren 2010 deden we meer dan alleen rapporteren; we gingen de data visualisatie en interactieve analytics in, en produceerden dynamische dashboards voor elke afdeling. De baan ging over data wrangling, het mengen van datasets uit verschillende bronnen en vormen, en proberen om domeinkennis te begrijpen.

Toen brachten de late jaren 2010 de machine learning-era. Data teams begonnen data scientists in te huren om voorspellende modellen te bouwen en inzichten te ontdekken in uitgebreide datasets. We schakelden over van het beschrijven van het verleden naar het voorspellen van de toekomst: churn-modellen, aanbevelingsmotoren, vraagprognoses – noem maar op. Maar zelfs toen waren onze uitvoer slide decks en inzichten, geen live producten. We functioneerden als een interne dienstbureau, adviseren het bedrijf via analyse. Met andere woorden, we waren kostenposten – waardevol, ja, maar één stap verwijderd van het kernproduct en de omzet.

In de beste gevallen werden machine learning-teams verspreid over afzonderlijke eenheden of geïntegreerd in productgroepen, zodat hun modellen en inferenties volledig geïntegreerd konden worden in platforms. De grote kloof leidde tot talloze mislukte projecten, verloren investeringen en gemiste kansen.

GenAI: Van Ondersteunende Functie naar Winstcentrum

Toen kwam GenAI en veranderde alles. De release van krachtige grote taalmodellen, zoals de GPT-familie en open-source-varianten zoals Llama, veranderde het landschap bijna overeenkomstig. Plotseling waren data teams niet langer alleen het bedrijf aan het analyseren, maar werden ze integraal onderdeel van het bouwen van AI-producten en -ervaringen. Wanneer je een LLM met succes integreert in een klantgerichte applicatie of een interne workflow, ben je niet langer alleen het bedrijf aan het informeren; je bent het aan het stimuleren. Een goed geïmplementeerd GenAI-systeem kan klantenservice automatiseren, marketinginhoud genereren, gebruikerservaringen personaliseren of zelfs de gegevens verstrekken die nodig zijn om opkomende agente AI-systemen te informeren en te trainen. Deze mogelijkheden hebben een directe invloed op de omzetstromen. In feite is het eindproduct van de data team van PowerPoint-slides overgegaan naar live AI-geactiveerde toepassingen.

GenAI-teams begonnen met innovatiegroepen, leverden proof-of-concepts die een “wow-factor” genereerden. En al snel was iedereen een AI-engineer, verspreidde schaduw-IT over organisaties.

Data teams stonden snel voor een nieuwe vraag: “Wanneer worden jullie een winstcentrum?” Toen AI-engineers geweldige tools begonnen te creëren, was het duidelijk dat het tijd was om twee teams samen te voegen: diegenen die de data controleerden en diegenen die de toepassingen bouwden.

Overweeg een detailhandelsbedrijf dat een GenAI-chatbot inzet voor het afhandelen van verkoopinformatie, of een bank die een AI-gestuurde, gepersonaliseerde beleggingsadviseur lanceert. Dit zijn geen traditionele IT-nevenprojecten – het zijn digitale producten die klantwaarde creëren en omzet genereren. Echter, om deze systemen op grote schaal te creëren, moeten AI-engineering-teams in staat zijn om toegang te krijgen tot en de door traditionele teams voorbereide data te operationaliseren.

Bestuurders hebben dit opgemerkt. De verwachtingen van data teams zijn nu hoog, met raden en CEO’s die naar ons kijken om de volgende AI-geactiveerde groeivector te leveren. We zijn overgegaan van achter-de-schermen-analisten naar front-line innovators. Het is een spannende positie om in te zijn, maar het komt met intense druk om resultaten op grote schaal te leveren.

Van Verkenning naar Product – Een Eenrichtingsdeur

De verschuiving van exploratoire analyse naar product-georiënteerde AI is diepgaand en onomkeerbaar. Waarom onomkeerbaar? Omdat GenAI’s invloed op het bedrijf te groot is om terug te zetten naar een R&D-speeltje. Volgens een recente wereldwijde enquête, 96% van de IT-leiders hebben nu AI geïntegreerd in hun kernprocessen – een stijging van 88% een jaar geleden. Met andere woorden, bijna elk bedrijf is overgegaan van experimenteren met AI naar het integreren ervan in kritieke workflows. Zodra je die drempel overschrijdt waar AI waarde levert in productie, is er geen terugkeer mogelijk.

Deze nieuwe AI-gedreven focus verandert het tempo en de mentaliteit van data teams. In het verleden hadden we het luxe van lange ontdekkingprojecten en open-ended analyse. Vandaag, als we een AI-functie bouwen, moet het productieklaar, compliant en betrouwbaar zijn – net als elk klantgericht product. We zijn het “Autonomous Age” van data science binnengegaan. De vraag die ons werk leidt, is niet langer “welke inzichten kunnen we ontdekken?” maar “welk intelligent systeem kunnen we bouwen dat in real-time op inzichten reageert?”

GenAI-systemen beantwoorden geen vragen meer; ze beginnen beslissingen te nemen. Het is een eenrichtingsdeur: nadat je deze soort autonomie en invloed hebt ervaren, zullen bedrijven niet terugkeren naar statische rapporten en handmatige besluitvorming. Nu meer dan ooit moeten data teams stakeholder- en product-georiënteerd zijn.

De Harde Waarheid: Waarom De Meeste GenAI-Initiatieven Falen

Tussen alle opwinding door, is er een nuchtere realiteit: de meeste GenAI-initiatieven falen. Het blijkt dat het succesvol implementeren van GenAI extreem uitdagend is. Een recente MIT-studie vond dat een verbluffende 95% van de enterprise GenAI-pilotprojecten nooit een meetbaar ROI oplevert. Slechts ongeveer 5% van de AI-pilotprojecten bereiken daadwerkelijk snelle omzetwinst of betekenisvolle bedrijfsimpact. Dit is niet vanwege een gebrek aan potentieel – het is vanwege de complexiteit van het doen van AI op de juiste manier.

Door te graven in de oorzaken van het falen, schildert het MIT-onderzoek een duidelijk beeld. Veel projecten struikelen omdat ze “hype boven hard werken” najagen – teams jagen achter flashy demo-use cases aan in plaats van te investeren in de saaie fundamenten van integratie, validatie en monitoring. Anderen falen vanwege het klassieke “garbage in, garbage out”-syndroom – slechte gegevenskwaliteit en gesiloede datapipelines doen het project al falen voordat de AI zijn werk kan doen. Vaak is het niet de AI-model dat defect is, het is de omringende omgeving. Zoals de onderzoekers het zeggen, GenAI faalt niet in het lab; het faalt in het bedrijf wanneer het botst met vage doelen, slechte gegevens en organisatorische inertie. In de praktijk blijven de meeste AI-pilotprojecten steken in de proof-of-concept-fase en komen nooit tot volledige productie-implementatie.

Deze realiteit is een waardevolle les. Het vertelt ons dat, zelfs als data teams nu in de schijnwerpers staan, de meerderheid worstelt om de verhoogde verwachtingen te vervullen. Voor GenAI om op grote schaal te slagen, moeten we een aanzienlijk hogere lat leggen dan we deden in de oude BI-dagen.

Verder Gaan Dan Slimme Prompts: Gegevens, Governance & Infrastructuur Maken Het Verschil

Wat onderscheidt de 5% van de AI-projecten die slagen van de 95% die falen? Uit mijn ervaring (en zoals onderzoek bevestigt) focussen de winnaars op fundamentele capaciteiten – gegevens, governance en infrastructuur. GenAI is geen magie; het is gebouwd op gegevens. Zonder hoge kwaliteit, goed beheerde datapipelines die je modellen voeden, zal zelfs de beste AI onvoorspelbare resultaten produceren. Summit Partners zei het goed in een recente analyse: “het succes van elk systeem of proces dat AI gebruikt, hangt af van de kwaliteit, structuur en toegankelijkheid van de gegevens die het voeden.”

In praktische zin betekent dit dat organisaties moeten verdubbelen op gegevensarchitectuur en governance terwijl ze GenAI adopteren. Hebt u unified, toegankelijke gegevensopslag die uw AI kan gebruiken (en ik bedoel ALLE gegevensopslag, inclusief datacenters, hyperscalers en third-party SaaS-systemen, enz.)? Is die gegevens schoon, gecureerd en compliant met regelgeving? Is er duidelijke gegevensafkomst en auditeerbaarheid (zodat u AI-uitvoer kunt vertrouwen en weet hoe ze tot stand zijn gekomen)? Deze vragen staan nu op de voorgrond.

GenAI dwingt bedrijven om eindelijk hun gegevenshuis op orde te krijgen.

Governance heeft ook een nieuwe betekenis gekregen. Wanneer een AI-model potentieel een verkeerd antwoord (of een offensief antwoord) kan genereren, is robuuste governance niet optioneel – het is verplicht. Controles zoals versiebeheer, bias-controles, human-in-the-loop-review en strikte beveiligingsmaatregelen rondom gevoelige gegevensinvoer zijn essentieel. Zonder adequate governance, training en duidelijk gedefinieerde doelen, zal zelfs een sterk AI-hulpmiddel worstelen om grip te krijgen in het bedrijf.

En laten we de infrastructuur niet vergeten. Het implementeren van GenAI op grote schaal vereist aanzienlijke rekenkracht en rigoureuze engineering. Modellen moeten in real-time worden geserveerd, over mogelijk miljoenen queries met lage latentie. Ze hebben vaak GPUs of gespecialiseerde hardware nodig, evenals voortdurende monitoring, behoud en levenscyclusbeheer. Kortom, u hebt industriële AI-infrastructuur nodig die veilig, schaalbaar en veerkrachtig is. Dit is waar het concept van Private AI komt, als het kader dat infrastructuur met gegevens en governance verbindt. Private AI verwijst naar de ontwikkeling van AI binnen een gecontroleerde en beveiligde omgeving, waarbij gegevensbeveiliging en -compliance worden gewaarborgd.

De bottom line is dat het succes van GenAI afhangt van de harmonie van drie pijlers: gegevens, governance, en infrastructuur. Zonder één ervan, loopt u het risico om toe te treden tot de 95% van de projecten die nooit voorbij de demo-fase komen.

Waarom AI-ingenieurs Het Alleen Niet Kunnen

Gezien deze vereisten, is het duidelijk dat het enkel in dienst nemen van een paar getalenteerde AI-ingenieurs geen zilveren kogel is. We hebben deze les geleerd in de afgelopen jaren in de data-industrie. In de vroege dagen van de data science-boom, probeerden bedrijven “unicorn”-data scientists te vinden die alles konden doen – modellen bouwen, code schrijven, gegevens en implementatie afhandelen. Die mythe is sindsdien ontkracht. Zoals een ervaren data scientist het zei, “een model dat in een notitieboek zit, doet eigenlijk niets voor het bedrijf.” U moet dat model in een applicatie of proces inbedden om waarde te creëren. En dat vereist een teaminspanning die meerdere vaardigheden omvat.

In de late jaren 2010 zagen we data teams diversifiëren in afzonderlijke rollen: data engineers begonnen robuuste pipelines te bouwen, machine learning engineers richtten zich op het productiveren van modellen, analytics engineers beheerden de analytics-laag, enz.

Vandaag verheft GenAI de lat nog hoger. Ja, u hebt AI-specialisten nodig (prompt-ingenieurs, LLM-fijnafstemmers, enz.), maar die specialisten zullen tegen een muur botsen als ze geen volwassen datapipelines, governance-kaders en beveiligde platforms hebben om mee te werken. Een AI-engineer kan een geweldig taalmodel protyperen in een zandbak, maar het omzetten van dat model in een product dat door duizenden of miljoenen wordt gebruikt, vereist samenwerking met beveiligingsteams, compliance-officieren, data-architecten, site reliability engineers, en meer.

AI is een teamsport. Het is verleidelijk om te denken dat u een state-of-the-art-model in uw bedrijf kunt droppen en plotseling een AI-gedreven onderneming hebt. De bedrijven die slagen met AI zijn diegenen die cross-functionele teams hebben opgebouwd, of “AI-fabrieken”, die al deze onderdelen samenbrengen. Hun data teams zijn effectief geëvolueerd naar full-stack AI-productteams, die data, modeling, engineering en ops-expertise combineren. Ze bouwen en implementeren hun tools op een data-gedreven, product-gedreven manier, met waardegeneratie ingebed in elke KPI.

De Volgende Generatie van Data Teams

Dus, wat heeft de toekomst in petto voor het nieuwe “data team”? Hier is een glimp van wat er aan zit te komen voor deze teams in de komende jaren:

• Minder handmatige ETL/ELT: Saai data wrangling zal afnemen. Met meer geautomatiseerde datapipelines en AI-ondersteunde integratie, zullen teams niet langer de helft van hun tijd besteden aan het schoonmaken en verplaatsen van gegevens. Het grondwerk van datapreparatie zal steeds vaker worden overgenomen door intelligente systemen, waardoor mensen zich kunnen concentreren op hogere niveaus van ontwerp en kwaliteitscontrole.
• Minder dashboards: De tijdperk van eindeloos tweaken van dashboardfilters is tanend. AI zal meer natuurlijke taalquery’s en dynamische inzichtenlevering mogelijk maken. In plaats van vooraf gebouwde dashboards voor elke vraag, krijgen gebruikers conversational antwoorden van AI (met brondata eraan vastgemaakt). Data teams zullen minder tijd besteden aan het ontwikkelen van statische rapporten en meer tijd aan het trainen van AI om inzichten op de fly te genereren.
• Meer AI-natieve productontwikkeling: Data teams zullen het hart zijn van productinnovatie. Of het nu gaat om het ontwikkelen van een nieuwe klantgerichte AI-functie of een intern AI-hulpmiddel dat operaties optimaliseert, deze teams zullen als productteams fungeren. Ze zullen software-ontwikkelpraktijken, snelle prototyping, A/B-testing en user experience design gebruiken – niet alleen data-analyse. Elk data team zal, in feite, een AI-productteam worden dat directe bedrijfswaarde levert.
• Autonome agenten in opkomst: In de niet zo verre toekomst zullen data teams autonome AI-agenten inzetten om routinebeslissingen en taken af te handelen. In plaats van alleen uitkomsten te voorspellen, zullen deze agenten gemachtigd zijn om bepaalde acties te ondernemen (met toezicht). Stel u voor dat een AI-ops-agent een anomalie kan detecteren en automatisch een herstelticket kan openen, of een sales AI-agent die e-commerce-prijzen in real-time kan afstemmen. Data teams zullen verantwoordelijk zijn voor het bouwen en beheren van deze agenten, en de grenzen van wat automatisering kan bereiken, verleggen.

In het licht van deze veranderingen, kan men inderdaad zeggen “data teams zoals we ze kenden zijn dood.” De spreadsheet-jockeys en dashboard-plumbers hebben plaatsgemaakt voor iets nieuws: AI-first teams die vloeiend zijn in data, code en bedrijfsstrategie. Maar verre van een requiem, is dit een viering. De nieuwe generatie van data teams is net begonnen, en ze zijn waardevoller dan ooit

Dus, onthoud, de data engineer is dood, lang leve de data engineer! De data teams zoals we ze kenden zijn verdwenen, maar lang leve de nieuwe data teams – moge zij heersen in deze AI-gedreven wereld met inzicht, verantwoordelijkheid en durf.