Data Teams Zijn Dood, Lang Leve Data Teams

Ja, de titel is klikbaar en provocerend, maar als CTO met veel ervaring in data, heb ik een transformatie meegemaakt die de dramatiek rechtvaardigt. Het traditionele “data team” – de back-office crew die rapporten en dashboards samenstelt – is effectief dood. In zijn plaats komt een nieuw soort data team op: een AI-georiënteerd, productgedreven kracht met directe invloed op de omzet. Ze zijn niet langer een kostenpost, maar een winstgenererende groep.

De Reis van Business Intelligence naar Machine Learning

Niet zo lang geleden waren data teams synoniem met business intelligence (BI). We waren de historici van bedrijfsdata, levend in SQL en spreadsheets, belast met het beantwoorden van “Wat gebeurde de afgelopen kwartaal?” Toen big data-technologieën zoals Hadoop opkwamen en de term “data scientist” het nieuwe sexy beroep werd, evolueerden data teams. Halverwege de jaren 2010 deden we meer dan alleen rapporten; we gingen de data visualisatie en interactieve analytics in, producerend dynamische dashboards voor elke afdeling. De taak was gericht op data wrangling, het mengen van datasets uit verschillende bronnen en vormen, en proberen om domeinkennis te begrijpen.

Toen het late 2010 bracht de machine learning-era. Data teams begonnen data scientists in te huren om predictieve modellen te bouwen en inzichten te ontdekken in uitgebreide datasets. We verschoven van het beschrijven van het verleden naar het voorspellen van de toekomst: churn-modellen, aanbevelingsmotoren, vraagprognoses – noem maar op. Maar zelfs toen waren onze uitvoer slide decks en inzichten, niet live producten. We functioneerden als een interne dienstbureau, adviseren het bedrijf via analyse. Met andere woorden, we waren kostenposten – waardevol, ja, maar een stap verwijderd van het kernproduct en de omzet.

In de beste gevallen werden machine learning-teams verspreid over afzonderlijke eenheden of geïntegreerd in productgroepen, zodat hun modellen en inferenties volledig geïntegreerd konden worden in platforms. De grote kloof leidde tot talloze mislukte projecten, gezonken investeringen en gemiste kansen.

GenAI: Van Ondersteunende Functie naar Winstcentrum

Toen GenAI arriveerde, veranderde alles. De release van krachtige grote taalmodellen, zoals de GPT-familie en open-source varianten zoals Llama, veranderde het landschap vrijwel overeenkomstig. Plotseling waren data teams niet langer alleen het bedrijf aan het analyseren, maar werden ze integraal onderdeel van het bouwen van AI-producten en -ervaringen. Wanneer je met succes een LLM in een klantgerichte applicatie of een interne workflow integreert, ben je niet langer alleen het bedrijf aan het informeren; je bent het aan het stimuleren. Een goed geïmplementeerd GenAI-systeem kan klantenservice automatiseren, marketinginhoud genereren, gebruikerservaringen personaliseren of zelfs de benodigde gegevens bieden om opkomende agente AI-systemen te informeren en te trainen. Deze mogelijkheden hebben een directe invloed op omzetstromen. In feite is het werkproduct van het data team verschoven van PowerPoint-dia’s naar live AI-gepowered applicaties.

GenAI-teams begonnen met innovatiegroepen, leverend proofs of concept die een “wow-factor” genereerden. En al snel was iedereen een AI-engineer, verspreidend schaduw-IT over organisaties.

Data teams vonden zichzelf snel voor een nieuwe vraag gesteld: “Wanneer word je een winstcentrum?” Toen AI-engineers geweldige tools begonnen te creëren, was het duidelijk dat het tijd was om twee teams samen te voegen: diegenen die de data controleerden en diegenen die de applicaties bouwden.

Overweeg een detailhandelsbedrijf dat een GenAI-chatbot inzet voor het afhandelen van verkoopinformatie, of een bank die een AI-gestuurd, gepersonaliseerd beleggingsadviseur lanceert. Dit zijn geen traditionele IT-nevenprojecten – het zijn digitale producten die klantwaarde creëren en omzet genereren. Echter, om deze systemen op grote schaal te creëren, hebben AI-engineerteams toegang nodig tot en moeten ze de data van traditionele teams kunnen operationaliseren.

Bestuurders hebben dit opgemerkt. De verwachtingen van data teams zijn nu extreem hoog, met raden en CEO’s die naar ons kijken om de volgende AI-geleide groeivector te leveren. We zijn gegaan van achter-de-schermen analisten naar front-line innovators. Het is een spannende positie om in te zijn, maar het komt met intense druk om resultaten op grote schaal te leveren.

Van Verkenning naar Product – Een Eénrichtingsdeur

De verschuiving van exploratoire analyse naar productgerichte AI is diepgaand en onomkeerbaar. Waarom onomkeerbaar? Omdat GenAI’s invloed op het bedrijf te groot blijkt te zijn om terug te gaan naar een R&D-speeltje. Volgens een recente wereldwijde enquête hebben 96% van de IT-leiders nu AI geïntegreerd in hun kernprocessen – een stijging van 88% slechts een jaar eerder. Met andere woorden, bijna elk bedrijf is overgegaan van experimenteren met AI naar het integreren ervan in missie-kritieke workflows. Zodra je die drempel overschrijdt waar AI waarde levert in productie, is er geen terugkeer mogelijk.

Deze nieuwe AI-gedreven focus verandert het tempo en de mentaliteit van data teams. In het verleden hadden we de luxe van lange ontdekkingprojecten en open-eindige analyse. Vandaag, als we een AI-functie bouwen, moet het productieklaar, compliant en betrouwbaar zijn – net als elk klantgericht product. We zijn de “Autonomous Age” van data science binnengegaan. De vraag die onze werk leidt, is niet langer “welke inzichten kunnen we ontdekken?” maar “welk intelligent systeem kunnen we bouwen dat in real-time op inzichten reageert?”

GenAI-systemen geven niet alleen antwoorden; ze beginnen beslissingen te nemen. Het is een éénrichtingsdeur: nadat je deze soort autonomie en invloed hebt ervaren, zullen bedrijven niet terugkeren naar statische rapporten en handmatige besluitvorming. Nu meer dan ooit hebben data teams stakeholder- en productgerichte teams nodig.

De Harde Waarheid: Waarom De Meeste GenAI-Initiatieven Falen

Tussen al het enthousiasme, is er een nuchtere realiteit: de meeste GenAI-initiatieven falen. Het blijkt dat het succesvol implementeren van GenAI extreem moeilijk is. Een recente MIT-studie vond dat een verbluffende 95% van de ondernemings-GenAI-pilotprojecten nooit een meetbaar ROI oplevert. Slechts ongeveer 5% van de AI-piloten bereiken daadwerkelijk snelle omzetstijgingen of betekenisvolle bedrijfsimpact. Dit is niet vanwege een gebrek aan potentieel – het is vanwege de complexiteit van AI op de juiste manier doen.

Als we dieper ingaan op de oorzaken van mislukking, schetst het MIT-onderzoek een duidelijk beeld. Veel projecten struikelen over “hype boven hard werken” – teams jagen flashy demo-use cases na in plaats van te investeren in de saaie fundamenten van integratie, validatie en monitoring. Anderen falen vanwege het klassieke “garbage in, garbage out”-syndroom – slechte gegevenskwaliteit en gesiloede datapipelines veroorzaken het project te falen voordat de AI zelfs maar de kans krijgt om zijn werk te doen. Vaak is het niet de AI-model dat defect is, maar de omringende omgeving. Zoals de onderzoekers het stellen, faalt GenAI niet in het lab; het faalt in de onderneming wanneer het botsingt met vage doelen, slechte gegevens en organisatorische inertie. In de praktijk blijven de meeste AI-piloten steken op het proof-of-concept-stadium en gaan nooit over naar volledige productie-implementatie.

Deze realiteit is een waardevolle les. Het vertelt ons dat, zelfs als data teams nu in de schijnwerpers staan, de meerderheid worstelt om de verhoogde verwachtingen te vervullen. Voor GenAI om op grote schaal te slagen, moeten we een aanzienlijk hogere lat leggen dan we deden in de oude BI-dagen.

Verder Dan Slimme Prompts: Gegevens, Governance & Infrastructuur Maken Het Verschil

Wat onderscheidt de 5% van de AI-projecten die succesvol zijn van de 95% die falen? Uit mijn ervaring (en zoals onderzoek bevestigt), focussen de winnaars op fundamentele capaciteiten – gegevens, governance en infrastructuur. GenAI is geen magie; het is gebouwd op gegevens. Zonder hoogwaardige, goed beheerde datapipelines die je modellen voeden, zal zelfs de beste AI onvoorspelbare resultaten produceren. Summit Partners stelde het goed in een recente analyse: “het succes van elk systeem of proces dat AI gebruikt, hangt af van de kwaliteit, structuur en toegankelijkheid van de gegevens die het voeden.”

In praktische termen betekent dit dat organisaties moeten dubbel inzetten op data-architectuur en governance bij het adopteren van GenAI. Heeft u unified, toegankelijke data-opslag die uw AI kan gebruiken (en ik bedoel alle data-opslag, inclusief datacenters, hyperscalers en derde partijen SaaS-systemen, enzovoort)? Is die data schoon, gecurated en compliant met regelgeving? Is er duidelijke data-afstamming en auditeerbaarheid (zodat u AI-uitvoer kunt vertrouwen en weet hoe ze tot stand kwamen)? Deze vragen staan nu aan de vooravond.

GenAI Dwingt Bedrijven Om Eindelijk Hun Datahuis Op Orde Te Krijgen

Governance heeft ook een nieuwe betekenis gekregen. Wanneer een AI-model potentieel een verkeerd antwoord (of een offensief antwoord) kan genereren, is robuuste governance niet optioneel – het is verplicht. Controles zoals versiebeheer, bias-controles, human-in-the-loop review en strikte beveiligingsmaatregelen rond gevoelige data-inputs zijn essentieel. Zonder adequate governance, training en duidelijk gedefinieerde doelen zal zelfs een sterk AI-hulpmiddel worstelen om grip te krijgen in het bedrijf.

En laten we de infrastructuur niet vergeten. Het implementeren van GenAI op grote schaal vereist aanzienlijke rekenkracht en rigoureuze engineering. Modellen moeten in real-time worden geserveerd, over mogelijk miljoenen queries met lage latentie. Ze hebben vaak GPUs of gespecialiseerde hardware nodig, evenals voortdurende monitoring, behoud en levenscyclusbeheer. Kortom, u hebt industriële AI-infrastructuur nodig die veilig, schaalbaar en veerkrachtig is. Dit is waar het concept van Private AI komt als het kader dat infrastructuur met gegevens en governance verbindt. Private AI verwijst naar de ontwikkeling van AI binnen een gecontroleerde en beveiligde omgeving, waarbij gegevensbeveiliging en -compliance worden gewaarborgd.

De bottom line is dat GenAI’s succes afhangt van de harmonie van drie pijlers: gegevens, governance en infrastructuur. Zonder een van deze, riskeert u deel uit te maken van de 95% van de projecten die nooit voorbij de demo-fase komen.

Waarom AI-Engineers Het Niet Alleen Kunnen

Gegeven deze vereisten, is het duidelijk dat het enkel inzetten van een paar getalenteerde AI-engineers geen zilveren kogel is. We hebben deze les geleerd in de afgelopen jaren in de data-industrie. In de vroege dagen van de data science-boom, probeerden bedrijven “unicorn”-data scientists te vinden die alles konden doen – modellen bouwen, code schrijven, data en implementatie afhandelen. Deze mythe is sindsdien ontkracht. Zoals een veteran data scientist het zei, “een model in een notebook doet niets voor het bedrijf.” U moet dat model in een applicatie of proces integreren om waarde te creëren. En dat vereist een teaminspanning die meerdere vaardigheden omvat.

In de late jaren 2010 zagen we data teams diversifiëren in afzonderlijke rollen: data engineers begonnen robuuste pipelines te bouwen, machine learning engineers richtten zich op het productieklaar maken van modellen, analytics engineers beheerden de analytics-laag, enzovoort.

Vandaag verheft GenAI de lat nog hoger. Ja, u hebt AI-specialisten (prompt engineers, LLM-fine-tuners, enzovoort) nodig, maar die specialisten zullen tegen een muur botsen als ze geen volwassen datapipelines, governance-kaders en beveiligde platforms hebben om mee te werken. Een AI-engineer kan een geweldig taalmodel in een zandbak prototypen, maar het omzetten van dat model in een product dat door duizenden of miljoenen wordt gebruikt, vereist samenwerking met security-teams, compliance-officers, data-architecten, site reliability engineers en meer.

AI is een teamsport. Het is verleidelijk om te denken dat u een state-of-the-art model in uw bedrijf kunt droppen en plotseling een AI-gedreven onderneming hebt. De bedrijven die succesvol zijn met AI, zijn diegenen die cross-functionele teams hebben opgebouwd, of “AI-fabrieken”, die al deze onderdelen samenbrengen. Hun data teams zijn effectief geëvolueerd naar full-stack AI-productteams, die data, modeling, engineering en ops-expertise combineren. Ze bouwen en implementeren hun tools op een data-gedreven, productgeleide manier, met waardegeneratie ingebed in elke KPI.

De Volgende Generatie Data Teams

Dus, wat brengt de toekomst voor het nieuwe “data team”? Hier is een glimp van wat er de komende jaren voor deze teams staat:

• Minder handmatige ETL/ELT: Saai data wrangling zal afnemen. Met meer geautomatiseerde datapipelines en AI-geassisteerde integratie, zullen teams niet langer de helft van hun tijd besteden aan het schoonmaken en verplaatsen van gegevens. Het grondwerk van data-prep zal steeds meer worden overgenomen door intelligente systemen, waardoor mensen zich kunnen richten op hogere niveaus van ontwerp en kwaliteitscontrole.
• Minder dashboards: De tijdperk van eindeloos dashboardfilters aanpassen, is voorbij. AI zal natuurlijke taalquery’s en dynamische inzichtenlevering mogelijk maken. In plaats van vooraf gemaakte dashboards voor elke vraag, krijgen gebruikers conversational antwoorden van AI (met brondata eraan vast). Data teams zullen minder tijd besteden aan het ontwikkelen van statische rapporten en meer tijd aan het trainen van AI om inzichten op de fly te genereren.
• Meer AI-natieve productontwikkeling: Data teams zullen het hart zijn van productinnovatie. Of het nu gaat om het ontwikkelen van een nieuwe klantgerichte AI-functie of een intern AI-hulpmiddel dat operaties optimaliseert, deze teams zullen fungeren als productteams. Ze zullen software-ontwikkelpraktijken, rapid prototyping, A/B-testing en user experience design gebruiken – niet alleen data-analyse. Elk data team zal, in feite, een AI-productteam worden dat directe bedrijfswaarde levert.
• Autonome agenten in opkomst: In de niet zo verre toekomst, zullen data teams autonome AI-agenten inzetten om routinebeslissingen en taken te behandelen. In plaats van alleen uitkomsten te voorspellen, zullen deze agenten bevoegd zijn om bepaalde acties te ondernemen (met toezicht). Stel uzelf een AI-ops-agent voor die een anomalie kan detecteren en automatisch een herstel ticket kan openen, of een sales AI-agent die e-commerce-prijzen in real-time kan afstemmen. Data teams zullen verantwoordelijk zijn voor het bouwen en beheren van deze agenten, waardoor ze de grenzen van wat automatisering kan bereiken, verleggen.

In het licht van deze veranderingen, kan men inderdaad zeggen “data teams zoals we ze kenden, zijn dood.” De spreadsheet-jockeys en dashboard-plumbers hebben plaatsgemaakt voor iets nieuws: AI-georiënteerde teams die vloeiend zijn in data, code en bedrijfsstrategie. Maar verre van een rouwrede, is dit een viering. De nieuwe generatie data teams is net begonnen, en ze zijn meer waardevol dan ooit

Dus, onthoud, de data engineer is dood, lang leve de data engineer! De data teams zoals we ze kenden, zijn verdwenen, maar lang leve de nieuwe data teams – moge ze heersen in deze AI-gedreven wereld met inzicht, verantwoordelijkheid en durf.