Connect with us

Thought leaders

Waarom 95% van de AI-initiatieven geen enkel ROI oplevert

mm

MIT’s recent studie heeft aangetoond dat 95% van de organisaties geen enkel rendement behaalt uit generatieve AI-initiatieven; geen meetbare P&L-impact ondanks aanzienlijke investeringen. De headlines richtten zich op het falenpercentage, maar de echte vraag is niet of de technologie werkt. Large Language Models zijn krachtig, toegankelijk en verbeteren snel. Het probleem is hoe bedrijven ze proberen te gebruiken.

De meeste organisaties benaderen AI-agents op dezelfde manier als ze elke andere technologie-uitrol benaderen. Ze nemen bestaande processen, voegen er wat AI aan toe en verwachten magie. Wanneer het niet werkt, geven ze de schuld aan de modellen. Maar het falen gebeurt lang voordat de AI betrokken raakt.

Ik heb dit patroon herhaaldelijk gezien bij ondernemingen die AI-workflows bouwen. Teams worden enthousiast over de mogelijkheden, haasten zich naar de ontwikkeling en komen dan tegen dezelfde voorspelbare roadblocks aan. Het verschil tussen de 5% die slagen en de 95% die geen enkel ROI genereren, is niet geluk of budget; het is het vermijden van zes kritieke fouten die de waarde van AI-agents doden voordat deze begint.

Uw data is rommeliger dan u denkt

De meeste teams denken dat het hebben van data betekent dat ze klaar zijn voor AI. Ze wijzen naar hun data-lake, hun CRM, hun zorgvuldig onderhouden databases en nemen aan dat succes verzekerd is. Vervolgens dumpen ze alles in een LLM en verwonderen zich waarom hun agent rommelige outputs produceert of hun budget in enkele dagen verbrandt.

Rommelige data creëert rommelige agents. Als u ruwe database-dumps, HTML-gevulde exports of ongestructureerde tekstblobs naar een AI-agent stuurt, zet u deze op voor falen. De modellen raken verward door irrelevante velden, afgeleid door formatteringsartefacten en overweldigd door de pure hoeveelheid.

Teams sturen routinematig klantrecords met 47 velden naar een AI-agent, terwijl slechts 3 beslissingscritisch zijn. Ze includeren UUID’s die geen enkele semantische waarde toevoegen, maar wel waardevolle tokens consumeren. Ze voeden agents met HTML die van interne tools is geschept, in plaats van schone, gestructureerde informatie.

U zult eerder dan verwacht tegen limieten aanlopen

Elk team gelooft dat ze nooit tegen contextlimieten aan zullen lopen. “We verwerken slechts een paar klantrecords,” zeggen ze. “Hoe moeilijk kan het zijn?” Vervolgens heeft hun agent 500 ondersteuningsaanvragen nodig om te analyseren, elk met volledige conversatiegeschiedenis, en plotseling botsen ze tegen miljoen-tokenplafonds.

Grote contexten accumuleren sneller dan iemand verwacht. Een klantondersteuningsagent die escalaties afhandelt, kan toegang nodig hebben tot ticketgeschiedenis, kennisbaseartikelen, eerdere interacties en productdocumentatie. Dat is gemakkelijk honderdduizenden tokens per aanvraag. Vermenigvuldig dit met gelijktijdige gebruikers en uw infrastructuurkosten schieten uit de hand.

De naïeve benadering is om alles naar het model te sturen en het beste te hopen. Slimme teams breken aanvragen op in stukken, samenvatten elk stuk en werken vervolgens met een samenvatting van samenvattingen. Deze hiërarchische samenvatting houdt aanvragen beheersbaar, terwijl kritieke informatie voor agents behouden blijft.

Beveiliging wordt snel ingewikkeld

Teams worden enthousiast over de persoonlijkheid en capaciteiten van hun AI-agent, schrijven enkele basisrichtlijnen en denken dat ze beschermd zijn. In werkelijkheid vereisen AI-agents een fundamenteel andere beveiligingsdenkwijze dan traditionele toepassingen.

AI-agents kunnen worden bedrogen, gemanipuleerd en gedwongen op manieren die conventionele beveiligingsmodellen breken. Gebruikersinvoer kan verborgen instructies bevatten die uw zorgvuldig gecreëerde prompts overschrijven. Agents kunnen worden overtuigd om hun richtlijnen te negeren, toegang te krijgen tot gegevens die ze niet zouden moeten zien of acties te ondernemen buiten hun beoogde bereik.

Slimme implementaties vereisen strikte grenzen rond wat agents kunnen en niet kunnen doen. Voor alles wat de status verandert; schrijf gegevens, stuur e-mails, maak API-aanroepen; hebt u een voorstel-rechtvaardiging-goedkeuringsworkflow nodig. De agent legt uit wat hij wil doen en waarom, en wacht vervolgens op menselijke goedkeuring voordat hij actie onderneemt. Dit voorkomt doorlopende automatisering, terwijl het de voordelen van AI-ondersteuning behoudt.

Wat werkelijk werkt

Door naar honderden AI-agentimplementaties te kijken, zijn zes praktijken te onderscheiden die succesvolle implementaties van dure mislukkingen onderscheiden.

Ten eerste is dat gegevenshygiëne. Stuur compacte, getypeerde JSON met vaste schema’s. Verwijder UUID’s, HTML, dubbele velden en alle gevoelige informatie, tenzij het absoluut beslissingscritisch is. Vervang gevoelige gegevens door metagegevens wanneer mogelijk. Dit houdt modellen gefocust, terwijl de payloadgrootte, kosten en latentie worden verlaagd.

Ten tweede is contextbeheer. U zult tegen tokenlimieten aanlopen eerder dan verwacht. Breek aanvragen op in kleinere stukken, samenvat elk stuk en werk vervolgens met samenvattingen. Deze hiërarchische benadering houdt aanvragen onder controle, terwijl noodzakelijke context behouden blijft.

Ten derde is promptveiligheid. Definieer strikte grenzen voor wat uw agent kan en niet kan doen. Implementeer voorstel-rechtvaardiging-goedkeuringsworkflows voor alles wat de status verandert. Behandel alle gebruikersinhoud als onbetrouwbaar; verwijder code en links, en herinner modellen eraan nooit instructies te volgen die in gebruikersinhoud zijn verborgen. Bewaak prompts en outputs voortdurend voor anormale of beleidsschendende gedragingen om ervoor te zorgen dat grenzen effectief blijven.

Ten vierde is kostenbeheersing. Stel token- en kostenbegrotingen per aanvraag en per workflow in. Log tokengebruik per tool en prompt om regressies vroeg te detecteren. Zonder discipline zult u te maken krijgen met doorlopende rekeningen of latentiespieken zodra de adoptie groeit.

Ten vijfde is kwaliteitsborging. Houd een privé-evaluatieset van echte incidenten en randgevallen bij. Volg precisie, recall en regressies. Nieuwe modellen zullen u verrassen, meestal op slechte manieren. Voor kritieke workflows gebruikt u temperaturen bijna nul en gezaaide back-ends voor consistente outputs.

Ten zesde is governance. Sluit gegevensdelingsovereenkomsten af voordat enige informatie stroomt. Verduidelijk wat gedeeld wordt, hoe het beschermd wordt en wie verantwoordelijk is. Dit is niet alleen juridische dekking; het is een vertrouwenssignaal dat u gegevens serieus neemt.

Waarom de meeste teams het verkeerd doen

AI-agentprojecten leveren geen ROI op omdat teams zich richten op de verkeerde dingen. Ze zijn geobsedeerd door welk model ze moeten gebruiken, terwijl ze de gegevenskwaliteit negeren. Ze bouwen complexe workflows, terwijl ze basisbeveiligingscontroles overslaan. Ze implementeren agents zonder kostencontrole, en panikeren vervolgens wanneer de rekeningen pieken.

De succesvolle 5% begrijpen dat AI-agents niet alleen software zijn; het zijn een nieuwe categorie van digitale werknemers die andere beheerspraktijken vereisen. Ze hebben schone gegevens, duidelijke grenzen en constante supervisie nodig. Als u deze basisbeginselen goed doet, worden AI-agents krachtige productiviteitsvermenigvuldigers. Als u ze verkeerd doet, sluit u zich aan bij de 95% die zich afvragen waarom hun dure AI-investering geen enkel meetbaar rendement opleverde.

Rohan Sathe is de medeoprichter en CEO van Nightfall AI. Voordat hij Nightfall medeoprichtte, leidde hij het backend-team bij Uber Eats, waar hij applied machine learning-diensten zoals ETA-voorspelling en vraag-aanbodvoorspelling ontwikkelde. Hij is te gast geweest in de CISO Series-podcast en de Artificial Intelligence Podcast, onder andere.