De verborgen kosten van AI: Hoe “black box”-modellen het vertrouwen, de budgetten en het milieu ondermijnen

De AI-industrie heeft een modelontwerpprobleem. Bedrijven beginnen het te voelen in kosten, prestaties en betrouwbaarheid.

AI kan praten – maar kan het luisteren? 

Luisteren is veel meer dan simpelweg woorden verwerken; het gaat om het interpreteren van signalen en het begrijpen van nuances om realtime beslissingen te nemen. Maar de meeste “voice”-modellen zijn gebouwd om tokens te transcriberen, niet om de subtiele betekenis verborgen in een gesprek te herkennen. Dat betekent dat ze cruciale informatie missen. 

In omgevingen zoals spraak zijn context, timing en continue input van belang. Naarmate AI‑systemen van demo’s naar real‑world gebruik gaan, wordt een dieper probleem in de manier waarop deze systemen zijn gebouwd duidelijk, en bedrijven beginnen de impact van die hiaten te voelen op het gebied van kosten, prestaties en betrouwbaarheid. 

De dominante aanpak in AI vandaag geeft de voorkeur aan grotere, meer algemene modellen. Maar naarmate die modellen op schaal worden ingezet, worden hun beperkingen steeds moeilijker te negeren. Ze zijn duur om continu te draaien, moeilijk te interpreteren en te vertrouwen, en vaak inefficiënt voor de taken waarvoor ze worden gebruikt. Wat eruitziet als een ongelooflijke eenmalige demo kan falen wanneer het op ondernemingsniveau wordt ingezet, waar systemen tegelijk responsief, efficiënt en begrijpelijk moeten zijn.

Deze dynamiek creëert een afweging: meer opties in wat het model in theorie kan doen, maar ten koste van efficiëntie, transparantie en uiteindelijk bruikbaarheid. De kosten van het draaien van enorme modellen op schaal stijgen, de energie‑voetafdruk wordt (terecht) onder de loep genomen, en de systemen zelf worden steeds moeilijker te interpreteren. Voordat we het punt van geen terugkeer bereiken, moeten we ons afvragen: is dit echt de meest duurzame manier om AI‑systemen te bouwen?

Waarom algemene AI‑modellen inherent inefficiënt zijn

De drang van de industrie naar algemene AI heeft een nieuw soort inefficiëntie gecreëerd: het gebruiken van hetzelfde zware model voor elk probleem of elke taak, ongeacht de complexiteit. Het is een aantrekkelijk idee – één systeem dat alles aankan – maar in de praktijk is het een grof instrument.

Niet elke taak vereist een enorm model. In feite doen de meeste dat niet. Wanneer organisaties vertrouwen op monolithische systemen, betalen ze de kosten van die complexiteit bij elke interactie. Simpele beslissingen worden verwerkt met dezelfde rekencapaciteit als complexe, en de economie stopt snel met logisch zijn op schaal.

Dit geldt vooral in realtime‑omgevingen zoals spraak, waar systemen continue datastromen moeten verwerken. Het toepassen van een groot, algemeen model op elk moment van elke interactie is zowel duur als onnodig. Hoe breder deze modellen worden ingezet, hoe meer die inefficiëntie zich ophoopt. We eindigen met het ergste van beide werelden: systemen die overal te duur zijn om te draaien, en te beperkt om effectief te zijn waar ze wel worden gebruikt. 

Een duidelijk voorbeeld hiervan is te zien in contactcentra. Veel organisaties willen AI toepassen op elke klantinteractie, maar de kosten van het continu draaien van grote modellen maken dat onpraktisch. Zoals McKinsey opmerkt in haar Global Survey on AI, blijven organisaties worstelen met het op grote schaal uitbreiden van AI‑use‑cases vanwege kosten en operationele complexiteit (om het in perspectief te plaatsen, verwerken grote enterprise‑contactcentra vaak 5.000 tot 15.000 klantgesprekken per dag, wat oplopen tot miljoenen of zelfs miljarden interacties per jaar). Om dit volume te beheren, analyseren ze slechts een deel van de gesprekken of vertrouwen ze op een post‑incident review. De downstream‑impact is meetbaar: 39 % van de organisaties meldt hogere belvolumes gerelateerd aan fraude‑gerelateerde vragen, 34 % meldt langere afhandeltijden, en 29 % meldt verminderde productiviteit van medewerkers¹. Het resultaat is een systeem dat zowel overbelast als onderbenut is: duur om te draaien maar niet in staat volledige dekking of realtime inzicht te leveren.

Dit is waar overgeneralisatie een last wordt. Wanneer een systeem is ontworpen om alles te doen, eindigt het vaak met het inefficiënt uitvoeren van elke taak. Het resultaat is verspilde rekenkracht op schaal, waarbij dure modellen worden ingezet waar eenvoudigere, meer gerichte benaderingen effectiever zouden zijn. Naarmate organisaties AI breder willen toepassen, groeit die inefficiëntie snel, waardoor het moeilijker wordt om continu realtime gebruik te rechtvaardigen. 

Het black‑box‑probleem: wanneer AI zichzelf niet kan verklaren

Naarmate modellen complexer zijn geworden, zijn ze ook moeilijker te interpreteren. In veel gevallen kunnen AI‑systemen voornamelijk nauwkeurige resultaten leveren, maar weinig inzicht geven in hoe die beslissingen tot stand kwamen, of wat de resterende fouten heeft veroorzaakt. Die verduistering vertraagt de mensen die verantwoordelijk zijn voor het handelen op de modelresultaten, waardoor het voordeel van de snelheidswinst verloren gaat.

Dit geldt vooral in domeinen zoals fraudedetectie, waar beslissingen realtime moeten worden genomen. Als een systeem een gesprek als hoog risico markeert maar niet kan uitleggen waarom, ontstaat er aarzeling op het exacte moment dat snelheid het belangrijkst is. Teams moeten kiezen tussen het vertrouwen in een systeem dat ze niet volledig begrijpen of het in realtime betwijfelen. Beide opties brengen risico met zich mee. Naarmate AI dieper in operationele workflows doordringt, wordt het vermogen om modeluitvoer realtime te begrijpen en erop te reageren een kernvereiste, geen luxe.

Hier worden de beperkingen van grote, algemene modellen duidelijker. Hun complexiteit maakt ze moeilijker te onderzoeken, te debuggen en aan te passen. Als gevolg hiervan hebben organisaties niet alleen te maken met hogere kosten; ze hebben te maken met systemen die minder aansluiten bij de manier waarop beslissingen daadwerkelijk worden genomen.

Waar dit faalt: realtime AI in de echte wereld

Deze uitdagingen – kosten, inefficiëntie, gebrek aan transparantie – zijn beheersbaar in geïsoleerde use‑cases. Ze worden veel moeilijker te negeren in realtime‑systemen, waar AI niet alleen output genereert, maar actief beslissingen vormt terwijl ze plaatsvinden.

Spraak is een goed voorbeeld. In tegenstelling tot batchverwerking of offline analyse zijn spraakinteracties continu en tijdgevoelig. Systemen kunnen niet pauzeren, opnieuw verwerken of beslissingen later escaleren; ze moeten in het moment opereren. Een AI‑systeem dat “Oh goed, weer een AI” ten onrechte als positief interpreteert terwijl het sarcastisch werd gezegd, kan het verschil maken tussen het behouden of verliezen van een klant, en moet binnen enkele seconden worden aangepakt, voordat een mens kan ingrijpen. Dat betekent dat modellen continu over volledige gesprekken moeten draaien, terwijl ze ook output leveren waar mensen direct op kunnen reageren.

Hier begint het huidige paradigma te breken. Grote, algemene modellen zijn duur om op die schaal te draaien, en hun output is vaak te ondoorzichtig om realtime besluitvorming te ondersteunen. Daardoor worden bedrijven gedwongen tot compromissen: alleen een deel van de interacties analyseren, beslissingen uitstellen tot na het feit, of vertrouwen op onvolmaakte menselijke beoordeling in situaties waarin snelheid en nauwkeurigheid cruciaal zijn.

Met andere woorden, de beperkingen van de huidige modellen zijn niet theoretisch – ze komen het duidelijkst naar voren in de omgevingen waar AI de meeste waarde moet leveren.

Een ander pad vooruit: slimmer – niet groter – AI

Als de huidige aanpak van AI wordt gedefinieerd door schaal, zal de volgende fase worden gedefinieerd door efficiëntie.

In plaats van elke taak via één model te leiden, kunnen systemen werkstromen opsplitsen in fasen, waarbij lichte modellen worden toegepast voor routinematige beslissingen en zwaardere verwerking wordt gereserveerd voor complexe gevallen.

Deze subtiele verschuiving in architectuur verandert de economie. Wanneer systemen dynamisch kunnen bepalen hoeveel verwerking nodig is voor een bepaalde taak, vermijden ze de overhead van onnodig grote modellen. Dat maakt het praktischer om AI continu toe te passen, in plaats van selectief. Het creëert ook kansen voor meer transparantie, omdat beslissingen kunnen worden gekoppeld aan specifieke signalen of componenten binnen het systeem, in plaats van voort te komen uit één ondoorzichtig model.

Voor bedrijven is dit wat bredere adoptie mogelijk maakt: het vermogen om meer gegevens realtime te analyseren zonder prohibatieve kosten of complexiteit, ontgrendelt use‑cases die tot nu toe onbereikbaar waren.

De industrie heeft aanzienlijke vooruitgang geboekt door modellen te laten groeien – maar één maat past niet voor iedereen. Naarmate AI dieper in operationele systemen doordringt, verschuift de vraag van wat modellen kunnen doen naar hoe ze moeten worden ontworpen. De toekomst van AI zal niet worden bepaald door de grootste modellen, maar door de systemen die intelligentie efficiënt, transparant en op schaal kunnen leveren.