Thought leaders

Het Overal-Problem: Waarom “Data Overal” Het DefiniÃŦrende Infrastructuuruitdaging van de AI-Era Wordt

mm
Voeg Unite.AI toe aan je voorkeursbronnen op Google

De meest consequente vraag in AI vandaag is niet welk model het slimst is. Het is waar de data leeft en of de intelligentie ernaar toe kan gaan.

Voor het grootste deel van een decennium opereerde de AI-industrie onder een geruststellende premisse: centraliseer de data, centraliseer de compute, en genie zal volgen. Het hyperscaler-model – centraliseren van enorme trainingsdatasets in grote cloudclusters en toepassen van massive GPU-compute om ze samen te drukken in modelparameters – produceerde buitengewone resultaten, maar ook een architectuur die nu kreunt onder het gewicht van zijn eigen succes.

Noem het het “data overal”-probleem. Terwijl AI uit het onderzoekslab en in de operationele stof van ziekenhuizen, fabrieken, financiÃŦle instellingen en soevereine regeringen overloopt, is de data die deze systemen moet informeren, inherent gedistribueerd, juridisch beperkt en operationeel onverplaatsbaar. Regulators in Europa eisen dat de financiÃŦle records van hun burgers nooit het continent verlaten. De klinische proefdata van een farmaceutisch bedrijf in Basel kan niet legaal samenleven met een genomics-dataset uit Seoul in een cloud-bucket.

Whatever het geval is, de intelligentie moet naar de data gaan. De data, met nadruk, zal niet naar de intelligentie komen.

De Economie van de Verschuiving

Deze structurele spanning wordt verergerd door een gelijktijdige revolutie in AI-economie. De industrie ondergaat een tectonische herbalansering van trainingscentrisch naar inferentiecentrisch uitgaven, en de implicaties voor data-architectuur zijn diepgaand.

Deloitte schatte dat inferentie-workloads voor de helft van alle AI-compute in 2025 verantwoordelijk waren, een cijfer dat in 2026 zal stijgen tot twee derde. Het ratio keert zich met verbazingwekkende snelheid om. Analisten schatten dat in 2026 de inferentie-vraag de trainingsvraag met 118 keer zal overtreffen. In 2030 kan inferentie verantwoordelijk zijn voor 75% van de totale AI-compute, wat $7 biljoen aan infrastructuurinvesteringen zal aandrijven.

De kostenwiskunde is eveneens duizelingwekkend. Voor elke $1 miljard die wordt uitgegeven aan het trainen van een AI-model, worden organisaties geconfronteerd met $15–20 miljard aan inferentiekosten over de productielevensduur van het model: een ratio die scherp wordt geÃŊllustreerd door GPT-4, waarvan de trainingskosten ongeveer $150 miljoen bedroegen, maar waarvan de cumulatieve inferentiekosten eind 2024 $2,3 miljard bereikten. Training, ooit de hoofdobsessie van AI-investeerders en inkoopmanagers, wordt nu herdefinieerd als een eenmalige collegegeld. Inferentie is de permanente operationele kosten van intelligentie en is nu het dominante artikel.

Maar hier ligt het paradox: inferentiekosten voor een GPT-3.5-niveau systeem daalden meer dan 280-voudig tussen november 2022 en oktober 2024, met hardwarekosten die ongeveer 30% per jaar daalden en energiedoeltreffendheid die 40% per jaar verbeterde. Prijzen dalen; consumptie versnelt sneller. Per-eenheid inferentiekosten daalden 100 keer, terwijl Microsoft en Google meldden dat AI-workloads 31 keer groeiden in de helft van die periode.

De Jevons Paradox, waarbij efficiÃŦntiegewinsten leiden tot een groter gebruik van hulpbronnen, heeft een moderne uitdrukking gevonden in GPU-clusters.

Waar Data Leeft, Moet Intelligentie Volgen

De inferentie-economie verandert fundamenteel de infrastructuurvereisten, en nergens meer dan rondom data-zwaartekracht. Inferentie, in tegenstelling tot training, is geen batch-job die eenmaal in een datacenter wordt uitgevoerd. Het is een continue, latentie-gevoelige, geografisch gedistribueerde dienst, en alleen zo goed als de data die het op het moment van query kan bereiken.

Dit is de kern van de data-overal-uitdaging.

Als voorbeeld: een taalmodel dat redeneert over een patiÃŦnt die in een ICU ligt, kan niet een 200-milliseconden rondreis naar een hyperscaler-cluster aan de oostkust van de Verenigde Staten maken. Een fraude-model voor financiÃŦle diensten dat inferentie uitvoert op het moment van transactie, kan geen accountgegevens exfiltreren naar een rechtsgebied waar het de GDPR zou schenden. Een soevereine AI-implementatie kan niet worden gebaseerd op infrastructuur die eigendom is van en wordt geÃŦxploiteerd door een buitenlandse commerciÃŦle entiteit.

De frontier-labs zijn zich hiervan zeer bewust. Anthropic’s overeenkomst met Google Cloud voor maximaal ÃĐÃĐn miljoen TPUs, waarmee meer dan een gigawatt aan AI-compute-capaciteit wordt geleverd per 2026, signaleert hoe toonaangevende labs op ongekende schaal investeren om de wereldwijde infrastructuurvoetafdruk van inferentie vorm te geven.

Een Taxonomie van Data-Intensiteit

Niet alle AI-systemen confronteren deze uitdaging identiek en het is instructief om een ruwe taxonomie te overwegen, omdat er verschillende soorten AI-modellen en complexiteit zijn. Laten we dit uiteen zetten met drie kernvoorbeelden: LLM’s, beeld- en fysieke modellen.

Grote taalmodellen – de Claude, GPT en Gemini-families – gaan voornamelijk om met taaltokens: relatief licht, compressibel en vatbaar voor privacy-beschermende technieken zoals differentiÃŦle privacy of gefedereerd leren. Hun data-overal-probleem is zeer complex.

Generatieve visuele modellen presenteren een nog harder geval. Systemen zoals Black Forest Labs’ FLUX.2 kan hoge-resolutie, fotorealistische beelden produceren in minder dan een seconde op krachtige hardware, maar het genereren van ÃĐÃĐn beeld vereist veel meer data en compute dan het genereren van tekst. Terwijl visuele AI zich verder ontwikkelt dan creatieve tools en industriÃŦle inspectie, medische beeldvorming en satellietanalyse, is de onderliggende data vaak groot, gevoelig en moeilijk te verplaatsen, waardoor de noodzaak ontstaat om AI uit te voeren waar de data al aanwezig is.

De meest complexe categorie is fysieke AI. NVIDIA’s Jensen Huang heeft verklaard dat “fysieke AI is aangekomen en elk industrieel bedrijf zal een robotbedrijf worden.” Nieuwe modellen zoals NVIDIA’s Cosmos 3 hebben als doel om machines een gegeneraliseerd begrip van de fysieke wereld te geven door simulatie, visie en redenering te combineren, terwijl bedrijven zoals Physical Intelligence robots trainen op real-world sensordata – inclusief kracht, beweging en visuele inputs – om meer adaptieve, autonome gedragingen mogelijk te maken.

Dezelfde schaaldynamica die grote redeneringsmodellen verbeterde, worden nu toegepast op real-world data zoals trilling, geluid en sensordata. Maar deze informatie is inherent lokaal. Een robot op een fabrieksvloer kan geen real-time visuele en aanraakdata naar een verre cloud sturen voor verwerking zonder vertragingen in te voeren die veiligheidsrisico’s kunnen creÃŦren, waardoor AI steeds vaker moet draaien aan de rand, dicht bij waar de data wordt gegenereerd.

Vertrouwen, Verklaarbaarheid en Resultaten

Dit is waar de data-overal-uitdaging verder gaat dan infrastructuur en een bestuurskwestie wordt. Terwijl AI wordt toegepast op hoge-inzetbeslissingen – van gezondheidsdiagnoses tot financiÃŦle risicomodellen tot fysieke controle-systemen – worden vragen over waar data resideert steeds meer gekoppeld aan wie verantwoordelijk is voor resultaten.

In de huidige regelgevingsomgeving is verklaarbaarheid niet optioneel. De EU AI-wet, bijvoorbeeld, vereist dat high-risk systemen de basis voor hun uitvoer demonstreren, wat moeilijk is als de data die deze beslissingen informeert, gedistribueerd is over meerdere systemen, rechtsgebieden en regelgevingskaders.

Vertrouwen wordt dus de voorwaarde voor adoptie op grote schaal. Controle over de data-omgeving wordt net zo belangrijk als controle over de modellen zelf.

De Volgende Generatie van AI-Infrastructuur

De oplossing van de data-overal-uitdaging zal de competitieve kaart van AI voor het komende decennium definiÃŦren. Gefedereerde inferentie, beveiligde data-verwerkingsomgevingen, edge-geoptimaliseerde modellen en orkestratiesystemen die rekening houden met waar data mag resideren, zijn geen niche-technische functies, maar voorwaarden voor de uitbreiding van AI buiten de use-cases waar data vrij centraal kan worden gesteld.

De bedrijven en regeringen die infrastructuur bouwen die in staat is om vertrouwd, verklaarbaar, soeverein inferentie te leveren – intelligentie die de data bereikt in plaats van te eisen dat de data naar de intelligentie gaat – zullen de meest duurzame voorsprong van de AI-era hebben. Het trainen van een slimmer model is steeds meer een opgelost en geÃŊndustrialiseerd probleem. Het verantwoord implementeren ervan, aan de rand, over juridische grenzen heen, tegen data die niet kan worden verplaatst, is het probleem dat resteert.

Data overal is geen slogan. Het is het moeilijkste onopgeloste probleem in enterprise AI. En het zal bepalen of de buitengewone capaciteit die in de afgelopen decennium is ontgrendeld door trainingsinvesteringen, ooit op grote schaal wordt vertaald in resultaten die de wereld kan vertrouwen.

Als chief strategy officer leidt Abhas de algemene corporate strategie voor Cloudera en is verantwoordelijk voor het creÃŦren van de bedrijfsvisie, het opbouwen van het bedrijf en het customer target operating model, het communiceren daarvan met belangrijke stakeholders via duidelijk gedefinieerde OKR's en het uitvoeren van sleuteltransformatie-initiatieven om dat plan te realiseren. Hij is ook belast met het stimuleren van groei en innovatie en het nemen van passende build/buy-partnerbeslissingen, waaronder prijzen en verpakkingen, corporate ontwikkeling en Cloudera's innovatieversneller om nieuwe producten te lanceren. Eerder was hij chef van de staf en vice-president voor bedrijfstransformatie bij het bedrijf.

VÃģÃģr de Cloudera/Hortonworks-fusie hielp hij bij het opschalen van de go-to-market-inspanningen van Hortonworks als wereldwijd hoofd van customer innovation en value management. Als managementconsultant in opleiding is hij gepassioneerd over het stimuleren van actie en verandering in de samenleving en heeft hij projecten geleid met meerdere organisaties, waaronder de World Economic Forum, Founders of the Future en andere non-profitorganisaties.