Private AI heeft infrastructuur nodig die met de werklast kan meegroeien

Twee jaar geleden ging bijna elk bedrijf waarmee ik sprak ervan uit dat AI betekende dat je via een API een geavanceerd model aanriep. Die aanname begint niet langer op te gaan. Modellen met open gewichten zijn goed genoeg geworden voor veel dagelijkse taken, en wat een AI-toepassing voor bedrijven waardevol maakt, is meestal de eigen data van het bedrijf, niet het model erachter. Zodra bedrijven dat inzien, is het niet meer dan logisch om het model dicht bij hun data te houden en er zelf controle over te hebben.

Dat is private AI. Je draait het model in je eigen omgeving, stemt het af op je eigen informatie en bepaalt waar het wordt ingezet en waartoe het toegang krijgt. Als je een bank of farmaceutisch bedrijf bent, was het toch al ondenkbaar om bedrijfseigen onderzoek of klantgegevens onder te brengen in de tenant van iemand anders. Bij alle andere bedrijven komt de drijfveer voort uit de inferentiekosten op grote schaal en uit de wens om niet afhankelijk te zijn van één aanbieder voor iets wat steeds belangrijker wordt voor de bedrijfsvoering. Volgens onderzoek van Linux Foundation gebruikte 63% van de ondervraagde bedrijven een AI-model met open gewichten. Dat laat zien hoe breed deze alternatieven inmiddels zijn ingevoerd.

Wat mensen onderschatten, is dat je bij het intern onderbrengen van het model ook de infrastructuur in huis haalt. Stroomvoorziening, koeling, rekenkracht, de locatie en de verbinding met de rest van je omgeving: dat waren vroeger de problemen van je cloudprovider. Nu zijn ze van jou. De meeste bedrijven hebben zulke beslissingen nooit eerder hoeven nemen, en de technologie verandert sneller dan iemand beton kan storten. Als je de capaciteit verkeerd inschat, zit je ermee opgescheept terwijl die niet aansluit op de werklast die je uiteindelijk krijgt. Flexibiliteit moet vanaf het begin worden ingebouwd. Bestaande infrastructuur achteraf aanpassen kan, waar dat mogelijk is, duur zijn. Sommige aanbieders kunnen dat simpelweg niet, omdat hun locaties nooit zijn gebouwd voor een dergelijke dichtheid.

Leg de basis zelf aan, huur extra capaciteit in voor pieken

Begin met het inzicht dat je niet voor elke taak het grootste model nodig hebt. Documenten samenvatten, tickets classificeren en vragen beantwoorden met behulp van je eigen kennisbank zijn allemaal taken die een model met open gewichten privé kan uitvoeren, tegen voorspelbare kosten. Bewaar de meest geavanceerde modellen voor het werk waarvoor je ze echt nodig hebt.

Dat geeft aan hoe de infrastructuur eruit moet zien. Bouw privé capaciteit op voor de stabiele vraag die je elke week ziet aankomen. Huur extern capaciteit in voor pieken en voor zware taken die je eigen capaciteit te boven gaan. Zo beheren bedrijven hun rekenkracht al lange tijd. AI verandert die logica niet; het vergroot alleen de dichtheid van de basis en maakt de mogelijke pieken groter.

De uitdaging is om de basiscapaciteit nauwkeurig te bepalen en er tegelijk voor te zorgen dat de privéomgeving en de gehuurde omgeving zich als één systeem gedragen. Beide moeten toegang hebben tot dezelfde data en onder dezelfde controles werken, zonder dat bedrijven de pijplijn telkens opnieuw moeten opbouwen wanneer een werklast van de ene omgeving naar de andere verhuist.

Waar komt de infrastructuur te staan?

De GPU’s aanschaffen blijkt de makkelijke beslissing. Daarna moet je ze ergens onderbrengen, van stroom voorzien, koelen en aansluiten op de rest van je IT-omgeving. AI-hardware met een hoge dichtheid past niet zonder ingrijpende aanpassingen aan de stroomvoorziening en koelsystemen in een standaarddatacenter voor bedrijven, en hoort niet thuis op elke locatie die je beheert. In het onderzoek naar AI-infrastructuur van Uptime Institute uit 2025 noemde 37% van de respondenten de beschikbaarheid van stroom als een van de belangrijkste factoren bij de keuze waar ze AI-inferentiewerklasten uitvoeren.

De meeste bedrijven kiezen uiteindelijk voor een combinatie van colocatie en de cloud. Wat meestal de doorslag geeft, is de data. Die is al over verschillende locaties verspreid, is duur om te verplaatsen en mag in gereguleerde sectoren soms niet buiten een land of een specifieke omgeving worden opgeslagen. Alles samenbrengen in één gebouw naast de GPU’s klinkt overzichtelijk, maar gebeurt vrijwel nooit.

De vraag is dus niet alleen waar de rekenkracht staat. Het gaat er ook om hoe die veilig toegang krijgt tot de benodigde data, zonder extra kosten en complexiteit op te stapelen waar je over drie jaar spijt van krijgt. Zie dit als de derde omslag. De eerste was het internet; connectiviteit bood daarvoor de oplossing. De tweede was de cloud; daarvoor bood een netwerkfabric de oplossing. Die maakte softwaregedefinieerde onderlinge verbinding mogelijk, zodat bedrijven vanaf één locatie verbinding konden maken met verschillende aanbieders. AI is de derde omslag, en een netwerkfabric alleen is daarvoor niet voldoende. Er is stroom voor nodig — heel veel stroom — op dezelfde locatie als de netwerkfabric. Bedrijven die private AI goed aanpakken, zullen de rekenkracht plaatsen waar stroomvoorziening en connectiviteit samenkomen, in plaats van die als twee afzonderlijke inkooptrajecten te behandelen.

Private AI verbinden wanneer werklasten veranderen

Agentische AI maakt de kwestie van connectiviteit urgenter. Een traditionele toepassing ontvangt een prompt, roept een model aan en geeft een antwoord terug. Een agent is voortdurend in beweging. Die roept verschillende modellen aan, bevraagt meerdere systemen, haalt data op waar die zich ook bevindt en draagt werk over aan andere agents. Bij elk van die stappen wordt een grens overschreden, wat latentie veroorzaakt en de vraag oproept wie toegang heeft tot wat.

Plaats het model op de ene locatie en de data op een andere, en stel als regel dat een deel van die data binnen een bepaald land of een afgeschermde omgeving moet blijven. Bedrijven moeten daadwerkelijk controle hebben over die routes: welke systemen toegang hebben tot welke data, wat er gebeurt wanneer een workload wordt verplaatst en hoe een nieuw model kan worden aangesloten zonder alles wat al draait te verstoren.

Daarom moet de infrastructuur programmeerbaar zijn. De verbindingen tussen modellen, data en omgevingen moeten iets zijn wat je zelf kunt configureren en aanpassen, en niet telkens een technisch project op zich. Steeds vaker zal niet een mens die configuratie uitvoeren. Standaarden zoals het Model Context Protocol, of MCP, bieden een agent een gemeenschappelijke manier om te communiceren met de tools en systemen om zich heen. Een agent die verbinding nodig heeft met een nieuwe databron of een nieuw model, zou die kunnen aanvragen, net zoals hij een andere dienst zou aanroepen, terwijl het juiste beleid en de juiste controles van kracht blijven. Dat is wat programmeerbare infrastructuur in de praktijk betekent. Elke paar maanden verschijnen er nieuwe modellen. Nieuwe toepassingen zullen routes nodig hebben die vandaag nog niet bestaan. Als elke verandering betekent dat je alles opnieuw moet opbouwen, ben je de flexibiliteit kwijt waarvoor je voor een private omgeving hebt gekozen.

De economie laten kloppen

De capaciteit goed afstemmen is een cruciale succesfactor, en daarbij gaat het om meer dan alleen het totale aantal. Bedrijven die dit goed aanpakken, hebben een helder beeld van de verhouding tussen het vermogen dat ze inzetten en de tokens die ze ermee produceren. De verhouding tussen vermogen en tokens vormt de economische maatstaf voor private AI. Als je die verhouding voor je eigen workloads begrijpt, kun je de omgeving met veel vertrouwen op de juiste omvang dimensioneren. Daarnaast is er de benodigde reservecapaciteit. Elk kwartaal komen er nieuwe mogelijkheden op de markt. Bedrijven die goed plannen, houden altijd ruimte vrij voor wat er nog aankomt, in plaats van de capaciteit precies af te stemmen op de eisen van vandaag. Het beste plan combineert die twee. Zorg dat je de verhouding tussen vermogen en tokens door en door kent en plan vervolgens een verstandige marge daarbovenop.

En de GPU’s vormen maar een deel van de kosten. De huisvesting, koeling, stroomvoorziening en aansluiting op de rest van het bedrijf kunnen evenveel kosten als de hardware zelf. Dan zijn er nog de mensen. De meeste bedrijven hebben nog nooit een rekenomgeving met een hoge dichtheid beheerd, en zulke expertise haal je niet binnen een kwartaal in huis.

Daarom zijn de basiscapaciteit en de piekcapaciteit belangrijk. Bouw voldoende private capaciteit op voor je normale belasting en huur extra capaciteit in wanneer de vraag daarbovenuit stijgt. Zo voorkom je dat je betaalt voor hardware die het grootste deel van het jaar ongebruikt blijft. Je behoudt ook de mogelijkheid om van koers te veranderen wanneer de modellen en toepassingen veranderen, en dat zullen ze doen.

Voorbereiden op wat komen gaat

Onder dit alles schuilt een timingprobleem. De bouw van een datacenter duurt ongeveer twee jaar. Over twee jaar zullen de modellen, hardware en toepassingen die bedrijven willen gebruiken er heel anders uitzien dan nu. Alles waartoe je je nu verbindt, zal workloads moeten draaien die nog niemand volledig kan beschrijven.

Bedrijven zijn nog aan het uitzoeken welke workloads thuishoren in een private omgeving en wanneer ze externe capaciteit nodig hebben. Dat is een begrijpelijke fase. Wat je moet vermijden, zijn toezeggingen over de infrastructuur die de keuze al voor je maken voordat je die zelf hebt kunnen maken. Houd ruimte voor verschillende modellen, voor extra capaciteit wanneer je die nodig hebt en voor het verplaatsen van workloads.

Of private AI op de lange termijn rendeert, hangt minder af van het model dat je kiest dan van de vraag of je infrastructuur kan meegroeien naarmate je behoeften duidelijker worden. Richt je infrastructuur in voor de workload van vandaag, houd de verbindingen programmeerbaar en plaats de rekenkracht waar het netwerk en de stroomvoorziening samenkomen.