Mensen houden zich met de klauwen vast terwijl AI de softwarelevering versnelt

Gedurende het grootste deel van de geschiedenis van softwareontwikkeling zijn mensen de controle. Een ontwikkelaar brengt een wijziging aan, een andere persoon beoordeelt deze, iemand keurt het goed, en uiteindelijk wordt het uitgerold.

AI versnelt dat hele systeem terwijl we nog steeds proberen mensen in het midden te houden. Ontwikkelaars kunnen nu code en wijzigingen in enkele seconden maken. Agenten kunnen over repositories, tools, infrastructuur en andere systemen werken met minder menselijke tussenkomst.

Ons instinct is om mensen terug in het proces te brengen. We beoordelen de pull‑request, keuren de tool‑aanroep goed, controleren de wijziging en bevestigen de uitrol omdat we willen zeker weten dat de AI niets heeft gedaan wat het niet mocht doen. We houden ons met de klauwen vast.

Dat instinct is logisch. Menselijke beoordeling heeft ons een manier gegeven om de controle te behouden terwijl software naar productie beweegt. Maar AI begint te opereren op een snelheid en volume waarbij mensen niet langer de schaalbare eenheid voor governance kunnen blijven.

AI beweegt al sneller dan menselijke beoordeling

De eerste golf van generatieve AI in softwareontwikkeling richtte zich vooral op het helpen van ontwikkelaars om sneller code te schrijven. Dat alleen al verandert de softwarelevering. Meer code betekent meer applicatiewijzigingen, infrastructuurwijzigingen en database‑wijzigingen die door testen, beveiliging, beoordeling, uitrol en productie gaan.

Het probleem is niet per se dat AI slechtere wijzigingen maakt. Het maakt meer wijzigingen, sneller. Als de controle over al die nieuwe output een andere persoon is die elke wijziging beoordeelt, werkt de wiskunde uiteindelijk niet meer.

We zien er al tekenen van. Anthropic meldde onlangs dat Claude Code‑gebruikers ongeveer 93 % van de permissie‑prompts goedkeuren. Het bedrijf ontdekte dat herhaalde prompts vermoeidheid bij goedkeuring kunnen veroorzaken, waarbij mensen minder opletten naarmate het aantal goedkeuringen stijgt. Anthropic gebruikt nu een geautomatiseerde classifier om acties te evalueren en potentieel gevaarlijke te stoppen in plaats van een persoon alles te laten goedkeuren.

Denk eens na over wat dat zegt over menselijk toezicht. Als iemand 93 % van de tijd op goedkeuren klikt, geeft een extra goedkeuring niet per se meer controle. Op een gegeven moment wordt de mens een extra stap in de workflow.

We kunnen AI gebruiken om meer software te maken. We kunnen niet reageren door een even grote menselijke beoordelingsoperatie erachter op te zetten.

AI verschuift van code maken naar actie ondernemen

Code‑assistenten gaven AI een rol in ontwikkeling. Agenten geven AI de mogelijkheid om in veel meer van de SDLC deel te nemen. Een agent kan een doel ontvangen, beslissen hoe het te bereiken, tools gebruiken, de resultaten observeren en vervolgens aanpassen wat hij doet.

In software‑engineering kan dat betekenen dat bestanden worden aangepast, commando’s worden uitgevoerd, repositories worden benaderd, API’s worden aangeroepen, code wordt getest of er met infrastructuur wordt gewerkt. Mensen voelen zich ook steeds comfortabeler om agenten zelfstandig te laten werken. In een onderzoek naar miljoenen mens‑agent‑interacties Anthropic vond dat ervaren Claude Code‑gebruikers volledige auto‑goedkeuring gebruikten in meer dan 40 % van de sessies, ongeveer twee keer zo vaak als nieuwe gebruikers.

Dat betekent niet dat autonome agenten vandaag overal productieomgevingen draaien. Dat doen ze niet. Maar softwareontwikkeling geeft ons een vroeg inzicht in waar dit heen gaat.

Vandaag creëert AI meer veranderingen, en menselijke beoordeling begint onder druk te staan. Vervolgens neemt AI deel aan meer delen van de SDLC. Uiteindelijk zullen agenten wijzigingen creëren, valideren, uitrollen, observeren en herstellen met veel minder menselijke tussenkomst.

Bij elke stap verwijderen we een extra plek waar een persoon vroeger controle uitoefende. De vraag verschuift van of AI het werk kan doen naar wat AI zelfstandig mag doen.

Toestemming is geen autoriteit

Agenten hebben toegang nodig om nuttig werk te doen. Een agent die helpt bij het uitrollen van software heeft mogelijk toegang nodig tot een repository, CI/CD‑systeem, cloud‑omgeving of database. Als je die toegang weghaalt, verlies je ook een groot deel van wat de agent nuttig maakt.

Maar toegang en autoriteit zijn niet hetzelfde. Een agent toestemming geven om een systeem te bereiken betekent niet dat hij de autoriteit heeft om elke beschikbare actie binnen dat systeem uit te voeren.

Traditionele toegangscontrole kan ons vertellen of een agent toestemming heeft om iets te bereiken. We hebben ook een manier nodig om te bepalen of de specifieke actie die hij wil uitvoeren, zou moeten plaatsvinden. Dat wordt belangrijker wanneer het systeem dat de beslissing neemt, een taak anders interpreteert dan de persoon die deze heeft opgegeven, een obstakel tegenkomt en een ander pad kiest, of een legitiem hulpmiddel op een onverwachte manier gebruikt.

OWASP beschrijft een variant van dit probleem als Excessieve Agentuur. Het wijst op overmatige functionaliteit, permissies en autonomie als oorzaken van schadelijke acties en beveelt onafhankelijke goedkeuring aan voor acties met een grote impact.

NVIDIA benadert hetzelfde probleem op architectuurniveau. Zijn Open Agent Safety Platform plaatst beleids‑handhaving buiten de agent en maakt een simpel punt: van een agent mag niet worden verwacht dat hij volledig zijn eigen gedrag reguleert.

Dat zou moeten bepalen hoe we de AI‑SDLC opbouwen. Een agent heeft mogelijk toestemming nodig om toegang te krijgen tot een database, infrastructuuromgeving of implementatiesysteem. Dat betekent niet dat de agent zelf moet beslissen dat elke wijziging die hij wil aanbrengen veilig is.

AI neemt beslissingen op basis van waarschijnlijkheden. We moeten niet toestaan dat al die beslissingen automatisch een actie tegen een kritisch systeem worden.

Mens in de Loop kan niet het volledige antwoord zijn

De voor de hand liggende reactie is om een persoon te laten toezien op consequentiale AI‑acties. Voor sommige beslissingen is dat precies wat we moeten doen. De fout is om “mens in de loop” te maken tot het antwoord op elke beslissing.

Als elke actie die een agent onderneemt eerst door iemand moet worden beoordeeld en goedgekeurd, hebben we de knelpunt die AI juist moest wegnemen opnieuw gecreëerd. Bovendien kan een overvloed aan goedkeuringen toezicht tot een gewoonte maken. Een persoon die de hele dag op goedkeuren klikt, oefent niet per se oordeel uit.

We moeten bewuster zijn waar beslissingen plaatsvinden. AI kan beslissingen nemen binnen de taak die we haar hebben gegeven. Beleid kan beslissingen afhandelen waar de regels al bekend zijn. Mensen kunnen uitzonderingen en beslissingen die daadwerkelijk oordeel vereisen, behandelen.

Een wijziging met laag risico die voldoet aan het vastgestelde beleid, hoeft niet door iemand bekeken te worden. Een wijziging die het beleid schendt, moet automatisch worden gestopt. Een uitzondering met belangrijke zakelijke, veiligheids- of operationele consequenties kan een persoon vereisen om de beslissing te nemen.

Dat is een heel ander model dan simpelweg een mens in elke lus plaatsen. Het doel is niet om mensen te verwijderen. Het is om te voorkomen dat menselijke aandacht de factor wordt waar elke actie van afhankelijk is, en om het beheerde pad het gemakkelijkste pad te maken.

Plaats de controle waar de actie plaatsvindt

Bedrijven zullen zich niet standaardiseren op één AI‑model of één agent. Ontwikkelaars zullen verschillende copiloten gebruiken. Teams zullen experimenteren met verschillende modellen. AI zal verschijnen in ontwikkeltools, beveiligingsproducten, dataplatformen en interne applicaties.

Pogingen om voor elk AI‑instrument een ander governance‑proces op te zetten, zullen niet opschalen. De controle moet dichter bij de actie staan die de AI wil uitvoeren.

Als een door AI gegenereerde wijziging een implementatie‑pipeline binnenkomt, moet deze dezelfde beleidsregels ondergaan als een door een mens gegenereerde wijziging. Als een agent infrastructuur, data of een productie‑database wil wijzigen, mogen de controles rond dat systeem niet verdwijnen omdat de actor is veranderd.

De bron van de wijziging bepaalt niet het risico. De wijziging zelf wel. Een ontwikkelaar, code‑assistent, geautomatiseerd proces of autonome agent kan een andere route nemen naar dezelfde actie, maar die actie kan nog steeds onder hetzelfde beleid vallen voordat hij consequential wordt.

Dit maakt het ook mogelijk dat de technologie verandert zonder dat bedrijven elke keer de governance opnieuw moeten opbouwen. Modellen zullen veranderen. Agenten worden capabeler. De controles rond kritieke systemen kunnen consistent blijven.

NIST hanteert een vergelijkbare risicogebaseerde aanpak in zijn AI Risk Management Framework, waarin governance wordt gezien als iets dat over de volledige AI‑levenscyclus moet functioneren in plaats van als één enkele goedkeuring aan het einde. Voor software‑levering betekent dat dat controles moeten worden ingebed in het traject dat AI al volgt, in plaats van een extra handmatig proces toe te voegen.

Wanneer de mens vertrekt, kan het bewijs niet met hem vertrekken

Er schuilt een ander probleem in het model van menselijke beoordeling. Wanneer je de persoon uit het proces haalt, verlies je niet alleen de beoordeling, maar ook de persoon die hielp aantonen dat de beoordeling heeft plaatsgevonden.

Dat wordt een ernstig probleem voor bedrijven met beveiligings-, compliance- en auditvereisten. Ze moeten nog steeds weten wat er is gewijzigd, wie of wat het heeft geïnitieerd, welk beleid van toepassing was, of het is goedgekeurd, wie een uitzondering heeft goedgekeurd, waar de wijziging heeft plaatsgevonden en wat er daarna gebeurde.

Je kunt de wijziging niet automatiseren en het bewijs handmatig laten blijven. In een door mensen gedreven proces kunnen teams later bewijs reconstrueren uit tickets, goedkeuringen, pipeline‑logboeken, screenshots en gesprekken. Die aanpak wordt moeilijker naarmate de hoeveelheid wijzigingen toeneemt en onrealistisch wanneer machines continu wijzigingen creëren en uitvoeren.

Het bewijs moet onderdeel worden van het leveringsproces. Beleidsbeslissingen, goedkeuringen, uitzonderingen, implementaties en resultaten moeten tijdens het werk records genereren. Audit‑bewijs wordt dan een bijproduct van software‑levering in plaats van iets dat teams achteraf moeten samenstellen.

Dat laat twee verschillende taken over voor governance in een AI‑gedreven SDLC. Voor een actie moet worden bepaald of deze moet plaatsvinden. Na de actie moet worden aangetoond wat er is gebeurd.

Mensen verdwijnen niet. Onze taak verandert.

Er is een begrijpelijk instinct om controle te meten aan de hand van hoe vaak een persoon wordt betrokken. Meer beoordelingen lijken veiliger. Meer goedkeuringen lijken veiliger. Een mens in elke lus houden lijkt veiliger.

AI zal die veronderstelling testen. Als AI de hoeveelheid software die we kunnen maken blijft vergroten, zullen mensen niet in staat zijn elke wijziging te beoordelen, elke actie goed te keuren, elke implementatie te monitoren en elke beslissing achteraf te reconstrueren. Pogingen daartoe zullen AI ofwel vertragen of menselijke controle tot een rubberstempel reduceren.

De AI‑SDLC heeft een andere taakverdeling nodig. AI kan meer van het werk aan, terwijl beleid herhaalbare beslissingen regelt en mensen ingrijpen wanneer iets echt oordeel vereist. Het bewijs moet onderweg automatisch worden gecreëerd.

We gaan AI meer toegang geven, want zo wordt het nuttig. We gaan agenten meer autonomie geven, want zo halen we meer hefboomwerking uit hen. De uitdaging is ervoor te zorgen dat meer toegang en autonomie niet stilletjes onbeperkte bevoegdheid worden.

Mensen hoeven zich niet strakker vast te houden. Het doel is niet minder controle. Het is een controlemodel dat niet afhankelijk is van het zelf vasthouden aan elke beslissing. We moeten de controles bouwen die ons in staat stellen onze greep los te laten zonder de controle te verliezen.