Mennesker holder fast for livet mens AI akselererer programvareleveranser

I mesteparten av programvareutviklingens historie har mennesker vært kontrollen. En utvikler gjør en endring, en annen person gjennomgår den, noen godkjenner den, og til slutt blir den distribuert.

AI akselererer hele systemet mens vi fortsatt prøver å holde folk i midten av det. Utviklere kan nå lage kode og endringer på sekunder. Agenter kan arbeide på tvers av repositorier, verktøy, infrastruktur og andre systemer med mindre menneskelig involvering.

Instinktet vårt er å bringe mennesker tilbake inn i prosessen. Vi gjennomgår pull‑requesten, godkjenner verktøykallet, sjekker endringen og bekrefter distribusjonen fordi vi vil forsikre oss om at AI ikke gjorde noe den ikke skulle gjøre. Vi holder fast for livet.

Det instinktet gir mening. Menneskelig gjennomgang har gitt oss en måte å opprettholde kontroll på etter hvert som programvaren beveger seg mot produksjon. Men AI begynner å operere med en hastighet og volum der mennesker ikke lenger kan være skalaen for styring.

AI beveger seg allerede raskere enn menneskelig gjennomgang

Den første bølgen av generativ AI i programvareutvikling fokuserte hovedsakelig på å hjelpe utviklere med å skrive kode raskere. Det alene endrer programvareleveransen. Mer kode betyr flere endringer i applikasjoner, infrastruktur og databaser som går gjennom testing, sikkerhet, gjennomgang, distribusjon og produksjon.

Problemet er ikke nødvendigvis at AI lager dårligere endringer. Den lager flere endringer, raskere. Hvis kontrollen for all den nye outputen er en annen person som gjennomgår hver endring, vil til slutt regnestykket slutte å fungere.

Vi ser allerede tegn på dette. Anthropic rapporterte nylig at Claude Code‑brukere godkjenner omtrent 93 % av tillatelsesforespørslene. Selskapet fant at gjentatte forespørsler kan skape godkjenningsutmattelse, der folk gir mindre oppmerksomhet etter hvert som antallet godkjenninger øker. Anthropic bruker nå en automatisk klassifikator for å evaluere handlinger og stoppe potensielt farlige, i stedet for å be en person om å godkjenne alt.

Tenk på hva det sier om menneskelig tilsyn. Hvis noen klikker godkjenn 93 % av gangene, gir en ekstra godkjenning ikke nødvendigvis mer kontroll. På et tidspunkt blir mennesket et ekstra trinn i arbeidsflyten.

Vi kan bruke AI til å lage mer programvare. Vi kan ikke svare ved å opprette en like stor menneskelig gjennomgangsoperasjon bak den.

AI går fra å lage kode til å handle

Kodeassistenter ga AI en rolle i utvikling. Agenter gir AI muligheten til å delta i en mye større del av programvarelivssyklusen (SDLC). En agent kan motta et mål, bestemme hvordan det skal oppnås, bruke verktøy, observere resultatene og justere hva den gjør neste gang.

I programvareingeniørfaget kan det bety å endre filer, kjøre kommandoer, samhandle med repositorier, kalle API‑er, teste kode eller arbeide med infrastruktur. Folk blir også mer komfortable med å la agenter jobbe på egen hånd. I en studie av millioner av menneske‑agent‑interaksjoner Anthropic fant at erfarne Claude Code‑brukere benyttet full automatisk godkjenning i mer enn 40 % av øktene, omtrent dobbelt så ofte som nye brukere.

Det betyr ikke at autonome agenter kjører produksjonsmiljøer overalt i dag. Det gjør de ikke. Men programvareutvikling gir oss et tidlig innblikk i hvor dette er på vei.

I dag skaper AI mer endring, og menneskelig gjennomgang begynner å bli belastet. Neste steg er at AI deltar i flere deler av SDLC. Til slutt vil agenter lage, validere, distribuere, observere og rette opp endringer med mye mindre menneskelig involvering.

På hvert trinn fjerner vi enda et sted hvor en person tidligere ga kontroll. Spørsmålet endrer seg fra om AI kan utføre arbeidet til hva AI bør få lov til å gjøre på egen hånd.

Tillatelse er ikke myndighet

Agenter trenger tilgang for å utføre nyttig arbeid. En agent som hjelper med å distribuere programvare kan trenge tilgang til et repositorium, CI/CD‑system, sky‑miljø eller database. Hvis du fjerner den tilgangen, fjerner du også mye av det som gjør agenten nyttig.

Men tilgang og myndighet er ikke det samme. Å gi en agent tillatelse til å nå et system betyr ikke at den skal ha myndighet til å utføre alle handlinger som er tilgjengelige i systemet.

Tradisjonell tilgangskontroll kan fortelle oss om en agent har tillatelse til å nå noe. Vi trenger også en måte å avgjøre om den spesifikke handlingen den ønsker å utføre bør skje. Dette blir viktigere når systemet som tar beslutningen kan tolke en oppgave annerledes enn personen som ga den, støter på et hinder og velger en annen vei, eller bruker et legitimt verktøy på en måte ingen forutså.

OWASP beskriver en variant av dette problemet som Overdrevet agentvirksomhet. Det peker på overdreven funksjonalitet, tillatelser og autonomi som årsaker til skadelige handlinger, og anbefaler uavhengig godkjenning for handlinger med høy påvirkning.

NVIDIA takler det samme problemet på arkitekturnivå. Dens Open Agent Safety Platform plasserer policy‑håndheving utenfor agenten og gjør et enkelt poeng: man kan ikke forvente at en agent fullt ut styrer sin egen oppførsel.

Det bør forme hvordan vi bygger AI‑SDLC. En agent kan trenge tillatelse til å få tilgang til en database, infrastruktur‑miljø eller distribusjonssystem. Det betyr ikke at agenten skal bestemme selv at hver endring den ønsker å gjøre er trygg.

AI tar beslutninger basert på sannsynligheter. Vi bør ikke la hver av disse beslutningene automatisk bli en handling mot et kritisk system.

Mennesket i sløyfen kan ikke være hele svaret

Det åpenbare svaret er å ha en person foran de konsekvensfulle AI‑handlingene. For noen beslutninger er det akkurat det vi bør gjøre. Feilen er å gjøre «human in the loop» til svaret for hver beslutning.

Hvis hver handling en agent tar krever at noen gjennomgår den og klikker godkjenn, har vi gjenskapt flaskehalsen AI skulle fjerne. Dessuten kan nok godkjenninger gjøre tilsyn til en vane. En person som klikker godkjenn hele dagen, utøver ikke nødvendigvis skjønn.

Vi må være mer bevisste på hvor beslutningene tas. AI kan ta beslutninger innenfor den jobben vi har gitt den. Policy kan håndtere beslutninger der reglene allerede er kjent. Folk kan håndtere unntak og beslutninger som faktisk krever skjønn.

En lav‑risiko endring som oppfyller etablert policy, bør ikke trenge noen som stirrer på den. En endring som bryter policy, bør stoppe automatisk. Et unntak med betydelige forretnings‑, sikkerhets‑ eller driftskonsekvenser kan kreve at en person tar avgjørelsen.

Det er en helt annen modell enn bare å ha et menneske i hver sløyfe. Målet er ikke å fjerne mennesker. Det er å slutte å gjøre menneskelig oppmerksomhet til det hver handling avhenger av, og gjøre den styrte veien til den enkleste veien.

Plasser kontrollen der handlingen skjer

Bedrifter vil ikke standardisere på én AI‑modell eller én agent. Utviklere vil bruke forskjellige copilot‑verktøy. Team vil eksperimentere med ulike modeller. AI vil dukke opp i utviklerverktøy, sikkerhetsprodukter, dataplatformer og interne applikasjoner.

Å prøve å bygge en egen styringsprosess rundt hvert AI‑verktøy vil ikke skalere. Kontrollene må ligge nærmere handlingen AI ønsker å utføre.

Hvis en AI‑generert endring går inn i en distribusjonspipeline, bør den møte de samme policyene som en menneskegenerert endring. Hvis en agent vil endre infrastruktur, data eller en produksjonsdatabase, bør kontrollene rundt systemet ikke forsvinne fordi aktøren har endret seg.

Kilden til endringen bestemmer ikke risikoen. Endringen selv gjør det. En utvikler, kodeassistent, automatisert prosess eller autonom agent kan ta en annen vei til samme handling, men den handlingen kan fortsatt møte samme policy før den blir konsekvent.

Dette gjør også at teknologien kan endres uten at selskaper må bygge om styringen hver gang. Modeller vil endres. Agenter vil bli mer kapable. Kontrollene rundt kritiske systemer kan forbli konsistente.

NIST tar en lignende risikobasert tilnærming i sin AI Risk Management Framework, som ser på styring som noe som må fungere gjennom hele AI‑livssyklusen i stedet for en enkelt godkjenning på slutten. For programvareleveranse betyr det å plassere kontroller i den banen AI allerede tar, i stedet for å feste en ny manuell prosess på den.

Når mennesket forlater, kan ikke beviset forlate med dem

Det er et annet problem som skjuler seg i modellen med menneskelig gjennomgang. Når du fjerner personen fra prosessen, mister du ikke bare gjennomgangen. Du kan også miste personen som hjalp med å bevise at gjennomgangen fant sted.

Det blir et alvorlig problem for selskaper med sikkerhets‑, etterlevelses‑ og revisjonskrav. De må fortsatt vite hva som ble endret, hvem eller hva som initierte det, hvilken policy som ble brukt, om den bestod, hvem som godkjente et unntak, hvor endringen ble kjørt, og hva som skjedde etterpå.

Du kan ikke automatisere endringen og la beviset være manuelt. I en menneskedrevet prosess kan team rekonstruere bevis senere fra saker, godkjenninger, pipeline‑logger, skjermbilder og samtaler. Denne tilnærmingen blir vanskeligere etter hvert som mengden endringer vokser, og blir urealistisk når maskiner lager og utfører endringer kontinuerlig.

Beviset må bli en del av leveranseprosessen. Policy‑beslutninger, godkjenninger, unntak, distribusjoner og resultater bør opprette poster mens arbeidet pågår. Revisjonsbevis blir et biprodukt av programvareleveranse i stedet for noe team samler etterpå.

Det gir to ulike oppgaver for styring i en AI‑drevet SDLC. Før en handling, avgjør om den skal skje. Etter handlingen, bevis hva som skjedde.

Mennesker forsvinner ikke. Rollen vår endrer seg.

Det er en forståelig instinkt å måle kontroll etter hvor mange ganger en person blir involvert. Flere gjennomganger føles tryggere. Flere godkjenninger føles tryggere. Å ha et menneske i hver sløyfe føles tryggere.

AI vil teste den antakelsen. Hvis AI fortsetter å øke mengden programvare vi kan lage, vil ikke mennesker kunne gjennomgå hver endring, godkjenne hver handling, overvåke hver distribusjon og rekonstruere hver beslutning i etterkant. Å prøve å gjøre det vil enten bremse AI eller gjøre menneskelig tilsyn til en gummistempel.

AI‑SDLC trenger en annen arbeidsfordeling. AI kan håndtere mer av arbeidet mens policy styrer repeterbare beslutninger, og folk trer inn når noe virkelig krever skjønn. Bevisene bør genereres automatisk underveis.

Vi vil gi AI mer tilgang fordi det er slik den blir nyttig. Vi vil gi agenter mer autonomi fordi det er slik vi får mer utnyttelse av dem. Utfordringen er å sørge for at større tilgang og autonomi ikke stille blir ubegrenset myndighet.

Mennesker trenger ikke holde seg fast tettere. Målet er ikke mindre kontroll. Det er en kontrollmodell som ikke avhenger av at vi beholder hver beslutning selv. Vi må bygge kontrollene som lar oss slippe taket uten å miste kontrollen.