Mennesker holder fast for livet, mens AI accelererer softwarelevering

I størstedelen af softwareudviklingens historie har mennesker været kontrollen. En udvikler laver en ændring, en anden person gennemgår den, nogen godkender den, og til sidst bliver den implementeret.

AI accelererer hele systemet, mens vi stadig forsøger at holde mennesker i midten af det. Udviklere kan nu skabe kode og ændringer på sekunder. Agenter kan arbejde på tværs af repositories, værktøjer, infrastruktur og andre systemer med mindre menneskelig involvering.

Vores instinkt er at bringe mennesker tilbage i processen. Vi gennemgår pull‑requesten, godkender værktøjskaldet, tjekker ændringen og bekræfter implementeringen, fordi vi vil sikre, at AI ikke har gjort noget, den ikke skulle. Vi holder fast for livet.

Dette instinkt giver mening. Menneskelig gennemgang har givet os en måde at bevare kontrollen på, mens softwaren bevæger sig mod produktion. Men AI begynder at operere med en hastighed og volumen, hvor mennesker ikke længere kan være skaleringsenheden for styring.

AI bevæger sig allerede hurtigere end menneskelig gennemgang

Den første bølge af generativ AI inden for softwareudvikling fokuserede primært på at hjælpe udviklere med at skrive kode hurtigere. Det alene ændrer softwareleverancen. Mere kode betyder flere programændringer, infrastrukturændringer og databaseændringer, der bevæger sig gennem test, sikkerhed, gennemgang, implementering og produktion.

Problemet er ikke nødvendigvis, at AI skaber dårligere ændringer. Det skaber flere ændringer, hurtigere. Hvis kontrollen over alt dette nye output er en anden person, der gennemgår hver ændring, holder matematikken til sidst op med at fungere.

Vi ser allerede tegn på det. Anthropic rapporterede for nylig, at Claude Code‑brugere godkender omkring 93 % af tilladelses‑promptene. Virksomheden fandt, at gentagne prompts kan skabe godkendelses‑træthed, hvor folk lægger mindre mærke til, efterhånden som antallet af godkendelser stiger. Anthropic bruger nu en automatiseret klassifikator til at evaluere handlinger og stoppe potentielt farlige, i stedet for at bede en person om at godkende alt.

Tænk over, hvad det siger om menneskelig tilsyn. Hvis nogen klikker på godkend 93 % af tiden, giver en ekstra godkendelse ikke nødvendigvis mere kontrol. På et tidspunkt bliver mennesket et yderligere trin i arbejdsprocessen.

Vi kan bruge AI til at skabe mere software. Vi kan ikke svare ved at opbygge en lige så stor menneskelig gennemgangsoperation bagved.

AI bevæger sig fra at skabe kode til at handle

Kodeassistenter gav AI en rolle i udvikling. Agenter giver AI evnen til at deltage i meget mere af SDLC’en. En agent kan modtage et mål, beslutte, hvordan det skal opnås, bruge værktøjer, observere resultaterne og justere, hvad den gør næste gang.

Inden for software engineering kan det betyde at modificere filer, køre kommandoer, interagere med repositories, kalde API’er, teste kode eller arbejde med infrastruktur. Folk bliver også mere trygge ved at lade agenter arbejde på egen hånd. I en undersøgelse af millioner af menneske‑agent‑interaktioner Anthropic fandt, at erfarne Claude Code‑brugere brugte fuld auto‑godkendelse i mere end 40 % af sessionerne, omtrent dobbelt så meget som nye brugere.

Det betyder ikke, at autonome agenter kører produktionsmiljøer overalt i dag. Det gør de ikke. Men softwareudvikling giver os et tidligt indblik i, hvor dette er på vej hen.

I dag skaber AI mere forandring, og den menneskelige gennemgang begynder at blive presset. Næste skridt er, at AI deltager i flere dele af SDLC’en. Til sidst vil agenter skabe, validere, implementere, observere og afhjælpe ændringer med langt mindre menneskelig involvering.

På hvert trin fjerner vi endnu et sted, hvor en person tidligere leverede kontrol. Spørgsmålet skifter fra om AI kan udføre arbejdet til hvad AI bør tillades at gøre på egen hånd.

Tilladelse er ikke autoritet

Agenter har brug for adgang for at udføre nyttigt arbejde. En agent, der hjælper med at implementere software, kan have brug for adgang til et repository, CI/CD‑system, cloud‑miljø eller en database. Hvis du fjerner den adgang, fjerner du også meget af det, der gør agenten nyttig.

Men adgang og autoritet er ikke det samme. At give en agent tilladelse til at nå et system betyder ikke, at den skal have autoritet til at udføre enhver handling, der er tilgængelig i systemet.

Traditionel adgangskontrol kan fortælle os, om en agent har tilladelse til at nå noget. Vi har også brug for en måde at afgøre, om den specifikke handling, den ønsker at udføre, bør finde sted. Det bliver vigtigere, når systemet, der træffer beslutningen, kan fortolke en opgave anderledes end den person, der har tildelt den, støder på et forhindring og vælger en anden vej, eller bruger et legitimt værktøj på en måde, ingen havde forudset.

OWASP beskriver en version af dette problem som Overdreven agentur. Det peger på overdreven funktionalitet, tilladelser og autonomi som årsager til skadelige handlinger og anbefaler uafhængig godkendelse for handlinger med stor påvirkning.

NVIDIA tackler det samme problem på arkitekturniveau. Dens Open Agent Safety Platform placerer politikgennemførelse uden for agenten og gør et enkelt punkt klart: man kan ikke forvente, at en agent fuldt ud styrer sin egen adfærd.

Det bør forme, hvordan vi bygger AI‑SDLC’en. En agent kan have brug for tilladelse til at få adgang til en database, infrastruktur‑miljø eller implementeringssystem. Det betyder ikke, at agenten skal kunne beslutte selv, at hver ændring, den ønsker at foretage, er sikker.

AI træffer beslutninger baseret på sandsynligheder. Vi bør ikke lade hver af disse beslutninger automatisk blive en handling mod et kritisk system.

Mennesket i løkken kan ikke være hele svaret

Det åbenlyse svar er at holde en person foran de afgørende AI‑handlinger. For nogle beslutninger er det præcis, hvad vi bør gøre. Fejlen er at gøre “mennesket i løkken” til svaret på enhver beslutning.

Hvis hver handling, en agent udfører, kræver, at nogen gennemgår den og klikker på godkend, har vi genskabt den flaskehals, AI skulle fjerne. Endnu værre, nok godkendelser kan gøre tilsyn til en vane. En person, der klikker på godkend hele dagen, udøver ikke nødvendigvis dømmekraft.

Vi skal være mere bevidste om, hvor beslutninger træffes. AI kan træffe beslutninger inden for den opgave, vi har givet den. Politik kan håndtere beslutninger, hvor reglerne allerede er kendte. Mennesker kan håndtere undtagelser og beslutninger, der virkelig kræver dømmekraft.

En lav‑risikoændring, der opfylder etableret politik, bør ikke kræve, at nogen stirrer på den. En ændring, der overtræder politik, bør stoppe automatisk. En undtagelse med væsentlige forretnings‑, sikkerheds‑ eller driftsmæssige konsekvenser kan kræve, at en person træffer beslutningen.

Det er en helt anden model end blot at placere et menneske i hver løkke. Målet er ikke at fjerne mennesker. Det er at stoppe med at gøre menneskelig opmærksomhed til den faktor, hver handling afhænger af, og gøre den styrede vej til den letteste vej.

Placér kontrollen, hvor handlingen sker

Virksomheder vil ikke standardisere på én AI‑model eller én agent. Udviklere vil bruge forskellige copilots. Teams vil eksperimentere med forskellige modeller. AI vil dukke op i udviklerværktøjer, sikkerhedsprodukter, dataplatforme og interne applikationer.

At forsøge at bygge en anden styringsproces omkring hvert AI‑værktøj vil ikke skalere. Kontrollen skal placeres tættere på den handling, AI’en ønsker at udføre.

Hvis en AI‑genereret ændring kommer ind i en implementerings‑pipeline, bør den møde de samme politikker som en menneskeskabt ændring. Hvis en agent vil ændre infrastruktur, data eller en produktionsdatabase, bør kontrollen omkring det system ikke forsvinde, fordi aktøren har skiftet.

Kilden til ændringen bestemmer ikke risikoen. Selve ændringen gør. En udvikler, kodeassistent, automatiseret proces eller autonom agent kan tage en anden vej til den samme handling, men den handling kan stadig møde den samme politik, før den bliver væsentlig.

Dette gør det også muligt, at teknologien kan ændre sig uden at tvinge virksomheder til at genopbygge styringen hver gang. Modeller vil skifte. Agenter vil blive mere kapable. Kontrollen omkring kritiske systemer kan forblive konsistent.

NIST tager en lignende risikobaseret tilgang i sin AI Risikostyringsramme, som betragter styring som noget, der skal fungere på tværs af AI‑livscyklussen i stedet for som en enkelt godkendelse i slutningen. For softwareleverance betyder det at placere kontroller i den sti, AI allerede følger, i stedet for at fastgøre en ny manuel proces ovenpå.

Når mennesket forlader processen, kan beviserne ikke forlade den med dem

Der er et andet problem, der gemmer sig i modellen med menneskelig gennemgang. Når du fjerner personen fra processen, mister du ikke kun gennemgangen. Du kan også miste den person, der hjalp med at bevise, at gennemgangen fandt sted.

Det bliver et alvorligt problem for virksomheder med sikkerheds‑, compliance‑ og revisionskrav. De skal stadig vide, hvad der blev ændret, hvem eller hvad der initierede det, hvilken politik der blev anvendt, om den bestod, hvem der godkendte en undtagelse, hvor ændringen blev kørt, og hvad der skete bagefter.

Du kan ikke automatisere ændringen og lade beviserne være manuelle. I en menneskedrevet proces kan teams senere rekonstruere beviserne fra tickets, godkendelser, pipeline‑logfiler, skærmbilleder og samtaler. Denne tilgang bliver sværere, efterhånden som mængden af ændringer vokser, og bliver urealistisk, når maskiner skaber og udfører ændringer kontinuerligt.

Beviserne skal blive en del af leveringsprocessen. Politikbeslutninger, godkendelser, undtagelser, implementeringer og resultater bør skabe registre, mens arbejdet foregår. Revisionsbeviser bliver et biprodukt af softwareleverancen i stedet for noget, teams samler efterfølgende.

Det efterlader to forskellige opgaver for styring i en AI‑drevet SDLC. Før en handling, afgør om den skal finde sted. Efter handlingen, dokumenter hvad der skete.

Mennesker forsvinder ikke. Vores rolle ændrer sig.

Der er en forståelig tendens til at måle kontrol ud fra, hvor mange gange en person bliver involveret. Flere gennemgange føles sikrere. Flere godkendelser føles sikrere. At holde et menneske i hver løkke føles sikrere.

AI vil teste den antagelse. Hvis AI fortsat øger mængden af software, vi kan producere, vil mennesker ikke kunne gennemgå hver ændring, godkende hver handling, overvåge hver implementering og rekonstruere hver beslutning bagefter. At forsøge at gøre det vil enten bremse AI’en eller gøre menneskelig tilsyn til en gummistempel.

AI‑SDLC’en har brug for en anden arbejdsfordeling. AI kan håndtere mere af arbejdet, mens politik styrer gentagelige beslutninger, og mennesker træder til, når noget virkelig kræver dømmekraft. Beviserne bør oprettes automatisk undervejs.

Vi vil give AI mere adgang, fordi det er sådan, den bliver nyttig. Vi vil give agenter mere autonomi, fordi det er sådan, vi får mere udnyttelse af dem. Udfordringen er at sikre, at større adgang og autonomi ikke stille og roligt bliver ubegrænset myndighed.

Mennesker behøver ikke holde fast endnu strammere. Målet er ikke mindre kontrol. Det er en kontrolmodel, der ikke afhænger af, at vi holder fast i hver beslutning selv. Vi skal bygge de kontroller, der gør det muligt for os at løsne grebet uden at miste kontrollen.