Tankeledere
Hvorfor test skal indbygges i AI-produktionslinjen fra begyndelsen

NøglepunkterAI gør kodning hurtigere, men blotlægger svag testning nedstrøms og sænker…
Vis mere
- AI gør kodning hurtigere, men blotlægger svag testning nedstrøms og sænker leveringsstabiliteten.
- Agenter, der bedømmer deres egne tests, kan snyde ved at redigere fejlende tests i stedet for at rette koden.
- Testning skal være sin egen station uden for CI, så enhver ændring møder samme dom.
Jeg har udviklet testværktøjer i mere end tyve år, og det meste af den tid har mine samtaler med udviklingsteams lydt nogenlunde ens. Testere følte sig som andenrangsborgere i softwarelivscyklussen. Testningen fandt sted sent i forløbet, ofte klemt ind i den tid, der var tilbage før en udgivelse, og presset ind i en CI-pipeline, der var bygget til noget helt andet. AI har nu forandret den måde, vi skriver kode på – og det har bestemt også påvirket testningen, både på godt og ondt. På mange måder har AI gjort udfordringen mere synlig.
De seneste måneder har jeg deltaget i en håndfuld konferencer om testning og cloudbaseret teknologi (LeadDev, CloudX, StarWest), og næsten alle de teams, jeg har talt med, arbejder på en eller anden udgave af det samme projekt: en AI-drevet softwareleverancecyklus, hvor agenter fører arbejdet fra en specifikation til noget, der kører i produktion, med den rette grad af menneskelig involvering undervejs. Jeg forestiller mig det som en produktionslinje. Agenter skriver koden, andre agenter gennemgår den, og pipelines bygger og implementerer den. Mennesker holder øje med det hele. Det, jeg hører langt mindre om, er, hvor testningen passer ind på den linje.
Ingen har fundet løsningen endnu
Lige nu minder det lidt om det vilde vesten. Der kommer nye agentfunktioner med få ugers mellemrum, de store AI-laboratorier bliver ved med at lancere nye modeller, og både teams og leverandører prøver sig frem med lidt af hvert for at se, hvad der virker.
Noget af datamaterialet tyder på, at der allerede viser sig huller. Googles seneste DORA-rapport om AI-assisteret softwareudvikling, der omfattede næsten 5.000 teknologifagfolk, viste, at brugen af AI hænger sammen med større leverancegennemstrømning, hvilket er godt nyt. Den hænger dog stadig også sammen med lavere stabilitet i leverancerne. Forskerne forklarer, at AI sætter fart på udviklingen og blotlægger svagheder længere nede i processen. De peger på grundig automatiseret testning som en af de kontrolmekanismer, der forhindrer, at flere ændringer fører til større ustabilitet.
Det overrasker mig ikke. Hvis man sender langt mere kode gennem en proces, der er designet til at håndtere meget mindre, går det langsommere et eller andet sted, eller også går noget i stykker.
Udviklerne arbejder hurtigere, men de fleste udgivelser gør ikke
Når folk forestiller sig, hvad der kan gå galt med AI-genereret kode, tænker de ofte på en agent, der sender noget frygteligt i produktion. Jeg er sikker på, at det sker – og når det gør, er konsekvenserne ikke gode: fejl, utilfredse kunder, måske en sikkerhedshændelse. Men helt ærligt, det er ikke det, jeg oftest støder på.
Stack Overflows udviklerundersøgelse for 2026 viser, hvor AI-brugen især er koncentreret i dag. Udviklerne bruger det primært til at generere kode inden for områder, de allerede kender (67 %), og til fejlfinding (61 %), mens kun 20 % bruger det til at implementere, drifte eller fejlfinde produktionssystemer. Indtil videre har AI primært gjort det hurtigere at skrive kode. Verificeringen af koden og vejen til produktion fungerer stadig stort set, som den gjorde før.
Det stemmer også overens med det, jeg selv ser: Teams producerer langt mere kode uden at udgive hurtigere. En enkelt udvikler eller et team føler måske, at de udvikler dobbelt så mange funktioner, men de funktioner går i stå længere nede i processen, mens de venter på gennemgang, på test og på et miljø, de kan testes i. Al den ekstra kode tilstopper pipelinen, og i mange tilfælde gør den også den samlede leverance langsommere for teamene.
Spørgsmålene om sikkerhedsforanstaltninger kommer fra lederne
Selvom bekymringen for flaskehalse i leverancerne som følge af AI er meget konkret, er det ikke det eneste, teams spørger os om. Udviklerne vil først og fremmest vide, hvordan de kan skrive bedre kode hurtigere. Spørgsmålene om sikkerhedsforanstaltninger kommer fra udviklingscheferne og dem, der opretter disse agentstyrede arbejdsgange. Hvordan sikrer vi os, at agenterne ikke løber løbsk? Hvordan ved vi, at de ikke indfører regressionsfejl eller i det skjulte springer opgaver over, som de skulle udføre? Hvordan sikrer vi os, at de test, agenterne skriver, faktisk (og vel at mærke!) validerer det, de skal?
Jeg tror, det skyldes, at de ser på forskellige ting. En udvikler ser på én pull request ad gangen. En udviklingschef har ansvaret for alt det, der bliver udgivet på tværs af mange agenter og mennesker, og må stå til ansvar, når noget går galt i produktion.
De har god grund til at være forsigtige. Forskere udviklede et benchmark kaldet ImpossibleBench med kodningsopgaver, hvor enhedstestene er i modstrid med specifikationen, så den eneste måde at bestå på er at snyde. Førende modeller gjorde ofte netop det, for eksempel ved at redigere eller slette de fejlslagne test i stedet for at rette koden (!!). En separat undersøgelse af pull requests skrevet af agenter fandt mangler ved, hvor godt agenter tester deres egne ændringer, og henviser til tidligere forskning, der viser, at næsten en tredjedel af de flettede pull requests fra agenter krævede efterfølgende rettelser eller refaktorering.
Min konklusion er, at sikkerhedsforanstaltningerne ikke kun kan ligge i agentens eget miljø, og at de heller ikke først kan komme, efter at koden er sat i drift. Hvis agenten, der skrev koden, også afgør, om den er bestået, fortæller resultatet dig ikke ret meget. Det betyder ikke, at agenter ikke skal skrive test. Det betyder, at vurderingen skal komme fra et sted, agenten ikke kan ændre. Testning skal være sin egen station på linjen, som hver eneste ændring skal igennem, uanset om den er skrevet af et menneske eller en agent.
Hvad den station skal kunne
Svaret er ikke en helt ny form for testning. Det meste af det, der er brug for, er det, som gode QA-teams har efterspurgt hele tiden. Det betyder bare mere nu.
Tests skal gennemgås for at sikre, at de stemmer overens med kravene – ligesom den kode, de tester. Tests skal også køres i det miljø, hvor softwaren kører. En test, der består i en agents sandkasse, fortæller dig ikke meget om staging eller produktion, og den kan skjule, hvilke afhængigheder der er blevet mock’et – eller hvordan. En nyere undersøgelse af næsten 180.000 testfiler genereret af agenter viste, at agenter dækkede flere randtilfælde end tests skrevet af mennesker, men at deres tests oftere viste tegn på ustabilitet, hovedsageligt fordi agenterne ikke vidste nok om det miljø, testene skulle køres i. Det opdager man ved at køre testene mod reel infrastruktur tidligt.
Tests og deres resultater skal bevares. Hvis en agent skriver en test, bør den have eksisterende tests og deres resultater som kontekst, så den kan lære af både testdækningen og den potentielle ustabilitet. Tests skal gennemgås og versionsstyres ligesom al anden kode, så de køres igen ved den næste ændring i stedet for at forsvinde, når sessionen slutter.
Et bestået testresultat bør betyde det samme, uanset hvem der har bedt om det – en pipeline, en udvikler eller en agent. Det betyder, at det er de samme tests, der køres på den samme infrastruktur, og at resultaterne samles ét sted.
Og mennesker bør bevare deres dømmekraft. Jeg overlader gerne standardarbejdet og den tekniske sammenkobling til agenterne. Det er stadig menneskers opgave at afgøre, hvad der er værd at teste, og hvad en fejl betyder (i hvert fald indtil videre…).
Det betyder også, at testning ikke kun kan foregå i CI/CD (hvis du kun husker én ting fra denne artikel, så lad det være dette!). CI-pipelines blev designet til at bygge og levere kode; de blev aldrig udviklet til at køre automatiserede tests i stor skala. I takt med at vi bevæger os mod en agentbaseret SDLC, og mængden af kode bliver ved med at vokse, bliver CI endnu mindre velegnet til at køre tests. Testning skal være en integreret del af, hvordan software leveres, i stedet for et trin, der føjes til sidst i en pipeline. Det betyder, at testningen skal orkestreres som et selvstændigt system på tværs af alle de værktøjer og miljøer, et team bruger, uanset om det er en agent eller et menneske, der driver processen.
Hvor skal man begynde?
De fleste teams har allerede tests, de har tillid til, i Playwright, Cypress, k6, Postman eller det værktøj, de ellers har valgt som standard, og det er et godt sted at begynde. Her er et par ting, jeg vil foreslå:
- Kortlæg, hvordan en ændring bevæger sig fra en prompt til produktion i dag, og markér alle steder, hvor der køres tests. Hvis der kun er ét sted, og det ligger tæt på slutningen, ville jeg begynde dér.
- Vær forsigtig med at lade agenter ændre eksisterende tests ubemærket. Forskerne bag ImpossibleBench fandt, at begrænsning af agenternes adgang til tests mindskede snyd. Når en agent er nødt til at ændre en test, bør ændringen indsendes som en pull request, som et menneske gennemgår, ligesom al anden kode.
- Kør dine tests i testmiljøer (helst rigtige) i stedet for agentsandkasser, så tidligt som muligt – også selvom det kun er et lille sæt smoke tests mod staging for hver ændring, der er genereret af en agent. Hvis du bruger AI til at skrive tests, skal du ikke godkende en test, før den er kørt dér.
- Saml testresultaterne ét sted i et kontrolplan – det kan være et rapporteringsværktøj, din APM-løsning eller en dedikeret testplatform. Sørg for, at både mennesker og agenter har adgang til resultaterne.
- Mål leverancer frem for aktivitet. Antallet af pull requests siger meget lidt. DORAs leverancemålinger, såsom gennemløbstid for ændringer og andelen af ændringer, der fører til fejl, fortæller dig langt mere om, hvorvidt AI hjælper.
- Lad agenterne bruge den samme testinfrastruktur som dine medarbejdere, så deres arbejde vurderes efter den samme standard.
Optimistisk, men med forbehold
Jeg er optimist, når det gælder AI, og jeg tror, at det vil gøre softwareteams langt mere kompetente og i sidste ende mere produktive. Men for at nå dertil skal teams have tilstrækkelig tillid til det, deres agenter producerer, til at kunne sende det ud, og de skal have en helhedsorienteret tilgang til testning i den agentbaserede SDLC – for det er her, tilliden enten opbygges eller går tabt.
Hvis du arbejder hen imod en agentbaseret SDLC, hvilken plads har testning så i den i dag?












