Tankeledere
Hvorfor testing må bygges inn i KI-produksjonslinjen fra starten

Viktige punkterAI gjør koding raskere, men avdekker svak testing nedstrøms og reduserer…
Vis mer
- AI gjør koding raskere, men avdekker svak testing nedstrøms og reduserer leveringsstabiliteten.
- Agenter som vurderer sine egne tester, kan jukse ved å redigere tester som feiler i stedet for å rette koden.
- Testing må være en egen stasjon utenfor CI, slik at hver endring møter samme dom.
Jeg har utviklet testverktøy i mer enn tjue år, og det meste av den tiden har samtalene mine med utviklingsteamene vært nokså like. Testere følte seg som annenrangs borgere i programvareutviklingens livssyklus. Testingen kom sent, ofte klemt inn i tiden som var igjen før en lansering, og ble lagt inn i en CI-pipeline som var bygget for noe annet. KI har nå forandret måten vi skriver kode på – og det har utvilsomt påvirket testingen, både til det bedre og til det verre. På mange måter har KI gjort utfordringen mer synlig.
De siste månedene har jeg deltatt på en håndfull konferanser om testing og skybasert utvikling (LeadDev, CloudX, StarWest), og nesten alle teamene jeg snakket med, jobber med en eller annen variant av det samme prosjektet: en KI-drevet livssyklus for programvareleveranser, der agenter tar arbeidet fra en spesifikasjon til noe som kjører i produksjon, med passende grad av menneskelig involvering underveis. Jeg ser for meg dette som en produksjonslinje. Agenter skriver koden, andre agenter gjennomgår den, og pipelines bygger og distribuerer den. Mennesker følger med på det som skjer. Det jeg hører langt mindre om, er hvor testingen hører hjemme på denne linjen.
Ingen har funnet ut av dette ennå
Akkurat nå er det litt ville vesten. Nye agentfunksjoner lanseres med noen ukers mellomrom, de store KI-laboratoriene fortsetter å lansere nye modeller, og både team og leverandører prøver seg fram for å se hva som fungerer.
Noen data tyder på at manglene allerede begynner å vise seg. Googles nyeste DORA-rapport om KI-assistert programvareutvikling, som kartla nærmere 5 000 teknologifagfolk, viste at innføring av KI henger sammen med høyere leveransekapasitet, noe som er gode nyheter. Den henger imidlertid fortsatt også sammen med lavere leveransestabilitet. Forskerne forklarer dette med at KI setter fart på utviklingen og avdekker svakheter lenger nedstrøms. De peker på grundig automatisert testing som et av tiltakene som hindrer at flere endringer fører til større ustabilitet.
Det overrasker meg ikke. Hvis du sender mye mer kode gjennom en prosess som er laget for langt mindre, går det saktere et sted, eller så bryter noe sammen et sted.
Utviklere jobber raskere, men de fleste lanseringene gjør ikke det
Når folk forestiller seg hva som kan gå galt med KI-generert kode, ser de gjerne for seg at en agent sender noe forferdelig ut i produksjon. Jeg er sikker på at det skjer – og når det gjør det, er konsekvensene ikke gode: feil, misfornøyde kunder, kanskje en sikkerhetshendelse. Men helt ærlig er ikke det det jeg oftest støter på.
Stack Overflows utviklerundersøkelse for 2026 viser hvor bruken av KI er konsentrert i dag. Utviklere bruker den først og fremst til å generere kode på områder de allerede kjenner (67 %) og til feilsøking (61 %), mens bare 20 % bruker den til å distribuere, drifte eller feilsøke produksjonssystemer. Så langt har KI først og fremst gjort det raskere å skrive kode. Å få koden verifisert og satt i produksjon foregår fortsatt i stor grad på samme måte som før.
Dette stemmer også med det jeg ser: Teamene produserer langt mer kode uten å lansere raskere. En enkelt utvikler eller et team kan føle at de bygger dobbelt så mange funksjoner, men funksjonene stopper opp lenger nedstrøms mens de venter på gjennomgang, tester eller et miljø å teste dem i. All den ekstra koden tetter igjen pipelinen, og i mange tilfeller gjør den også at teamenes samlede leveranser går saktere.
Spørsmålene om sikkerhetsmekanismer kommer fra lederne
Selv om bekymringen for flaskehalser i leveransene som skyldes KI er svært konkret, er det ikke det eneste teamene spør oss om. Utviklere vil først og fremst vite hvordan de kan skrive bedre kode raskere. Spørsmålene om sikkerhetsmekanismer kommer fra utviklingsledere og dem som setter opp disse agentstyrte arbeidsflytene. Hvordan sørger vi for at agentene ikke løper løpsk? Hvordan vet vi at de ikke innfører tilbakefall eller i det stille hopper over arbeid de skulle ha utført? Hvordan sikrer vi at testene de skriver, faktisk – og helt ærlig! – verifiserer det de skal?
Jeg tror det er fordi de ser på forskjellige ting. En utvikler ser på én kodeendringsforespørsel om gangen. En utviklingsleder har ansvaret for alt som lanseres på tvers av mange agenter og mennesker, og må forklare seg når noe går galt i produksjon.
De har dessuten god grunn til å være forsiktige. Forskere utviklet en referansetest kalt ImpossibleBench med kodeoppgaver der enhetstestene motsier spesifikasjonen, slik at den eneste måten å bestå på er å jukse. Ledende modeller gjorde ofte nettopp det, for eksempel ved å redigere eller slette testene som feilet i stedet for å rette koden (!!). En separat studie av kodeendringsforslag skrevet av agenter avdekket mangler ved hvor godt agenter tester sine egne endringer, og viser til tidligere forskning som fant at nesten en tredjedel av agenters sammenslåtte kodeendringsforslag trengte oppfølgende rettinger eller refaktorering.
Min konklusjon er at sikkerhetsmekanismer ikke bare kan ligge i agentens eget miljø, og heller ikke bare kan komme etter at koden er satt i produksjon. Hvis agenten som skrev koden, også avgjør om den besto, forteller resultatet deg ikke stort. Det betyr ikke at agenter ikke bør skrive tester. Det betyr at vurderingen må komme fra et sted agenten ikke kan endre. Testing må være sin egen stasjon på linjen, en stasjon hver eneste endring må gjennom, enten den er skrevet av et menneske eller en agent.
Hva denne stasjonen må inneholde
Svaret er ikke en helt ny type testing. Det meste av det som trengs, er det gode kvalitetssikringsteam har etterspurt hele tiden. Det er bare viktigere nå.
Tester må gjennomgås for å sikre at de stemmer overens med kravene – akkurat som koden de tester. De må også kjøres i miljøet der programvaren kjører. En test som består i en agents sandkasse, forteller deg ikke stort om staging eller produksjon, og den kan skjule hvilke avhengigheter som ble simulert – eller hvordan. En nylig studie av nesten 180 000 agentgenererte testfiler fant at agenter dekket flere særtilfeller enn tester skrevet av mennesker, men at testene deres oftere viste tegn på å være ustabile, hovedsakelig fordi agentene ikke visste nok om miljøet testene skulle kjøres i. Hvis testene kjøres tidlig mot reell infrastruktur, fanger man opp dette.
Tester og testresultater må tas vare på. Hvis en agent skriver en test, bør den få tilgang til eksisterende tester og resultatene deres som kontekst, slik at den kan lære både av testdekningen og av eventuell ustabilitet. Tester må gjennomgås og versjoneres som all annen kode, slik at de kjøres på nytt ved neste endring i stedet for å forsvinne når økten avsluttes.
Et bestått resultat bør bety det samme uansett hvem som har bedt om testen – enten det er en pipeline, en utvikler eller en agent. Det innebærer de samme testene, kjørt på den samme infrastrukturen, med resultatene samlet på ett sted.
Og folk bør fortsatt bruke sitt eget skjønn. Jeg overlater gjerne standardkoden og sammenkoblingen til agenter. Det er fortsatt menneskers jobb å avgjøre hva det er verdt å teste, og hva en feil betyr (i hvert fall foreløpig …).
Det betyr også at testing ikke bare kan foregå i CI/CD (hvis du bare husker én ting fra denne artikkelen, så la det være dette!). CI-pipelines ble utviklet for å bygge og levere kode; de ble aldri laget for å kjøre automatiserte tester i stor skala. Etter hvert som vi går over til en agentisk SDLC og kodemengden fortsetter å vokse, blir CI enda dårligere egnet til å kjøre tester. Testing må være en sentral del av hvordan programvare leveres, ikke et trinn som legges til på slutten av en pipeline. Det betyr at testing må orkestreres som et eget system på tvers av alle verktøyene og miljøene et team bruker, uavhengig av hvem som styrer – en agent eller et menneske.
Hvor bør du begynne?
De fleste team har allerede tester de stoler på, i Playwright, Cypress, k6, Postman eller det verktøyet de har valgt å standardisere på. Det er et godt sted å begynne. Her er noen forslag:
- Kartlegg hvordan en endring går fra en ledetekst til produksjon i dag, og marker hvert sted en test kjøres. Hvis det bare er ett sted, mot slutten, ville jeg begynt der.
- Vær forsiktig med å la agenter endre eksisterende tester ubemerket. Forskerne bak ImpossibleBench fant at det ble mindre juks når agentenes tilgang til tester ble begrenset. Når en agent faktisk må endre en test, bør endringen sendes inn som en pull request som en person gjennomgår, på samme måte som all annen kode.
- Kjør testene i testmiljøer – helst reelle – i stedet for i agentenes sandkasser, så tidlig som mulig. Det kan for eksempel være et lite sett med røyketester mot staging for hver agentgenererte endring. Hvis du bruker KI til å skrive tester, må du ikke godta en test før den er kjørt der.
- Samle testresultatene på ett sted i et felles kontrollplan – enten det er et rapporteringsverktøy, APM-løsningen din eller en egen testplattform. Sørg for at både mennesker og agenter har tilgang til resultatene.
- Mål leveranser, ikke aktivitet. Antallet pull requests sier svært lite. DORAs leveransemetrikker, som ledetid for endringer og feilrate ved endringer, sier mye mer om hvorvidt KI er til hjelp.
- La agentene bruke den samme testinfrastrukturen som folkene dine, slik at arbeidet deres vurderes etter den samme standarden.
Optimistisk, men på visse vilkår
Jeg er optimist når det gjelder KI, og tror at teknologien vil gjøre programvareteam langt mer kompetente og til syvende og sist mer produktive. Men for å komme dit må teamene ha nok tillit til det agentene produserer til å kunne levere det, og de trenger en helhetlig tilnærming til testing i en agentisk SDLC – det er der tilliten enten bygges opp eller går tapt.
Hvis du jobber for å få til en agentisk SDLC, hvilken plass har testing i den i dag?












