Ajatusjohtajat
Miksi testaus on otettava mukaan tekoälyn tuotantolinjaan heti alusta alkaen

Keskeiset kohdatTekoäly nopeuttaa koodausta mutta paljastaa heikon testauksen tuotantoketjun…
Näytä lisää
- Tekoäly nopeuttaa koodausta mutta paljastaa heikon testauksen tuotantoketjun loppupäässä ja heikentää toimituksen vakautta.
- Agentit, jotka arvioivat omia testejään, voivat huijata muokkaamalla epäonnistuvia testejä koodin korjaamisen sijaan.
- Testauksen on oltava oma asemansa CI:n ulkopuolella, jotta jokainen muutos kohtaa saman tuomion.
Olen kehittänyt testaustyökaluja yli kaksikymmentä vuotta, ja suurimman osan siitä ajasta keskusteluni kehitystiimien kanssa ovat olleet melko samanlaisia. Testaajat kokivat olevansa ohjelmistokehityksen elinkaaressa toisen luokan kansalaisia. Testaus tehtiin myöhäisessä vaiheessa, usein ahtaen siihen ennen julkaisua jäljellä oleva aika, ja se lisättiin CI-putkeen, joka oli rakennettu aivan muuta tarkoitusta varten. Tekoäly on nyt muuttanut koodinkirjoitustapojamme – ja se vaikuttaa ehdottomasti myös testaukseen, sekä hyvässä että pahassa. Monella tapaa tekoäly on tehnyt haasteen näkyvämmäksi.
Olen viime kuukausina osallistunut muutamiin testaukseen ja pilvinatiiveihin teknologioihin keskittyviin konferensseihin (LeadDev, CloudX, StarWest), ja lähes jokainen tapaamani tiimi työskentelee jonkinlaisen saman hankkeen parissa: tekoälypohjaisen ohjelmistotoimituksen elinkaaren, jossa agentit vievät työn määrittelystä tuotannossa toimivaksi ohjelmistoksi ja jossa ihminen osallistuu prosessiin sopivassa määrin. Näen sen tuotantolinjana. Agentit kirjoittavat koodin, toiset agentit tarkastavat sen, ja putket rakentavat ja ottavat sen käyttöön. Ihmiset pitävät silmällä, mitä tapahtuu. Kuulen paljon harvemmin siitä, missä testaus sijoittuu tällä linjalla.
Kukaan ei ole vielä ratkaissut tätä
Tällä hetkellä meno muistuttaa hieman villiä länttä. Uusia agenttien kykyjä julkaistaan muutaman viikon välein, suuret tekoälylaboratoriot tuovat jatkuvasti markkinoille uusia malleja, ja niin tiimit kuin toimittajatkin kokeilevat kaikenlaista nähdäkseen, mikä toimii.
Osa tiedoista viittaa siihen, että puutteet ovat jo alkaneet näkyä. Googlen tuoreimmassa tekoälyn avustamaa ohjelmistokehitystä käsittelevässä DORA-raportissa, jossa kyselyyn vastasi lähes 5 000 teknologia-alan ammattilaista, todettiin tekoälyn käyttöönoton olevan yhteydessä suurempaan toimituskapasiteettiin, mikä on hyvä uutinen. Se on kuitenkin edelleen yhteydessä myös toimitusten heikompaan vakauteen. Tutkijoiden mukaan tekoäly nopeuttaa kehitystä ja tuo esiin myöhemmissä vaiheissa piileviä heikkouksia. He nostavat vahvan automatisoidun testauksen yhdeksi suojakeinoksi, jolla estetään muutosten lisääntymistä muuttumasta epävakauden kasvuksi.
En pidä tätä yllättävänä. Jos järjestelmän läpi viedään paljon enemmän koodia kuin mihin se on suunniteltu, prosessi hidastuu jossain vaiheessa tai jokin menee rikki.
Kehittäjät ovat nopeampia, mutta useimmat julkaisut eivät
Kun ihmiset kuvittelevat, mikä tekoälyn tuottamassa koodissa voisi mennä pieleen, he ajattelevat usein agentin vievän jotain kamalaa tuotantoon. Niin varmasti käykin – ja silloin seuraukset eivät ole mukavia: ohjelmistovirheitä, tyytymättömiä asiakkaita, ehkä tietoturvapoikkeama. Mutta rehellisesti sanottuna tämä ei ole tavallisin kohtaamani ongelma.
Vuoden 2026 Stack Overflow -kehittäjäkysely osoittaa, mihin tekoälyn käyttö tällä hetkellä painottuu. Kehittäjät käyttävät sitä enimmäkseen koodin tuottamiseen alueilla, jotka he jo tuntevat (67 %), sekä virheiden etsimiseen (61 %). Vain 20 % käyttää sitä tuotantojärjestelmien käyttöönottoon, ylläpitoon tai vianmääritykseen. Toistaiseksi tekoäly on lähinnä nopeuttanut koodinkirjoitusta. Koodin tarkistaminen ja vieminen tuotantoon tapahtuu edelleen pitkälti entiseen tapaan.
Tämä vastaa myös omia havaintojani: tiimit tuottavat paljon enemmän koodia, mutta julkaisut eivät nopeudu. Yksittäinen kehittäjä tai tiimi saattaa kokea rakentavansa kaksi kertaa enemmän ominaisuuksia, mutta ne juuttuvat myöhempiin vaiheisiin odottamaan tarkastusta, testejä ja testiympäristöä. Kaikki tämä ylimääräinen koodi ruuhkauttaa putken ja hidastaa monissa tapauksissa jopa tiimien toimituksia kokonaisuutena.
Suojatoimia koskevat kysymykset tulevat esihenkilöiltä
Vaikka huoli tekoälyn aiheuttamista toimituksen pullonkauloista on hyvin konkreettinen, se ei ole ainoa asia, josta tiimit kysyvät meiltä. Kehittäjät haluavat ennen kaikkea tietää, miten koodia voi kirjoittaa nopeammin ja paremmin. Suojamekanismeja koskevat kysymykset tulevat ohjelmistokehityksen esihenkilöiltä ja niiltä, jotka rakentavat agenttivetoisia työnkulkuja. Miten varmistamme, etteivät agentit karkaa käsistä? Mistä tiedämme, etteivät ne aiheuta regressioita tai jätä kaikessa hiljaisuudessa tekemättä työtä, joka niiden piti tehdä? Miten varmistamme, että niiden kirjoittamat testit todella (ja totuudenmukaisesti!) todentavat sen, mitä niiden on tarkoitus todentaa?
Uskon tämän johtuvan siitä, että he tarkastelevat eri asioita. Kehittäjä keskittyy yhteen koodimuutospyyntöön kerrallaan. Kehityspäällikkö vastaa siitä, mitä julkaistaan useiden agenttien ja ihmisten työn tuloksena, ja joutuu selittämään tilanteen, jos jokin hajoaa tuotannossa.
Varovaisuuteen on syytä. Tutkijat rakensivat vertailutestin nimeltä ImpossibleBench, joka perustuu ohjelmointitehtäviin, joissa yksikkötestit ovat ristiriidassa määrittelyn kanssa, joten tehtävän voi läpäistä vain huijaamalla. Johtavat mallit tekivät usein juuri niin – esimerkiksi muokkaamalla tai poistamalla epäonnistuneet testit sen sijaan, että olisivat korjanneet koodin (!!). Eräässä erillisessä tutkimuksessa agenttien laatimista koodimuutospyynnöistä havaittiin puutteita siinä, miten hyvin agentit testaavat omia muutoksiaan. Tutkimuksessa viitataan myös aiempaan tutkimukseen, jonka mukaan lähes kolmannes yhdistetyistä agenttien koodimuutospyynnöistä vaati myöhemmin korjauksia tai uudelleenjärjestelyä.
Johtopäätökseni on, etteivät suojatoimet voi olla vain agentin omassa ympäristössä eivätkä tulla mukaan vasta koodin julkaisun jälkeen. Jos koodin kirjoittanut agentti myös päättää, läpäisikö se testit, tulos ei kerro paljoakaan. Tämä ei tarkoita, etteivätkö agentit saisi kirjoittaa testejä. Se tarkoittaa, että arvion on tultava paikasta, jota agentti ei voi muokata. Testauksella on oltava tuotantolinjalla oma asemansa, jonka kautta jokainen muutos kulkee – riippumatta siitä, kirjoittiko sen ihminen vai agentti.
Mitä tämä asema tarvitsee
Vastaus ei ole täysin uudenlainen tapa testata. Suurin osa tarvittavasta on sellaista, mitä hyvät laadunvarmistustiimit ovat vaatineet alusta asti. Se on vain nyt entistä tärkeämpää.
Testien oikeellisuus on tarkistettava vaatimuksia vasten – aivan kuten niiden testaaman koodinkin. Testejä on myös ajettava siinä ympäristössä, jossa ohjelmisto toimii. Agentin hiekkalaatikossa läpäisty testi ei kerro juuri mitään esituotanto- tai tuotantoympäristöstä, ja siitä voi jäädä piiloon, mitkä riippuvuudet oli korvattu testituplilla – tai miten. Tuoreessa lähes 180 000 agentin luomaa testitiedostoa käsittelevässä tutkimuksessa havaittiin, että agentit kattoivat enemmän poikkeustapauksia kuin ihmisten kirjoittamat testit, mutta niiden testeissä oli enemmän merkkejä epävakaudesta. Tämä johtui suurelta osin siitä, etteivät agentit tunteneet riittävästi ympäristöä, jossa testejä ajettaisiin. Testien ajaminen varhaisessa vaiheessa oikealla infrastruktuurilla paljastaa tämän.
Testien ja niiden tulosten on säilyttävä. Jos agentti kirjoittaa testin, sillä pitäisi olla käytettävissään aiemmat testit ja niiden tulokset, jotta se voi oppia sekä testikattavuudesta että testien mahdollisesta epävakaudesta. Testit on tarkistettava ja vietävä versionhallintaan kuten mikä tahansa muukin koodi, jotta ne ajetaan uudelleen seuraavan muutoksen yhteydessä eivätkä katoa istunnon päättyessä.
Testin läpäisyn pitäisi tarkoittaa samaa riippumatta siitä, kuka sitä pyysi – olipa kyseessä kehitysputki, kehittäjä tai agentti. Tämä tarkoittaa samoja testejä samalla infrastruktuurilla ja tuloksia yhdessä paikassa.
Ihmisten on myös säilytettävä oma harkintakykynsä. Voin hyvin antaa agenteille rutiinikoodin ja kytkentöjen hoitamisen. Sen päättäminen, mitä kannattaa testata ja mitä virhe tarkoittaa, on edelleen ihmisen tehtävä (ainakin toistaiseksi…).
Tämä tarkoittaa myös sitä, ettei testaaminen voi tapahtua vain CI/CD-putkessa (jos muistat tästä artikkelista yhden asian, muista tämä!). CI-putket suunniteltiin koodin rakentamiseen ja julkaisemiseen; niitä ei koskaan suunniteltu automatisoitujen testien ajamiseen laajassa mittakaavassa. Kun siirrymme kohti agenttista SDLC:tä ja koodin määrä kasvaa jatkuvasti, CI sopii testien ajamiseen entistä huonommin. Testauksen on oltava ohjelmiston toimituksen keskeinen osa sen sijaan, että se olisi putken loppuun liitetty vaihe. Tämä tarkoittaa testauksen organisointia omana järjestelmänään kaikissa tiimin käyttämissä työkaluissa ja ympäristöissä riippumatta siitä, ohjaako työtä agentti vai ihminen.
Mistä aloittaa
Useimmilla tiimeillä on jo testejä, joihin ne luottavat Playwrightissa, Cypressissä, k6:ssa, Postmanissa tai missä tahansa niiden vakiintuneessa työkalussa, ja se on hyvä lähtökohta. Tässä muutamia ehdotuksia:
- Kuvaa, miten muutos etenee nykyään kehotteesta tuotantoon, ja merkitse kaikki kohdat, joissa testi ajetaan. Jos niitä on vain yksi ja se on lähellä prosessin loppua, aloittaisin siitä.
- Älä anna agenttien muuttaa olemassa olevia testejä huomaamatta. ImpossibleBench-tutkijat havaitsivat, että agenttien testien käyttöoikeuksien rajoittaminen vähensi vilppiä. Kun agentin täytyy muuttaa testiä, muutos pitäisi toimittaa vetopyyntönä ihmisen tarkistettavaksi, kuten mikä tahansa muukin koodi.
- Aja testit agenttien hiekkalaatikoiden sijaan mahdollisimman varhaisessa vaiheessa testiympäristöissä, mieluiten oikeissa sellaisissa. Tämä voi tarkoittaa vaikkapa vain pientä savutestikokonaisuutta esituotantoympäristössä jokaisen agentin tekemän muutoksen yhteydessä. Jos käytät tekoälyä testien kirjoittamiseen, älä hyväksy testiä ennen kuin se on ajettu kyseisessä ympäristössä.
- Keskitä testitulokset yhteen ohjaustasoon – olipa se raportointityökalu, APM-ratkaisusi tai erillinen testausalusta. Varmista, että sekä ihmiset että agentit pääsevät tuloksiin käsiksi.
- Mittaa toimituksia toiminnan määrän sijaan. Vetopyyntöjen määrä kertoo hyvin vähän. DORAn toimitusmittarit, kuten muutoksen läpimenoaika ja muutoksen epäonnistumisaste, kertovat paljon enemmän siitä, auttaako tekoäly.
- Anna agenttien käyttää samaa testausinfrastruktuuria kuin ihmiset, jotta niiden työ tarkistetaan samojen vaatimusten mukaisesti.
Optimistinen, tietyin ehdoin
Olen tekoälyn suhteen optimisti ja uskon, että se tekee ohjelmistotiimeistä paljon kyvykkäämpiä ja lopulta tuottavampia. Jotta tähän päästään, tiimien on kuitenkin voitava luottaa agenttiensa tuotoksiin riittävästi julkaistakseen ne. Lisäksi agenttisessa SDLC:ssä tarvitaan kokonaisvaltaista lähestymistapaa testaukseen – siinä luottamus joko rakentuu tai murenee.
Jos pyrit agenttiseen SDLC:hen, mikä rooli testauksella on siinä tällä hetkellä?












