Lideri de opinie

De ce testarea trebuie integrată în linia de asamblare a IA încă de la început

Ole Lensmar
Adaugă Unite.AI la sursele tale preferate pe Google
Puncte cheieIA accelerează programarea, dar expune testarea insuficientă din aval și reduce…
Vezi mai mult
  • IA accelerează programarea, dar expune testarea insuficientă din aval și reduce stabilitatea livrării.
  • Agenții care își evaluează propriile teste pot trișa modificând testele care eșuează în loc să corecteze codul.
  • Testarea trebuie să fie o etapă separată în afara CI, astfel încât fiecare modificare să primească același verdict.

Construiesc instrumente de testare de peste douăzeci de ani și, în cea mai mare parte a acestui timp, discuțiile mele cu echipele de inginerie au fost destul de asemănătoare. Testerii se simțeau cetățeni de rangul doi în ciclul de viață al software-ului. Testarea avea loc târziu, adesea înghesuită în timpul rămas înainte de o lansare și introdusă într-un pipeline CI conceput pentru altceva. IA a transformat între timp modul în care scriem cod — iar impactul asupra testării este cât se poate de real, atât în bine, cât și în rău. În multe privințe, IA a făcut provocarea mai vizibilă.

În ultimele luni, am participat la câteva conferințe despre testare și tehnologii native în cloud (LeadDev, CloudX, StarWest), iar aproape fiecare echipă cu care am discutat lucrează la o variantă a aceluiași proiect: un ciclu de viață al livrării software bazat pe IA, în care agenții preiau o sarcină pornind de la o specificație și o duc până la ceva funcțional în producție, cu un nivel potrivit de implicare umană pe parcurs. Mi-l imaginez ca pe o linie de asamblare. Agenții scriu codul, alți agenți îl verifică, iar pipeline-urile îl construiesc și îl implementează. Oamenii supraveghează procesul. Se vorbește mult mai puțin despre locul pe care îl ocupă testarea pe această linie.

Încă nimeni nu a găsit soluția

Deocamdată, e un fel de Vest Sălbatic. La fiecare câteva săptămâni apar noi capabilități ale agenților, marile laboratoare de IA lansează mereu modele noi, iar echipele și furnizorii deopotrivă încearcă tot felul de lucruri, ca să vadă ce prinde.

Unele date sugerează că lacunele încep deja să se vadă. Cel mai recent raport DORA despre dezvoltarea de software asistată de IA al Google, bazat pe un sondaj la care au participat aproape 5.000 de profesioniști din domeniul tehnologiei, a constatat că adoptarea IA este asociată cu un volum mai mare de livrări, ceea ce este o veste bună. Totuși, aceasta rămâne asociată și cu o stabilitate mai scăzută a livrărilor. Potrivit explicației cercetătorilor, IA accelerează dezvoltarea și scoate la iveală punctele slabe din etapele ulterioare ale procesului, iar aceștia indică testarea automatizată riguroasă drept unul dintre mecanismele de control care împiedică transformarea unui volum mai mare de modificări într-o instabilitate mai accentuată.

Nu mi se pare surprinzător. Dacă treci mult mai mult cod printr-un proces conceput pentru un volum mult mai mic, undeva încetinește sau se defectează.

Dezvoltatorii lucrează mai repede, dar majoritatea lansărilor nu se accelerează

Când își imaginează ce ar putea merge prost cu codul generat de IA, oamenii tind să se gândească la un agent care introduce în producție ceva dezastruos. Sunt sigur că se întâmplă — și, când se întâmplă, consecințele nu sunt deloc plăcute: erori, clienți nemulțumiți, poate chiar un incident de securitate. Dar, sincer, nu asta întâlnesc cel mai des.

Sondajul Stack Overflow pentru dezvoltatori din 2026 arată în ce activități se concentrează astăzi utilizarea IA. Dezvoltatorii o folosesc mai ales pentru a genera cod în domenii pe care le cunosc deja (67%) și pentru depanare (61%), în timp ce doar 20% o folosesc pentru a implementa, opera sau depana sisteme de producție. Până acum, IA a accelerat în principal scrierea codului. Verificarea codului și lansarea lui în producție se desfășoară în continuare, în mare parte, ca înainte.

Și ceea ce observ eu se potrivește cu această imagine: echipele produc mult mai mult cod, fără să lanseze mai repede. Un dezvoltator sau o echipă poate avea impresia că dezvoltă de două ori mai multe funcționalități, dar acestea se blochează în etapele ulterioare, așteptând verificarea, testarea sau un mediu în care să poată fi testate. Tot codul suplimentar aglomerează pipeline-ul și, în multe cazuri, încetinește chiar ritmul general de livrare al echipelor.

Managerii sunt cei care pun întrebările despre măsurile de protecție

Deși preocuparea legată de blocajele în livrare provocate de IA este foarte concretă, nu este singurul lucru despre care ne întreabă echipele. Dezvoltatorii vor în principal să afle cum pot scrie cod mai bun, mai repede. Întrebările despre măsurile de protecție vin de la managerii de inginerie și de la cei care configurează fluxurile de lucru bazate pe agenți. Cum ne asigurăm că agenții nu o iau razna? Cum știm că nu introduc regresii sau că nu omit pe ascuns activități pe care ar fi trebuit să le realizeze? Cum ne asigurăm că testele pe care le scriu chiar (și în mod onest!) validează ceea ce ar trebui să valideze?

Cred că motivul este că privesc lucruri diferite. Un dezvoltator analizează câte o cerere de integrare a modificărilor pe rând. Un manager de inginerie răspunde de tot ce se lansează prin munca multor agenți și a multor oameni și trebuie să dea explicații când ceva se defectează în producție.

Și au motive să fie precauți. Cercetătorii au creat un set de evaluare numit ImpossibleBench, alcătuit din sarcini de programare în care testele unitare contrazic specificația, astfel încât singura modalitate de a trece testele este să trișezi. Modelele de vârf au făcut adesea exact asta, de exemplu modificând sau ștergând testele care eșuau în loc să repare codul (!!). Un studiu despre cererile de integrare a modificărilor redactate de agenți a identificat lacune în modul în care agenții își testează propriile modificări și citează cercetări anterioare care arată că aproape o treime dintre cererile de integrare a modificărilor trimise de agenți și acceptate au necesitat ulterior remedieri sau refactorizare.

Concluzia mea este că măsurile de protecție nu pot exista doar în mediul propriu al agentului și nici nu pot fi aplicate abia după ce codul este lansat. Dacă agentul care a scris codul decide și dacă acesta a trecut testele, rezultatul nu spune prea multe. Asta nu înseamnă că agenții nu ar trebui să scrie teste. Înseamnă că verdictul trebuie să vină dintr-o sursă pe care agentul nu o poate modifica. Testarea trebuie să fie o stație de sine stătătoare pe linie, prin care să treacă fiecare modificare, indiferent dacă a fost scrisă de o persoană sau de un agent.

De ce are nevoie această stație

Răspunsul nu constă într-un tip complet nou de testare. În mare parte, este vorba despre lucruri pe care echipele bune de asigurare a calității le cer dintotdeauna. Doar că acum sunt mai importante.

Testele trebuie verificate pentru a ne asigura că respectă cerințele — la fel ca programul pe care îl testează. De asemenea, ele trebuie să ruleze în mediul în care rulează și software-ul. Un test care trece în mediul izolat al unui agent nu spune mare lucru despre mediul de preproducție sau cel de producție și poate ascunde ce dependențe au fost simulate — sau în ce fel. Un studiu recent asupra a aproape 180.000 de fișiere de test generate de agenți a constatat că agenții au acoperit mai multe cazuri-limită decât testele scrise de oameni, dar testele lor au dat mai multe semne de instabilitate, în principal pentru că agenții nu cunoșteau suficient mediul în care urmau să ruleze testele. Rularea testelor din timp pe infrastructura reală ajută la depistarea acestor probleme.

Testele și rezultatele lor trebuie păstrate. Dacă un agent scrie un test, ar trebui să aibă la dispoziție testele existente și rezultatele acestora drept context, ca să poată învăța atât din acoperirea testelor, cât și din posibila lor instabilitate. Testele trebuie verificate și gestionate cu ajutorul controlului versiunilor, la fel ca orice alt cod, astfel încât să ruleze din nou la următoarea modificare, în loc să dispară odată cu încheierea sesiunii.

Un rezultat pozitiv ar trebui să însemne același lucru indiferent cine l-a solicitat: un pipeline, un dezvoltator sau un agent. Asta înseamnă aceleași teste, rulate pe aceeași infrastructură, cu rezultatele centralizate într-un singur loc.

Oamenii ar trebui, de asemenea, să-și păstreze discernământul. Mă bucur să-i las pe agenți să se ocupe de codul repetitiv și de conectarea componentelor. Să decidă ce merită testat și ce înseamnă un eșec rămâne treaba oamenilor (cel puțin deocamdată…).

Asta înseamnă și că testarea nu se poate limita la CI/CD (dacă rețineți un singur lucru din acest articol, acesta să fie!). Pipeline-urile CI au fost concepute pentru a construi și livra cod; nu au fost niciodată gândite pentru rularea testelor automate la scară largă. Pe măsură ce trecem la un ciclu de viață al dezvoltării software (SDLC) bazat pe agenți, iar cantitatea de cod continuă să crească, CI devine și mai puțin potrivit pentru rularea testelor. Testarea trebuie să fie o componentă de prim rang a procesului de livrare a software-ului, nu o etapă adăugată la finalul unui pipeline. Asta înseamnă să fie orchestrată ca sistem de sine stătător, în toate instrumentele și mediile folosite de o echipă, indiferent cine îl coordonează — un agent sau un om.

De unde să începeți

Majoritatea echipelor au deja teste în care au încredere, scrise cu Playwright, Cypress, k6, Postman sau cu instrumentele pe care le-au standardizat. Acesta este un punct de plecare excelent. Iată câteva sugestii:

  1. Trasați parcursul unei modificări de la prompt la producție și marcați fiecare punct în care rulează un test. Dacă există un singur astfel de punct, aproape de final, de acolo aș începe.
  2. Aveți grijă să nu le permiteți agenților să modifice pe ascuns testele existente. Cercetătorii de la ImpossibleBench au constatat că restricționarea accesului agenților la teste a redus trișarea. Dacă un agent trebuie totuși să modifice un test, schimbarea ar trebui trimisă printr-o cerere de integrare (pull request), pe care să o verifice o persoană, la fel ca orice alt cod.
  3. Rulați testele în medii de testare (de preferință reale), nu în mediile izolate ale agenților, și faceți asta cât mai devreme, chiar dacă este vorba doar de o suită restrânsă de teste smoke pe mediul de preproducție pentru fiecare modificare generată de un agent. Dacă folosiți IA pentru a scrie teste, nu acceptați niciunul înainte să fi rulat în acel mediu.
  4. Centralizați rezultatele testelor într-un singur plan de control — fie că este vorba despre un instrument de raportare, soluția voastră APM sau o platformă dedicată testării. Asigurați-vă că atât oamenii, cât și agenții pot accesa aceste rezultate.
  5. Măsurați livrarea, nu activitatea. Numărul cererilor de integrare spune foarte puțin. Indicatorii DORA privind livrarea, precum timpul de la modificare până la implementare și rata modificărilor care provoacă eșecuri, vă spun mult mai multe despre măsura în care IA este de ajutor.
  6. Lăsați agenții să folosească aceeași infrastructură de testare ca oamenii din echipă, astfel încât munca lor să fie verificată după aceleași criterii.

Optimism, cu anumite condiții

Sunt o persoană optimistă când vine vorba de IA și cred că aceasta va spori considerabil capabilitățile echipelor de dezvoltare software și, în cele din urmă, productivitatea lor. Dar, pentru a ajunge acolo, echipele trebuie să aibă suficientă încredere în rezultatele agenților încât să le livreze, iar în ciclul de viață al dezvoltării software bazat pe agenți este nevoie de o abordare holistică a testării — tocmai aici se câștigă sau se pierde această încredere.

Dacă vă propuneți să adoptați un ciclu de viață al dezvoltării software bazat pe agenți, ce loc ocupă testarea în acest proces astăzi?

Ole Lensmar este cofondator și director tehnic al Testkube, platforma deschisă de testare pentru echipe de inginerie care folosesc inteligența artificială. El a creat SoapUI, unul dintre cele mai utilizate instrumente de testare a API-urilor, și a fost anterior președintele OpenAPI Initiative.