Liderzy opinii

Dlaczego testowanie trzeba włączyć do linii produkcyjnej AI od samego początku

Ole Lensmar
Dodaj Unite.AI do preferowanych źródeł w Google
Kluczowe punktySztuczna inteligencja przyspiesza kodowanie, ale ujawnia słabe testowanie na dalszych…
Zobacz więcej
  • Sztuczna inteligencja przyspiesza kodowanie, ale ujawnia słabe testowanie na dalszych etapach i obniża stabilność dostarczania.
  • Agenci, którzy oceniają własne testy, mogą oszukiwać, edytując nieudane testy zamiast naprawiać kod.
  • Testowanie musi być osobnym etapem poza CI, aby każda zmiana spotkała się z tym samym werdyktem.

Od ponad dwudziestu lat tworzę narzędzia do testowania i przez większość tego czasu moje rozmowy z zespołami inżynierskimi wyglądały dość podobnie. Testerzy czuli się jak obywatele drugiej kategorii w cyklu życia oprogramowania. Testowanie odbywało się późno, często w pośpiechu, w czasie pozostałym do wydania, i trafiało do potoku CI zaprojektowanego do czegoś zupełnie innego. AI całkowicie zmieniła sposób, w jaki piszemy kod — i bez wątpienia wpłynęła na testowanie, zarówno pozytywnie, jak i negatywnie. Pod wieloma względami AI sprawiła, że wyzwanie stało się bardziej widoczne.

W ciągu ostatnich kilku miesięcy byłem na kilku konferencjach poświęconych testowaniu i technologiom cloud native (LeadDev, CloudX, StarWest) i niemal każdy zespół, z którym rozmawiałem, pracuje nad jakąś wersją tego samego projektu: cyklem tworzenia i dostarczania oprogramowania opartym na AI, w którym agenci przeprowadzają zadania od specyfikacji do rozwiązania działającego na produkcji, przy odpowiednim udziale człowieka na każdym etapie. Wyobrażam to sobie jako linię produkcyjną. Agenci piszą kod, inni agenci go sprawdzają, a potoki go kompilują i wdrażają. Ludzie czuwają nad całością. Znacznie rzadziej słyszę o tym, jakie miejsce na tej linii zajmuje testowanie.

Nikt jeszcze nie znalazł na to sposobu

Na razie panuje tu trochę atmosfera Dzikiego Zachodu. Co kilka tygodni pojawiają się nowe możliwości agentów, duże laboratoria AI wciąż wypuszczają nowe modele, a zespoły i dostawcy próbują różnych rozwiązań, by sprawdzić, które się przyjmą.

Niektóre dane sugerują, że luki już stają się widoczne. W najnowszym raporcie DORA na temat tworzenia oprogramowania wspomaganego przez AI, opartym na ankiecie przeprowadzonej wśród blisko 5000 specjalistów z branży technologicznej, Google wykazało, że wdrażanie AI wiąże się z większą przepustowością dostarczania oprogramowania, co jest dobrą wiadomością. Nadal wiąże się jednak również z niższą stabilnością dostarczania. Zdaniem badaczy AI przyspiesza tworzenie oprogramowania i ujawnia słabości na dalszych etapach procesu. Wskazują oni, że jednym z zabezpieczeń, które zapobiegają temu, by większa liczba zmian prowadziła do większej niestabilności, jest solidne testowanie automatyczne.

Nie uważam tego za zaskakujące. Jeśli przez proces zaprojektowany z myślą o znacznie mniejszej ilości kodu przepuszcza się go dużo więcej, gdzieś zaczyna on zwalniać albo coś się psuje.

Deweloperzy pracują szybciej, ale większość wydań nie przyspiesza

Wyobrażając sobie, co może pójść nie tak z kodem wygenerowanym przez AI, ludzie zwykle widzą agenta, który wdraża na produkcji coś fatalnego. Na pewno się to zdarza — a kiedy już do tego dojdzie, skutki nie są przyjemne: błędy, niezadowoleni klienci, może nawet incydent związany z bezpieczeństwem. Ale szczerze mówiąc, na co dzień najczęściej spotykam się z czymś innym.

Ankieta dla deweloperów Stack Overflow z 2026 roku pokazuje, w jakich obszarach AI jest dziś najczęściej wykorzystywana. Deweloperzy używają jej głównie do generowania kodu w dziedzinach, które już znają (67%), oraz do debugowania (61%); tylko 20% wykorzystuje ją do wdrażania, obsługi lub diagnozowania problemów w systemach produkcyjnych. Jak dotąd AI przede wszystkim przyspieszyła pisanie kodu. Weryfikowanie tego kodu i wdrażanie go na produkcji nadal w dużej mierze przebiega tak jak wcześniej.

To również zgadza się z tym, co obserwuję: zespoły tworzą znacznie więcej kodu, ale wcale nie wydają oprogramowania szybciej. Pojedynczy deweloper lub zespół może mieć poczucie, że tworzy dwa razy więcej funkcji, ale te funkcje grzęzną na dalszych etapach procesu — czekają na przegląd, testy i środowisko, w którym można je przetestować. Cały ten dodatkowy kod zatyka potok i w wielu przypadkach spowalnia ogólne tempo dostarczania oprogramowania przez zespoły.

O zabezpieczenia pytają menedżerowie

Choć obawy związane z wąskimi gardłami w dostarczaniu oprogramowania, do których prowadzi AI, są bardzo konkretne, nie są jedyną kwestią, o którą pytają nas zespoły. Deweloperzy chcą przede wszystkim wiedzieć, jak szybciej pisać lepszy kod. Pytania o zabezpieczenia zadają menedżerowie zespołów inżynierskich i osoby konfigurujące przepływy pracy oparte na agentach. Jak upewnić się, że agenci nie wymkną się spod kontroli? Skąd mamy wiedzieć, że nie wprowadzają regresji ani po cichu nie pomijają zadań, które mieli wykonać? Jak upewnić się, że testy, które piszą, rzeczywiście (i rzetelnie!) weryfikują to, co powinny?

Myślę, że wynika to z tego, że patrzą na różne rzeczy. Deweloper analizuje pojedynczy pull request. Menedżer zespołu inżynierskiego odpowiada za wszystko, co trafia do wydania dzięki pracy wielu agentów i wielu osób, a gdy coś zepsuje się na produkcji, to właśnie on musi się z tego wytłumaczyć.

Ostrożność jest uzasadniona. Badacze stworzyli benchmark o nazwie ImpossibleBench, wykorzystując zadania programistyczne, w których testy jednostkowe są sprzeczne ze specyfikacją, więc jedynym sposobem na ich zaliczenie jest oszustwo. Wiodące modele często właśnie tak postępowały, na przykład edytując lub usuwając niezaliczone testy zamiast naprawić kod (!!). W odrębnym badaniu pull requestów tworzonych przez agentów wykryto niedociągnięcia w testowaniu przez agentów własnych zmian. Przywołano w nim również wcześniejsze badania, z których wynika, że niemal jedna trzecia scalonych pull requestów agentów wymagała późniejszych poprawek lub refaktoryzacji.

Z tego, co zaobserwowałem, wynika, że zabezpieczenia nie mogą działać wyłącznie we własnym środowisku agenta ani pojawiać się dopiero po wdrożeniu kodu. Jeśli agent, który napisał kod, sam decyduje, czy testy zakończyły się pomyślnie, wynik niewiele nam mówi. Nie oznacza to, że agenci nie powinni pisać testów. Oznacza natomiast, że ocena musi pochodzić z miejsca, którego agent nie może zmienić. Testowanie musi być osobnym stanowiskiem na linii produkcyjnej, przez które przechodzi każda zmiana — niezależnie od tego, czy napisał ją człowiek, czy agent.

Czego potrzeba na tym stanowisku

Odpowiedzią nie jest zupełnie nowy rodzaj testowania. Większość tego, co jest potrzebne, od dawna postulują dobre zespoły ds. zapewnienia jakości. Po prostu teraz ma to większe znaczenie.

Testy trzeba weryfikować pod kątem zgodności z wymaganiami — tak samo jak kod, który sprawdzają. Trzeba je też uruchamiać w środowisku, w którym działa oprogramowanie. Test, który przechodzi w środowisku odizolowanym agenta, niewiele mówi o środowisku przedprodukcyjnym czy produkcyjnym, a ponadto może ukryć, które zależności zastąpiono atrapami — i w jaki sposób. Niedawne badanie blisko 180 000 plików testów wygenerowanych przez agentów wykazało, że agenci uwzględniali więcej przypadków brzegowych niż testy napisane przez ludzi, ale ich testy częściej były niestabilne. Wynikało to w dużej mierze z tego, że agenci nie mieli wystarczającej wiedzy o środowisku, w którym testy miały być uruchamiane. Wczesne testowanie na rzeczywistej infrastrukturze pozwala to wykryć.

Testy i ich wyniki powinny być zachowywane. Jeśli agent napisze test, powinien mieć dostęp do istniejących testów i ich wyników, aby na podstawie pokrycia testami oraz potencjalnej niestabilności móc się uczyć. Testy należy weryfikować i wersjonować tak jak każdy inny kod, by można je było ponownie uruchomić po kolejnej zmianie, zamiast tracić je z końcem sesji.

Pozytywny wynik testu powinien znaczyć to samo niezależnie od tego, kto zlecił jego uzyskanie — potok, programista czy agent. Oznacza to te same testy uruchamiane na tej samej infrastrukturze, a ich wyniki zgromadzone w jednym miejscu.

Ludzie powinni też zachować własny osąd. Chętnie powierzam agentom pisanie powtarzalnego kodu i łączenie komponentów. Decydowanie o tym, co warto testować i co oznacza niepowodzenie, nadal należy do człowieka (przynajmniej na razie…).

Oznacza to również, że testowanie nie może odbywać się wyłącznie w ramach CI/CD (jeśli macie zapamiętać jedną rzecz z tego artykułu, niech będzie nią właśnie to!). Potoki CI zaprojektowano do budowania i wdrażania kodu; nigdy nie tworzono ich z myślą o uruchamianiu testów automatycznych na dużą skalę. W miarę przechodzenia na cykl życia wytwarzania oprogramowania oparty na agentach i dalszego wzrostu ilości kodu CI coraz gorzej nadaje się do uruchamiania testów. Testowanie powinno być pełnoprawnym elementem procesu dostarczania oprogramowania, a nie krokiem dołączonym na końcu potoku. Oznacza to koordynowanie go jako odrębnego systemu, obejmującego wszystkie narzędzia i środowiska używane przez zespół — niezależnie od tego, czy pracą kieruje agent, czy człowiek.

Od czego zacząć

Większość zespołów ma już testy, którym ufa, napisane w Playwright, Cypress, k6, Postmanie lub innym ustandaryzowanym narzędziu — i to świetny punkt wyjścia. Oto kilka moich sugestii:

  1. Rozpiszcie, jak obecnie przebiega droga zmiany od polecenia do wdrożenia na produkcji, i zaznaczcie każde miejsce, w którym uruchamiane są testy. Jeśli jest tylko jedno takie miejsce, pod koniec procesu, zacząłbym właśnie od niego.
  2. Uważajcie, by agenci po cichu nie zmieniali istniejących testów. Badacze ImpossibleBench wykazali, że ograniczenie agentom dostępu do testów zmniejszyło skalę oszukiwania. Jeśli agent musi zmienić test, powinien zgłosić tę zmianę w pull requeście, który sprawdzi człowiek — tak jak każdą inną zmianę w kodzie.
  3. Uruchamiajcie testy w środowiskach testowych (najlepiej rzeczywistych), a nie w środowiskach odizolowanych agentów, i róbcie to jak najwcześniej — nawet jeśli ma to być tylko niewielki zestaw testów dymnych uruchamianych na środowisku przedprodukcyjnym po każdej zmianie wygenerowanej przez agenta. Jeśli używacie AI do pisania testów, nie akceptujcie ich, dopóki nie zostaną tam uruchomione.
  4. Gromadźcie wyniki testów w jednym miejscu do zarządzania — może to być narzędzie do raportowania, używane przez was rozwiązanie APM albo dedykowana platforma testowa. Zadbajcie o to, by wyniki były dostępne zarówno dla ludzi, jak i agentów.
  5. Mierzcie efekty dostarczania, a nie aktywność. Liczba pull requestów mówi bardzo niewiele. Wskaźniki dostarczania DORA, takie jak czas realizacji zmiany i odsetek nieudanych zmian, znacznie lepiej pokazują, czy AI pomaga.
  6. Pozwólcie agentom korzystać z tej samej infrastruktury testowej co wasz zespół, aby ich praca była oceniana według tych samych standardów.

Optymistycznie, ale pod pewnymi warunkami

Mam optymistyczne podejście do AI i sądzę, że sprawi ona, iż zespoły programistyczne będą znacznie sprawniejsze, a ostatecznie także wydajniejsze. Aby to osiągnąć, zespoły muszą jednak na tyle ufać temu, co tworzą ich agenci, by móc wdrażać ich pracę, a także przyjąć całościowe podejście do testowania w cyklu życia oprogramowania opartym na agentach — to właśnie w tym obszarze zaufanie jest budowane albo tracone.

Jeśli dążysz do wdrożenia cyklu życia oprogramowania opartego na agentach, jaką rolę odgrywa w nim obecnie testowanie?

Ole Lensmar jest współzałożycielem i dyrektorem technicznym firmy Testkube, otwartej platformy testowej dla zespołów inżynierskich wykorzystujących AI. Stworzył SoapUI, jedno z najczęściej używanych narzędzi do testowania API, i wcześniej przewodniczył OpenAPI Initiative.