Pemimpin pemikiran
Mengapa Pengujian Harus Menjadi Bagian dari Lini Perakitan AI Sejak Awal

Poin utamaAI mempercepat pengodean tetapi mengekspos pengujian hilir yang lemah dan menurunkan…
Lihat selengkapnya
- AI mempercepat pengodean tetapi mengekspos pengujian hilir yang lemah dan menurunkan stabilitas pengiriman.
- Agen yang menilai pengujiannya sendiri dapat curang dengan mengedit pengujian yang gagal alih-alih memperbaiki kode.
- Pengujian harus menjadi stasiun tersendiri di luar CI agar setiap perubahan menghadapi putusan yang sama.
Saya telah mengembangkan alat pengujian selama lebih dari dua puluh tahun, dan selama sebagian besar waktu itu, percakapan saya dengan tim rekayasa terdengar kurang lebih sama. Para penguji merasa seperti warga kelas dua dalam siklus hidup perangkat lunak. Pengujian dilakukan terlambat, sering kali hanya diselipkan ke dalam waktu yang tersisa sebelum rilis, lalu dimasukkan ke pipeline CI yang dirancang untuk keperluan lain. Kini AI telah mengubah cara kita menulis kode—dan dampaknya terhadap pengujian jelas terasa, baik secara positif maupun negatif. Dalam banyak hal, AI membuat tantangan ini semakin terlihat.
Selama beberapa bulan terakhir, saya menghadiri sejumlah konferensi tentang pengujian dan teknologi cloud-native (LeadDev, CloudX, StarWest), dan hampir setiap tim yang saya ajak bicara sedang mengerjakan semacam proyek serupa: siklus hidup pengiriman perangkat lunak yang digerakkan AI, dengan agen yang menangani pekerjaan mulai dari spesifikasi hingga sesuatu yang berjalan di lingkungan produksi, disertai tingkat keterlibatan manusia yang sesuai di sepanjang proses. Saya membayangkannya seperti lini perakitan. Para agen menulis kode, agen lain meninjaunya, lalu pipeline membangun dan menerapkannya. Manusia mengawasi prosesnya. Namun, saya jauh lebih jarang mendengar pembahasan tentang posisi pengujian dalam lini tersebut.
Belum Ada yang Benar-Benar Memahami Ini
Saat ini, situasinya masih seperti Wild West. Kemampuan agen baru bermunculan setiap beberapa minggu, laboratorium AI besar terus merilis model baru, sementara tim dan vendor sama-sama mencoba berbagai hal untuk melihat mana yang berhasil.
Sejumlah data menunjukkan bahwa kesenjangan mulai terlihat. Laporan DORA terbaru Google tentang pengembangan perangkat lunak berbantuan AI, yang menyurvei hampir 5.000 profesional teknologi, menemukan bahwa adopsi AI berkaitan dengan peningkatan kapasitas pengiriman, dan ini merupakan kabar baik. Namun, adopsi AI juga masih berkaitan dengan menurunnya stabilitas pengiriman. Para peneliti menjelaskan bahwa AI mempercepat pengembangan dan menyingkap kelemahan di tahap-tahap selanjutnya. Mereka juga menekankan bahwa pengujian otomatis yang andal merupakan salah satu mekanisme pengendalian untuk mencegah semakin banyak perubahan berujung pada semakin tidak stabilnya sistem.
Menurut saya, hal itu tidak mengejutkan. Jika Anda memasukkan jauh lebih banyak kode ke dalam proses yang dirancang untuk menangani jumlah yang jauh lebih sedikit, proses itu akan melambat di suatu titik atau mengalami gangguan di suatu titik.
Pengembang Bekerja Lebih Cepat, tetapi Sebagian Besar Rilis Tidak
Saat membayangkan masalah yang bisa ditimbulkan oleh kode buatan AI, orang cenderung membayangkan agen memasukkan sesuatu yang buruk ke lingkungan produksi. Saya yakin hal itu terjadi—dan ketika terjadi, akibatnya tidak menyenangkan: bug, pelanggan yang kecewa, mungkin juga insiden keamanan. Namun, sejujurnya, hal itu bukan yang paling sering saya temui.
Survei Pengembang Stack Overflow 2026 menunjukkan bidang yang paling banyak menggunakan AI saat ini. Pengembang terutama menggunakannya untuk membuat kode di bidang yang sudah mereka kuasai (67%) dan untuk menelusuri serta memperbaiki kesalahan (61%), sementara hanya 20% yang menggunakannya untuk menerapkan, mengoperasikan, atau memecahkan masalah pada sistem produksi. Sejauh ini, AI terutama mempercepat penulisan kode. Proses untuk memverifikasi kode tersebut dan menerapkannya ke lingkungan produksi pada umumnya masih berjalan seperti sebelumnya.
Hal ini juga sesuai dengan yang saya amati: tim menghasilkan jauh lebih banyak kode tanpa mempercepat rilis. Seorang pengembang atau tim mungkin merasa telah membuat fitur dua kali lebih banyak, tetapi fitur-fitur itu tertahan di tahap hilir, menunggu peninjauan, menunggu pengujian, dan menunggu lingkungan untuk mengujinya. Semua kode tambahan itu menyumbat pipeline dan, dalam banyak kasus, bahkan memperlambat pengiriman secara keseluruhan oleh tim.
Pertanyaan tentang Pagar Pengaman Datang dari Para Manajer
Meskipun kekhawatiran tentang hambatan pengiriman akibat AI sangat nyata, itu bukan satu-satunya hal yang ditanyakan tim kepada kami. Pengembang terutama ingin tahu cara menulis kode yang lebih baik dengan lebih cepat. Pertanyaan tentang pagar pengaman datang dari para manajer rekayasa dan orang-orang yang menyiapkan alur kerja berbasis agen ini. Bagaimana kita memastikan para agen tidak bertindak di luar kendali? Bagaimana kita tahu mereka tidak menimbulkan regresi atau diam-diam melewatkan pekerjaan yang seharusnya mereka lakukan? Bagaimana kita memastikan pengujian yang mereka tulis benar-benar (dan secara jujur!) memvalidasi hal yang seharusnya diuji?
Menurut saya, penyebabnya adalah mereka melihat hal yang berbeda. Seorang pengembang melihat satu permintaan tarik pada satu waktu. Seorang manajer rekayasa bertanggung jawab atas semua yang dirilis oleh banyak agen dan banyak orang, serta harus menjelaskan apa yang terjadi ketika sesuatu rusak di lingkungan produksi.
Mereka punya alasan untuk berhati-hati. Para peneliti membuat tolok ukur bernama ImpossibleBench dengan menggunakan tugas pemrograman yang pengujian unitnya bertentangan dengan spesifikasi, sehingga satu-satunya cara untuk lulus adalah berbuat curang. Model-model terkemuka sering kali memang melakukan hal itu, misalnya dengan mengubah atau menghapus pengujian yang gagal alih-alih memperbaiki kode (!!). Sebuah studi tentang permintaan tarik yang ditulis oleh agen secara terpisah menemukan adanya kekurangan dalam kemampuan agen menguji perubahan mereka sendiri, dan mengutip penelitian terdahulu yang menunjukkan bahwa hampir sepertiga permintaan tarik agen yang digabungkan memerlukan perbaikan lanjutan atau pemfaktoran ulang.
Kesimpulan saya, pagar pengaman tidak bisa hanya berada di dalam lingkungan agen itu sendiri, dan tidak bisa baru diterapkan setelah kode dirilis. Jika agen yang menulis kode juga memutuskan apakah kode itu lulus, hasilnya tidak banyak memberi tahu kita. Bukan berarti agen tidak boleh menulis pengujian. Artinya, penilaian harus datang dari pihak yang tidak dapat diatur oleh agen. Pengujian perlu menjadi pos tersendiri di lini tersebut, dan setiap perubahan harus melewatinya, baik ditulis oleh manusia maupun agen.
Apa yang Dibutuhkan Pos Pengujian Itu
Jawabannya bukanlah jenis pengujian yang sama sekali baru. Sebagian besar yang dibutuhkan sudah lama menjadi tuntutan tim QA yang baik. Hanya saja, sekarang hal itu semakin penting.
Pengujian perlu ditinjau untuk memastikan keakuratannya terhadap persyaratan—sama seperti kode yang diuji. Pengujian juga perlu dijalankan di lingkungan tempat perangkat lunak beroperasi. Pengujian yang berhasil di sandbox agen tidak banyak memberi gambaran tentang lingkungan staging atau produksi, dan dapat menyamarkan dependensi mana yang di-mock—atau bagaimana dependensi itu di-mock. Sebuah studi terhadap hampir 180.000 berkas pengujian yang dihasilkan agen menemukan bahwa agen mencakup lebih banyak kasus tepi daripada pengujian yang ditulis manusia, tetapi pengujian mereka menunjukkan lebih banyak indikasi hasil yang tidak konsisten, terutama karena agen tidak cukup memahami lingkungan tempat pengujian akan dijalankan. Menjalankan pengujian lebih awal pada infrastruktur nyata dapat mengungkap masalah tersebut.
Pengujian dan hasilnya perlu disimpan. Jika agen menulis pengujian, pengujian yang sudah ada beserta hasilnya perlu dijadikan konteks agar agen dapat belajar dari cakupan pengujian maupun potensi hasil yang tidak konsisten. Pengujian perlu ditinjau dan diberi versi seperti kode lainnya, sehingga dapat dijalankan kembali saat ada perubahan berikutnya, alih-alih hilang ketika sesi berakhir.
Hasil yang lulus seharusnya memiliki arti yang sama, siapa pun yang memintanya—baik pipeline, pengembang, maupun agen. Artinya, pengujian yang sama dijalankan pada infrastruktur yang sama, dengan hasil yang tersimpan di satu tempat.
Manusia juga perlu tetap menggunakan penilaiannya. Saya senang membiarkan agen menangani pekerjaan rutin dan penghubungannya. Menentukan apa yang layak diuji dan apa arti suatu kegagalan tetap merupakan tugas manusia (setidaknya untuk saat ini…).
Ini juga berarti pengujian tidak bisa hanya dilakukan di dalam CI/CD (jika Anda hanya mengingat satu hal dari artikel ini, ingatlah yang ini!). Pipeline CI dirancang untuk membangun dan merilis kode; pipeline tersebut tidak pernah dirancang untuk menjalankan pengujian otomatis dalam skala besar. Seiring kita beralih ke SDLC yang menggunakan agen dan jumlah kode terus bertambah, CI semakin tidak cocok untuk menjalankan pengujian. Pengujian perlu menjadi bagian utama dari proses pengiriman perangkat lunak, bukan sekadar langkah yang ditambahkan di akhir pipeline. Artinya, pengujian perlu diorkestrasi sebagai sistem tersendiri, di semua alat dan lingkungan yang digunakan tim, siapa pun yang menjalankannya—agen maupun manusia.
Mulai dari Mana
Sebagian besar tim sudah memiliki pengujian tepercaya di Playwright, Cypress, k6, Postman, atau alat apa pun yang telah mereka tetapkan sebagai standar. Itu merupakan titik awal yang bagus. Beberapa hal yang saya sarankan:
- Petakan alur perubahan dari prompt hingga produksi saat ini, lalu tandai setiap titik tempat pengujian dijalankan. Jika hanya ada satu titik, di dekat bagian akhir, saya akan mulai dari sana.
- Berhati-hatilah agar agen tidak diam-diam mengubah pengujian yang sudah ada. Para peneliti ImpossibleBench menemukan bahwa pembatasan akses agen ke pengujian mengurangi kecurangan. Jika agen memang perlu mengubah pengujian, perubahan itu harus diajukan sebagai pull request untuk ditinjau seseorang, seperti perubahan kode lainnya.
- Jalankan pengujian Anda di lingkungan pengujian (sebaiknya lingkungan nyata), bukan di sandbox agen, sedini mungkin—meskipun hanya berupa rangkaian uji asap kecil di lingkungan staging untuk setiap perubahan yang dihasilkan agen. Jika Anda menggunakan AI untuk menulis pengujian, jangan menerimanya sebelum pengujian tersebut dijalankan di sana.
- Pusatkan hasil pengujian di satu bidang kendali—baik itu alat pelaporan, solusi APM Anda, maupun platform pengujian khusus. Pastikan hasil ini tersedia bagi manusia dan agen.
- Ukur hasil pengiriman, bukan aktivitas. Jumlah pull request tidak banyak memberi tahu. Metrik pengiriman DORA, seperti waktu tunggu perubahan dan tingkat kegagalan perubahan, memberi gambaran yang jauh lebih jelas tentang apakah AI membantu.
- Izinkan agen menggunakan infrastruktur pengujian yang sama dengan yang digunakan tim Anda, sehingga hasil kerja mereka diperiksa dengan standar yang sama.
Optimistis, dengan Syarat
Saya termasuk orang yang optimistis soal AI, dan saya yakin AI akan membuat tim perangkat lunak jauh lebih mampu dan, pada akhirnya, lebih produktif. Namun, untuk mencapainya, tim perlu cukup memercayai hasil kerja agen mereka agar berani merilisnya, dan perlu menerapkan pendekatan menyeluruh terhadap pengujian dalam SDLC yang menggunakan agen—sebab di sanalah kepercayaan itu dibangun atau hilang.
Jika Anda sedang berupaya menerapkan SDLC yang menggunakan agen, di mana posisi pengujian dalam proses tersebut saat ini?












