Manusia Berjuang Keras Saat AI Mempercepat Pengiriman Perangkat Lunak

Sepanjang sebagian besar sejarah pengembangan perangkat lunak, manusia menjadi kontrolnya. Seorang pengembang membuat perubahan, orang lain meninjaunya, seseorang menyetujuinya, dan pada akhirnya perubahan tersebut diterapkan.

AI mempercepat seluruh sistem itu sementara kami masih berusaha menempatkan manusia di tengahnya. Pengembang kini dapat membuat kode dan perubahan dalam hitungan detik. Agen dapat bekerja lintas repositori, alat, infrastruktur, dan sistem lainnya dengan keterlibatan manusia yang lebih sedikit.

Insting kami adalah menambahkan manusia kembali ke dalam proses. Kami meninjau pull request, menyetujui panggilan alat, memeriksa perubahan, dan mengonfirmasi penerapan karena kami ingin memastikan AI tidak melakukan sesuatu yang tidak seharusnya. Kami berjuang keras untuk bertahan hidup.

Insting itu masuk akal. Peninjauan manusia memberi kami cara untuk mempertahankan kontrol saat perangkat lunak bergerak menuju produksi. Namun AI mulai beroperasi dengan kecepatan dan volume di mana manusia tidak dapat lagi menjadi unit skala untuk tata kelola.

AI Sudah Bergerak Lebih Cepat Daripada Peninjauan Manusia

Gelombang pertama AI generatif dalam pengembangan perangkat lunak terutama berfokus pada membantu pengembang menulis kode lebih cepat. Hal itu saja mengubah pengiriman perangkat lunak. Lebih banyak kode berarti lebih banyak perubahan aplikasi, perubahan infrastruktur, dan perubahan basis data yang melewati pengujian, keamanan, peninjauan, penerapan, dan produksi.

Masalahnya tidak selalu bahwa AI menghasilkan perubahan yang lebih buruk. AI menghasilkan lebih banyak perubahan, lebih cepat. Jika kontrol atas semua output baru ini tetap pada orang lain yang meninjau setiap perubahan, pada akhirnya perhitungannya tidak lagi berfungsi.

Kami sudah melihat tanda-tandanya. Anthropic baru-baru ini melaporkan bahwa pengguna Claude Code menyetujui sekitar 93% permintaan izin. Perusahaan menemukan bahwa permintaan berulang dapat menyebabkan kelelahan persetujuan, dengan orang menjadi kurang memperhatikan seiring meningkatnya jumlah persetujuan. Anthropic kini menggunakan klasifikasi otomatis untuk mengevaluasi tindakan dan menghentikan yang berpotensi berbahaya daripada meminta seseorang menyetujui semuanya.

Pikirkan apa arti hal itu bagi pengawasan manusia. Jika seseorang menyetujui 93% waktu, menambahkan persetujuan lain tidak serta-merta memberi Anda kontrol lebih. Pada titik tertentu, manusia menjadi langkah tambahan dalam alur kerja.

Kami dapat menggunakan AI untuk menciptakan lebih banyak perangkat lunak. Kami tidak dapat menanggapi dengan membuat operasi peninjauan manusia yang sama besarnya di belakangnya.

AI Beralih Dari Membuat Kode ke Mengambil Tindakan

Asisten pengkodean memberi AI peran dalam pengembangan. Agen memberi AI kemampuan untuk berpartisipasi dalam lebih banyak tahapan SDLC. Sebuah agen dapat menerima tujuan, memutuskan cara mencapainya, menggunakan alat, mengamati hasil, dan menyesuaikan apa yang dilakukannya selanjutnya.

Dalam rekayasa perangkat lunak, hal itu dapat berarti memodifikasi file, menjalankan perintah, berinteraksi dengan repositori, memanggil API, menguji kode, atau bekerja dengan infrastruktur. Orang juga semakin nyaman membiarkan agen bekerja secara mandiri. Dalam sebuah studi jutaan interaksi manusia-agen, Anthropic menemukan bahwa pengguna Claude Code berpengalaman menggunakan persetujuan otomatis penuh dalam lebih dari 40% sesi, kira-kira dua kali lipat dari pengguna baru.

Itu tidak berarti agen otonom menjalankan lingkungan produksi di mana saja saat ini. Mereka tidak. Namun pengembangan perangkat lunak memberi kami pandangan awal tentang ke mana arah hal ini.

Saat ini, AI menciptakan lebih banyak perubahan, dan peninjauan manusia mulai tertekan. Selanjutnya, AI berpartisipasi di lebih banyak tahapan SDLC. Akhirnya, agen akan membuat, memvalidasi, menerapkan, mengamati, dan memperbaiki perubahan dengan jauh lebih sedikit keterlibatan manusia.

Pada setiap langkah, kami menghilangkan satu tempat lagi di mana orang dulu memberikan kontrol. Pertanyaannya bergeser dari apakah AI dapat melakukan pekerjaan tersebut menjadi apa yang AI boleh lakukan sendiri.

Izin Bukan Otoritas

Agen membutuhkan akses untuk melakukan pekerjaan yang berguna. Sebuah agen yang membantu menerapkan perangkat lunak mungkin memerlukan akses ke repositori, sistem CI/CD, lingkungan cloud, atau basis data. Menghilangkan akses itu, Anda juga menghilangkan banyak hal yang membuat agen berguna.

Namun akses dan otoritas tidaklah sama. Memberikan agen izin untuk mencapai suatu sistem tidak berarti ia memiliki otoritas untuk melakukan setiap tindakan yang tersedia di dalam sistem tersebut.

Kontrol akses tradisional dapat memberi tahu kami apakah agen memiliki izin untuk mengakses sesuatu. Kita juga memerlukan cara untuk menentukan apakah tindakan spesifik yang ingin diambilnya harus terjadi. Hal ini menjadi lebih penting ketika sistem yang membuat keputusan dapat menafsirkan tugas secara berbeda dari orang yang memberikannya, menghadapi hambatan dan memilih jalur lain, atau menggunakan alat yang sah dengan cara yang tidak terduga.

OWASP menggambarkan versi masalah ini sebagai Agen Berlebih. Ia menunjuk pada fungsionalitas, izin, dan otonomi yang berlebihan sebagai penyebab tindakan merusak dan merekomendasikan persetujuan independen untuk tindakan berdampak tinggi.

NVIDIA sedang menangani masalah yang sama pada tingkat arsitektur. Open Agent Safety Platform menempatkan penegakan kebijakan di luar agen dan menyampaikan poin sederhana: agen tidak dapat diharapkan untuk sepenuhnya mengatur perilakunya sendiri.

Itu seharusnya membentuk cara kami membangun AI SDLC. Sebuah agen mungkin memerlukan izin untuk mengakses basis data, lingkungan infrastruktur, atau sistem penyebaran. Itu tidak berarti agen harus memutuskan sendiri bahwa setiap perubahan yang ingin dilakukannya aman.

AI membuat keputusan berdasarkan probabilitas. Kita tidak seharusnya membiarkan setiap keputusan tersebut secara otomatis menjadi tindakan terhadap sistem kritis.

Manusia dalam Lingkaran Tidak Bisa Menjadi Jawaban Sepenuhnya

Respons yang jelas adalah menjaga seseorang berada di depan tindakan AI yang konsekuensial. Untuk beberapa keputusan, itulah yang seharusnya kami lakukan. Kesalahannya adalah menjadikan “manusia dalam lingkaran” sebagai jawaban untuk setiap keputusan.

Jika setiap tindakan yang diambil agen memerlukan seseorang untuk meninjau dan mengklik setuju, kita telah menciptakan kembali kemacetan yang seharusnya dihilangkan oleh AI. Lebih buruk lagi, cukup banyak persetujuan dapat mengubah pengawasan menjadi kebiasaan. Seseorang yang mengklik setuju sepanjang hari belum tentu menggunakan penilaian.

Kita perlu lebih sengaja menentukan di mana keputusan dibuat. AI dapat membuat keputusan dalam lingkup tugas yang telah diberikan kepadanya. Kebijakan dapat menangani keputusan di mana aturan sudah diketahui. Manusia dapat menangani pengecualian dan keputusan yang memang memerlukan penilaian.

Perubahan berisiko rendah yang memenuhi kebijakan yang telah ditetapkan tidak seharusnya memerlukan seseorang mengawasinya. Perubahan yang melanggar kebijakan harus dihentikan secara otomatis. Pengecualian dengan konsekuensi bisnis, keamanan, atau operasional yang signifikan mungkin memerlukan seseorang untuk membuat keputusan.

Itu merupakan model yang sangat berbeda dari sekadar menempatkan manusia dalam setiap lingkaran. Tujuannya bukan menghilangkan manusia. Tujuannya adalah menghentikan ketergantungan setiap tindakan pada perhatian manusia dan menjadikan jalur yang diatur sebagai jalur termudah.

Letakkan Kontrol di Tempat Tindakan Terjadi

Perusahaan tidak akan menstandarisasi satu model AI atau satu agen. Pengembang akan menggunakan berbagai copilot. Tim akan bereksperimen dengan model yang berbeda. AI akan muncul di dalam alat pengembang, produk keamanan, platform data, dan aplikasi internal.

Mencoba membangun proses tata kelola yang berbeda untuk setiap alat AI tidak akan dapat diskalakan. Kontrol perlu berada lebih dekat dengan tindakan yang ingin diambil AI.

Jika perubahan yang dihasilkan AI masuk ke pipeline penyebaran, ia harus menghadapi kebijakan yang sama seperti perubahan yang dihasilkan manusia. Jika sebuah agen ingin memodifikasi infrastruktur, data, atau basis data produksi, kontrol di sekitar sistem tersebut tidak boleh menghilang hanya karena pelakunya berubah.

Sumber perubahan bukanlah yang menentukan risiko. Perubahan itu sendiri yang menentukan. Seorang pengembang, asisten pengkodean, proses otomatis, atau agen otonom dapat mengambil jalur berbeda untuk tindakan yang sama, namun tindakan tersebut tetap dapat menghadapi kebijakan yang sama sebelum menjadi konsekuensial.

Ini juga memungkinkan teknologi berubah tanpa memaksa perusahaan membangun kembali tata kelola setiap kali. Model akan berubah. Agen akan menjadi lebih mampu. Kontrol di sekitar sistem kritis dapat tetap konsisten.

NIST mengambil pendekatan berbasis risiko yang serupa dalam AI Risk Management Framework, yang memperlakukan tata kelola sebagai sesuatu yang harus beroperasi sepanjang siklus hidup AI bukan sebagai satu persetujuan di akhir. Untuk pengiriman perangkat lunak, itu berarti menempatkan kontrol ke dalam jalur yang sudah diambil AI alih-alih menambahkan proses manual lain di atasnya.

Ketika Manusia Pergi, Bukti Tidak Bisa Pergi Bersamanya

Ada masalah lain yang tersembunyi di dalam model tinjauan manusia. Ketika Anda menghilangkan orang dari proses, Anda tidak hanya kehilangan tinjauan. Anda juga dapat kehilangan orang yang membantu membuktikan bahwa tinjauan itu terjadi.

Hal itu menjadi masalah serius bagi perusahaan dengan persyaratan keamanan, kepatuhan, dan audit. Mereka tetap perlu mengetahui apa yang berubah, siapa atau apa yang memulainya, kebijakan mana yang diterapkan, apakah itu lolos, siapa yang menyetujui pengecualian, di mana perubahan dijalankan, dan apa yang terjadi setelahnya.

Anda tidak dapat mengotomatisasi perubahan dan membiarkan bukti secara manual. Dalam proses yang digerakkan manusia, tim dapat merekonstruksi bukti kemudian dari tiket, persetujuan, log pipeline, tangkapan layar, dan percakapan. Pendekatan itu menjadi lebih sulit seiring volume perubahan meningkat dan menjadi tidak realistis ketika mesin menciptakan dan mengeksekusi perubahan secara terus-menerus.

Bukti perlu menjadi bagian dari proses pengiriman. Keputusan kebijakan, persetujuan, pengecualian, penyebaran, dan hasil harus menghasilkan catatan saat pekerjaan berlangsung. Bukti audit menjadi produk sampingan dari pengiriman perangkat lunak alih-alih sesuatu yang dikumpulkan tim setelahnya.

Itu menyisakan dua tugas berbeda untuk tata kelola dalam AI-driven SDLC. Sebelum sebuah tindakan, tentukan apakah tindakan tersebut harus terjadi. Setelah tindakan, buktikan apa yang terjadi.

Manusia Tidak Akan Menghilang. Peran Kami Berubah.

Ada naluri yang dapat dipahami untuk mengukur kontrol berdasarkan berapa kali seseorang terlibat. Lebih banyak tinjauan terasa lebih aman. Lebih banyak persetujuan terasa lebih aman. Menjaga manusia di setiap lingkaran terasa lebih aman.

AI akan menguji asumsi itu. Jika AI terus meningkatkan jumlah perangkat lunak yang dapat kami buat, manusia tidak akan dapat meninjau setiap perubahan, menyetujui setiap tindakan, mengawasi setiap penyebaran, dan merekonstruksi setiap keputusan setelahnya. Mencoba melakukan hal itu akan memperlambat AI atau menjadikan pengawasan manusia hanya sekadar stempel karet.

SDLC AI membutuhkan pembagian kerja yang berbeda. AI dapat menangani lebih banyak pekerjaan sementara kebijakan mengatur keputusan yang dapat diulang dan orang‑orang turun tangan ketika sesuatu benar‑benar memerlukan penilaian. Bukti harus dibuat secara otomatis sepanjang proses.

Kami akan memberi AI lebih banyak akses karena itulah cara AI menjadi berguna. Kami akan memberi agen lebih banyak otonomi karena itulah cara kami mendapatkan leverage lebih besar dari mereka. Tantangannya adalah memastikan bahwa peningkatan akses dan otonomi tidak diam‑diam menjadi otoritas tak terbatas.

Manusia tidak perlu menggenggam lebih erat. Tujuannya bukan mengurangi kontrol. Ini adalah model kontrol yang tidak bergantung pada kita memegang setiap keputusan sendiri. Kita perlu membangun kontrol yang memungkinkan kita melonggarkan cengkeraman tanpa kehilangan kontrol.