Mengapa AI Kesulitan Melanjutkan Tugas yang Belum Selesai

Meskipun agen AI dapat menyelesaikan tugas yang kompleks, sebuah studi baru mengindikasikan bahwa mereka kesulitan melanjutkan pekerjaan yang dimulai pihak lain. Akibatnya, upaya terduplikasi, kemajuan melambat, dan biaya meningkat.

Salah satu hal paling melelahkan tetapi penting saat bekerja dengan agen AI dan antarmukanya adalah perlunya menjelaskan situasi terkini kepada AI pada awal hampir setiap percakapan.

Meskipun model bahasa populer seperti ChatGPT menawarkan sejumlah akses ke memori persisten yang disesuaikan dengan pengguna, penerapannya belum konsisten. Pada akhirnya, lebih aman meluangkan upaya untuk menjelaskan konteks tugas kepada AI*, setidaknya agar model tidak menebak konteks yang keliru dari ruang laten yang terbentuk selama pelatihannya.

Mengambil Alih Pekerjaan di Dunia Nyata

Tantangan ini tentu sudah ada sebelum AI. Banyak perusahaan mewajibkan staf mendokumentasikan proses yang mereka kembangkan atau sempurnakan. Tujuannya sebagian adalah memudahkan orientasi karyawan baru, tetapi bisa juga dipandang sebagai upaya mencegah karyawan memiliki posisi tawar yang lebih kuat.

Namun, dalam praktiknya, sering kali hanya organisasi yang lebih besar dan didanai lebih baik yang benar-benar membuat, memperbarui, dan memelihara dokumentasi. Sebaliknya, karyawan yang harus mengambil alih pekerjaan orang lain sangat sering mendapat tugas layaknya detektif: mereka harus merekonstruksi urutan kejadian dengan teliti yang menghasilkan pekerjaan terbengkalai yang kini diserahkan kepada mereka.

Dokumentasi yang sempurna tentu dapat menghemat waktu kerja berhari-hari, berminggu-minggu, atau bahkan berbulan-bulan, seandainya pembuatannya masuk akal secara finansial.

Namun, ketika agen AI yang mengerjakan tugas tersebut, mungkin ada peluang lebih besar untuk mengatasi masalah ini.

Serah terima tugas

Penelitian baru dari AS mengukur beban akibat tidak adanya dokumentasi ini dan menyebut masalahnya utang serah terima.

Jika utang teknis menggambarkan bagaimana solusi teknis yang cepat, asal jadi, dan murah saat ini menghasilkan sistem yang rapuh atau sulit dipelihara di kemudian hari, maka utang serah terima menggambarkan biaya penemuan ulang – penelusuran kembali langkah-langkah seorang pekerja atau entitas berdasarkan jejak yang ditinggalkan ketika pihak tersebut tidak tersedia untuk memberi arahan, misalnya karena pemecatan yang penuh konflik, terlalu sibuk, atau meninggal. Pihak tersebut juga mungkin tidak mampu memberi arahan, seperti model bahasa yang sudah kehilangan konteks yang menghasilkan keadaan pekerjaan saat ini.

Penelitian baru^† – hasil kolaborasi peneliti independen dan peneliti yang berafiliasi dengan Georgia State University – membahas utang serah terima pada agen pemrograman yang harus melanjutkan pekerjaan dalam basis kode dari titik berhentinya sesi, orang, atau entitas lain.

Salah satu tujuan penelitian ini adalah menentukan berapa banyak dokumentasi yang diperlukan untuk mengurangi utang serah terima, serta prosedur dan protokol yang dapat direkomendasikan sebagai praktik standar di masa depan untuk membatasi masalah tersebut.

Pertimbangan anggaran

Dalam kondisi ideal, kita dapat mengatur pencatatan log ke mode terperinci, verbose lalu langsung memberikan log pekerjaan yang belum selesai kepada agen baru yang mengambil alih tugas.

Namun, mengekstraksi informasi berguna dari data sebanyak itu akan memakan waktu, menghabiskan anggaran token, dan berpotensi menghadapi keterbatasan ruang penyimpanan.

Ini adalah masalah anggaran: memproses data mentah yang diekspor sangat membebani, sedangkan log yang sudah dipilih dan diolah lebih mudah dipahami tetapi membutuhkan alokasi sumber daya sebelumnya.

Catatan yang disiapkan khusus akan sangat efektif untuk memberi agen penerus pemahaman tentang situasi. Namun, persiapannya membutuhkan lebih banyak upaya, yang mungkin tidak pernah diperlukan jika alur pekerjaan ternyata sudah jelas, pekerjaan ditinggalkan, atau tidak pernah direvisi lagi.

Penulis dari penelitian baru, yang berjudul Handoff Debt: The Rediscovery Cost When Coding Agents Take Over Interrupted Tasks, mempertimbangkan semua skenario ini dan menyesuaikan model tugas yang sudah ada untuk mengukur serta menangani utang serah terima dengan cara baru. Meskipun khusus membahas agen pemrograman, penelitian ini juga dapat menunjukkan arah yang berguna untuk penggunaan AI yang lebih luas dan pengelolaan kebijakan dokumentasi.

Penulis menyatakan:

“Utang serah terima muncul ketika agen membuat kemajuan yang terlihat, tetapi meninggalkan keadaan yang sulit dilanjutkan oleh penerusnya, misalnya perubahan yang tidak dijelaskan, berkas kerja sementara, asumsi tersembunyi, atau tidak adanya bukti validasi.

“Metrik yang hanya mengukur penyelesaian akhir tidak dapat membedakan penemuan ulang yang mahal dari kelanjutan yang efisien.

“Dua agen pendahulu dapat meninggalkan titik pemeriksaan repositori yang sama, tetapi penerusnya menghadapi biaya kelanjutan yang sangat berbeda: satu dapat langsung melanjutkan, sedangkan yang lain harus melakukan banyak interaksi dengan alat untuk merekonstruksi maksud dari berkas sementara dan riwayat perintah yang tidak lengkap.”

Metode

Penulis mendefinisikan pendahulu sebagai agen sebelumnya (yang memulai atau terakhir mengerjakan pekerjaan) dan penerus sebagai agen saat ini (yang ditugaskan untuk mengambil alih pekerjaan).

Untuk menyusun tolok ukur biaya pemindahan tugas rekayasa perangkat lunak yang belum selesai dari satu agen ke agen lain, 75 tugas dari SWE-bench Verified diubah menjadi 181 skenario serah terima, masing-masing mewakili titik ketika pekerjaan dihentikan dan diserahkan kepada agen penerus. Tiga model penerus yang berbeda kemudian diuji dalam 2.172 upaya pengambilalihan.

Keluarga model yang digunakan dalam berbagai kombinasi pada pengujian serah terima ini adalah Qwen, Gemma, dan Devstral.

Eksperimen menguji empat tingkat informasi yang diwariskan. Pada kondisi paling terbatas, penerus hanya menerima keadaan repositori, seolah memasuki kawasan bencana yang tidak terdokumentasi. Kondisi lainnya menyediakan konteks yang semakin rinci, dari rekaman aktivitas dan riwayat perintah hingga ringkasan singkat tentang hal-hal yang telah dicoba dan dipelajari:

Alih-alih hanya menilai apakah tugas akhirnya berhasil diselesaikan, penelitian ini dirancang untuk mengukur biaya kelanjutan itu sendiri, dengan memperhatikan penggunaan alat, konsumsi token, dan upaya untuk merekonstruksi penalaran di balik pekerjaan sebelumnya.

Untuk eksperimen ini ditetapkan tiga pemicu serah terima dan tiga status serah terima:

Data dan pengujian

Untuk membuat skenario serah terima yang realistis, peneliti menyusun tolok ukur dari 75 tugas rekayasa perangkat lunak dalam SWE-bench Verified, dengan fokus pada masalah yang biasanya membutuhkan waktu antara 15 menit dan 4 jam untuk diselesaikan.

Alih-alih hanya mengevaluasi tugas yang selesai, peneliti merekam beberapa titik pemeriksaan antara selama pekerjaan berlangsung, sehingga tercipta situasi ketika satu agen AI harus mengambil alih pekerjaan agen lain:

Penyusunan tolok ukur pengambilalihan tugas. Sebanyak 75 tugas SWE-bench Verified dikembangkan menjadi 181 titik serah terima yang mencakup tiga tahap pekerjaan. Titik-titik ini diberi label berdasarkan keadaan repositori saat pengambilalihan dan dievaluasi dalam empat kondisi pembagian informasi, menghasilkan total 2.172 pelaksanaan pengambilalihan oleh agen penerus. Sumber

Karena setiap tugas dapat menghasilkan beberapa titik serah terima dan setiap titik diuji dengan empat bentuk informasi yang diwariskan, tolok ukur tersebut berkembang pesat. Hasil akhirnya mencakup 181 tugas serah terima yang berbeda dan 724 evaluasi pengambilalihan untuk setiap model penerus, dengan total 2.172 pelaksanaan pada tiga sistem AI yang diuji.

Pengujian pemrograman menggunakan lingkungan bergaya OpenHands, dengan tindakan melalui terminal, pembekuan repositori pada titik serah terima, penyuntingan berkas, dan validasi resmi SWE-bench.

Dalam studi utama, semua titik serah terima berasal dari pelaksanaan tugas oleh Qwen sebagai pendahulu, sehingga tersedia titik awal yang tetap untuk mengevaluasi perbedaan antar kombinasi agen dan skenario.

Pasangan pengambilalihan yang diuji adalah Qwen → Qwen, Qwen → Gemma, dan Qwen → Devstral.

Jejak mentah menghasilkan pengurangan terbesar pada upaya penerus, menurunkan jumlah peristiwa agen sebesar 57–59%, sedangkan catatan ringkasan dan catatan terstruktur mengurangi jumlah peristiwa sebesar 20–46%. Penggunaan token masukan juga menurun pada ketiga pendekatan, dengan pengurangan sebesar 42–63%:

Dalam kondisi serah terima hanya repositori, agen penerus harus melakukan interaksi tambahan untuk merekonstruksi maksud pendahulu, bukti sebelumnya, dan pendekatan yang gagal. Jejak mentah, catatan ringkasan, dan catatan terstruktur menyampaikan sebagian informasi tersebut secara langsung, sehingga mengurangi kebutuhan untuk menemukan ulang, meskipun memerlukan prompt awal yang lebih besar.

Untuk menguji apakah manfaat tersebut nyata, setiap serah terima yang kaya konteks dibandingkan dengan serah terima dalam kondisi hanya repositori yang dimulai dari titik yang sama. Pada semua pasangan model, konteks serah terima yang lebih kaya secara konsisten mengurangi pekerjaan yang harus dilakukan penerus.

Rekaman lengkap peristiwa menghasilkan pengurangan terbesar, tetapi catatan ringkasan dan catatan terstruktur juga memberikan penghematan yang berarti. Efek ini terlihat di seluruh tolok ukur, bukan hanya akibat beberapa kasus yang tidak biasa:

Untuk memastikan bahwa efek ini tidak berasal dari beberapa kasus yang tidak biasa, peneliti membandingkan setiap serah terima dengan serah terima dalam kondisi hanya repositori yang dimulai dari titik yang sama. Pengurangan tetap konsisten pada semua pasangan model, menunjukkan pola manfaat yang berarti, bukan sekadar beberapa contoh luar biasa.

Inti temuan…

Singkatnya^†, penulis menemukan bahwa ketika satu agen AI menyerahkan tugas kepada agen lain, bahkan catatan sederhana membantu agen kedua melanjutkan dengan lebih efisien.

Rekaman lengkap peristiwa memberikan hasil terbaik, tetapi informasi serah terima apa pun lebih baik daripada membiarkan penerus merekonstruksi semuanya hanya dari kode. Hasil di atas juga menggambarkan bahwa pendekatan log mentah yang lengkap tak terelakkan memiliki biaya token yang lebih tinggi.

Kesimpulan

Meskipun makalah ini ditujukan khusus bagi sesama peneliti dan kurang menarik bagi pembaca umum, penelitian baru ini tetap membahas salah satu masalah paling menarik dan mendesak dalam perkembangan terkini antarmuka dan protokol manusia–AI.

Kita dapat berharap bahwa metode yang dikembangkan dan wawasan yang diperoleh dari penelitian semacam ini kelak dapat diterapkan pada penggunaan AI yang lebih luas daripada sekadar pemrograman oleh agen.

Arah lain untuk penelitian mendatang adalah menilai tingkat dokumentasi minimum yang diperlukan suatu proyek berdasarkan karakteristik dan kasus penggunaannya. Namun, fungsi yang membantu mengatur penggunaan waktu dan uang secara rasional ini sendiri membutuhkan waktu dan uang. Karena itu, dilema anggaran dalam dokumentasi tetap sulit dihindari.

* Secara pribadi, untuk sesi ChatGPT yang melambat akibat jeda respons dan konteks berlebihan, belakangan ini saya mulai mengekspor, dengan sedikit kesulitan, PDF percakapan yang bersih, lalu menggunakannya sebagai titik awal sesi baru yang menjadi “bagian 2”.

^† Ini bukan makalah paling mudah dipahami yang saya baca tahun ini. Karena itu, saya tidak dapat menyarankan pembaca untuk merujuk ke makalah aslinya, meskipun hasilnya yang telah disajikan secara lebih mudah dipahami tetap menarik.

Dipublikasikan pertama kali pada hari Rabu, 3 Juni 2026