Mengapa AI Mengalami Kesulitan Mengambil Tugas yang Belum Selesai

Meskipun agen AI dapat menyelesaikan tugas yang kompleks, sebuah studi baru menunjukkan bahwa mereka mengalami kesulitan untuk melanjutkan pekerjaan yang dimulai oleh yang lain, sehingga menyebabkan upaya yang berulang, kemajuan yang lebih lambat, dan biaya yang lebih besar.

Salah satu tugas yang paling melelahkan tetapi penting dalam menangani agen AI dan antarmuka adalah bahwa AI memerlukan “pengenalan” pada awal pertukaran, hampir dalam setiap kasus.

Sementara model bahasa populer seperti ChatGPT menawarkan beberapa akses ke memori kustom yang “persisten”, implementasinya biasanya sebuah kesalahan; pada akhirnya, lebih aman untuk menerima upaya untuk mengkontekstualisasi* tugas untuk AI – setidaknya, untuk mencegahnya “menebak” konteks yang salah dari ruang laten yang dilatihnya.

Mengambil Slack Dunia Nyata

Tantangan ini mendahului AI, tentu saja; banyak perusahaan sudah memerlukan staf untuk memelihara dokumentasi mengenai proses yang mereka kembangkan atau rafinasi (sebagian untuk onboarding yang lebih lancar, tetapi juga untuk menghindari karyawan mendapatkan keuntungan).

Namun, dalam praktek, seringkali hanya organisasi yang lebih besar dan lebih mapan yang memenuhi komitmen untuk menciptakan, memperbarui, dan memelihara dokumentasi. Sangat sering, sebaliknya, karyawan yang diminta untuk mengambil alih pekerjaan orang lain diberi tugas “detektif” yang memerlukan mereka untuk menguraikan timeline yang menyebabkan pekerjaan yang ditinggalkan yang sekarang telah diberikan kepada mereka.

Tentu saja, dokumentasi yang sempurna akan menyelamatkan hari, minggu, atau bahkan bulan pekerjaan – jika saja itu merupakan proposisi yang rasional secara keuangan.

Namun, di mana agen AI adalah operatif yang bersangkutan, mungkin ada ruang yang lebih besar untuk memecahkan masalah ini.

Menyerahkan

Beban “undokumentasi” ini dikuantifikasi dalam sebuah penelitian baru dari AS, yang menamakan masalah ini handoff debt.

Jika technical debt adalah sindrom di mana solusi teknis yang cepat dan murah hari ini menyebabkan solusi yang rapuh atau sulit dipelihara di masa depan, maka handoff debt mendefinisikan biaya rediscovery – penguraian kembali langkah-langkah seorang pekerja atau entitas yang tidak tersedia untuk memberikan saran (pemecatan yang tidak ramah, terlalu sibuk, meninggal, dll.) atau tidak dapat memberikan saran (misalnya, LLM yang telah lama menghapus konteks yang menyebabkan keadaan kerja saat ini).

Penelitian baru^† – sebuah kolaborasi antara peneliti independen dan afiliasi Universitas Negeri Georgia – menangani handoff debt sebagaimana diterapkan pada agen pengkodean yang ditugaskan untuk mengambil alih di mana sesi lain, orang, atau entitas meninggalkan pekerjaan dalam sebuah basis kode.

Salah satu tujuan dari penelitian ini adalah untuk menetapkan seberapa banyak dokumentasi yang diperlukan untuk mengurangi handoff debt, dan apa prosedur dan protokol yang mungkin direkomendasikan untuk diadopsi sebagai praktik standar di masa depan, untuk meminimalkan masalah ini.

Kekhawatiran Anggaran

Di dunia ideal, seseorang dapat menyetel logging ke verbose dan hanya memberikan log yang terkait dengan tugas yang belum selesai kepada agen neophyte (yang mengambil alih tugas).

Bagaimanapun, memarsing volume data seperti itu menjadi data yang berguna akan memakan waktu dan juga akan memakan token budget – serta membawa keterbatasan ruang penyimpanan ke dalam permainan.

Ini adalah masalah anggaran, karena menggunakan dump mentah sangat melelahkan, sedangkan menggunakan log yang dikurasi kurang membingungkan, tetapi memerlukan komitmen sumber daya sebelumnya.

Catatan yang tepat dan didedikasikan akan sangat efektif dalam mendapatkan “seniman pickup” untuk memulai, tetapi dengan biaya komitmen upaya yang lebih besar – upaya yang mungkin tidak pernah diperlukan, jika logika pekerjaan akhirnya terbukti self-evident, atau jika pekerjaan ditinggalkan, atau tidak pernah direvisi lagi.

Penulis dari penelitian baru, yang berjudul Handoff Debt: Biaya Rediscovery Ketika Agen Pengkodean Mengambil Alih Tugas yang Terputus, telah mempertimbangkan semua skenario ini, dan telah menyesuaikan model tugas yang ada untuk cara baru dalam mengukur dan menangani handoff debt. Meskipun penelitian ini menangani agen pengkodean secara khusus, mungkin saja menunjukkan rute yang berguna ke depan dalam konteks AI yang lebih luas, dan dalam logistik kebijakan dokumentasi.

Penulis menyatakan:

‘Handoff debt muncul ketika sebuah agen membuat kemajuan yang terlihat tetapi meninggalkan keadaan yang penerusnya tidak dapat dengan mudah melanjutkan, seperti suntingan yang tidak dijelaskan, file sampah, asumsi tersembunyi, atau bukti validasi yang hilang.

‘Sebuah metrik yang hanya berdasarkan pada resolusi akhir tidak dapat membedakan antara rediscovery yang mahal dan kelanjutan yang efisien.

‘Dua agen pendahulu mungkin meninggalkan repositori yang sama, tetapi penerusnya dapat menghadapi biaya kelanjutan yang sangat berbeda: satu mungkin dapat melanjutkan segera, sementara yang lain harus menghabiskan banyak interaksi alat untuk menguraikan kembali niat dari file sampah dan riwayat perintah yang tidak lengkap.’

Metode

Penulis mendefinisikan predecessor sebagai agen sebelumnya (yang memulai atau terakhir mengerjakan pekerjaan) dan successor sebagai agen saat ini (yang ditugaskan untuk mengambil alih pekerjaan).

Untuk mendukung benchmark yang dirancang untuk mengukur biaya transfer tugas pengembangan perangkat lunak yang belum selesai di antara agen, 75 tugas dari SWE-bench Verified diubah menjadi 181 handoff skenario, masing-masing mewakili titik di mana pekerjaan telah diinterupsi dan diserahkan kepada agen penerus. Tiga model penerus yang berbeda kemudian diuji melintasi 2.172 upaya pengambilalihan.

Model keluarga yang digunakan, dan bervariasi dalam pengujian handoff ini, adalah Qwen, Gemma, dan Devstral.

Penelitian ini mengeksaminasi empat tingkat informasi yang diwariskan: dalam pengaturan yang paling restriktif, penerus menerima hanya keadaan repositori (secara efektif, berjalan ke dalam “daerah bencana” yang tidak didokumentasikan). Pengaturan lainnya menyediakan konteks yang semakin rinci, dari jejak aktivitas dan riwayat perintah, hingga ringkasan kompak yang menjelaskan apa yang telah dicoba dan dipelajari sebelumnya:

Bukannya hanya mengevaluasi tugas yang diselesaikan, penelitian ini dirancang untuk mengukur biaya kelanjutan itu sendiri, dengan perhatian pada penggunaan alat, konsumsi token, dan jumlah upaya yang diperlukan untuk merekonstruksi alasan di balik pekerjaan sebelumnya.

Tiga handoff point detection definisi dan tiga handoff states didefinisikan untuk penelitian ini:

Data dan Pengujian

Untuk menciptakan skenario handoff yang realistis, benchmark penulis dibangun dari 75 tugas pengembangan perangkat lunak yang diambil dari SWE-Bench Verified, dengan penekanan pada masalah yang biasanya memakan waktu antara 15 menit dan 4 jam untuk diselesaikan.

Bukannya hanya mengevaluasi tugas yang diselesaikan, peneliti menangkap beberapa titik perantara selama pekerjaan, menciptakan situasi di mana satu agen AI harus mengambil alih dari yang lain:

Konstruksi benchmark pengambilalihan. Tujuh puluh lima tugas SWE-bench Verified diperluas menjadi 181 titik handoff yang meliputi tiga tahap pekerjaan, dilabeli sesuai dengan keadaan repositori pada waktu pengambilalihan, dan dievaluasi di bawah empat kondisi berbagi informasi, menghasilkan 2.172 total run pengambilalihan agen penerus. Sumber

Karena setiap tugas dapat menghasilkan beberapa titik handoff, dan setiap handoff diuji menggunakan empat bentuk informasi yang berbeda, benchmark tersebut berkembang pesat, dengan dataset akhir yang terdiri dari 181 tugas handoff yang berbeda, dan 724 evaluasi pengambilalihan untuk setiap model penerus, menghasilkan 2.172 run pengambilalihan di seluruh tiga sistem AI yang diuji.

Lingkungan agen pengkodean gaya OpenHands digunakan untuk pengujian, menampilkan tindakan terminal, pembekuan repositori pada titik handoff, penyuntingan file, dan validasi resmi dari benchmark SWE-Bench.

Dalam penelitian utama, semua titik handoff berasal dari run pendahulu berbasis Qwen, untuk menyediakan titik awal yang tetap untuk mengevaluasi perbedaan antara berbagai kombinasi agen dan skenario yang berbeda:

Pasangan pengambilalihan yang diuji adalah Qwen-ke-Qwen; Qwen-ke-Gemma; dan Qwen-ke-Devstral.

Raw trace menghasilkan pengurangan terbesar dalam upaya penerus, memotong peristiwa agen sebesar 57-59%, sementara Summary notes dan Structured notes mengurangi peristiwa sebesar 20-46%. Penggunaan token prompt juga menurun di seluruh tiga pendekatan, dengan pengurangan yang berkisar dari 42-63%:

Di bawah handoff Repository only, agen penerus harus menghabiskan interaksi tambahan untuk merekonstruksi niat pendahulu, bukti sebelumnya, dan upaya gagal. Raw trace, Summary notes, dan Structured notes memindahkan sebagian dari informasi tersebut secara langsung, mengurangi jumlah rediscovery yang diperlukan, meskipun dengan biaya prompt awal yang lebih besar.

Untuk menguji apakah keuntungan tersebut nyata, setiap handoff yang kaya konteks dipasangkan dengan handoff repository-only yang dimulai dari titik yang sama. Di seluruh pasangan model, handoff yang lebih kaya secara konsisten mengurangi pekerjaan yang diperlukan dari agen penerus.

Jejak acara penuh menghasilkan pengurangan terbesar, sementara catatan ringkas dan terstruktur juga memberikan penghematan yang substansial. Efek ini muncul di seluruh benchmark dan bukan didorong oleh beberapa kasus yang tidak biasa:

Untuk mengkonfirmasi bahwa efek ini tidak didorong oleh beberapa kasus yang tidak biasa, peneliti membandingkan setiap handoff dengan handoff repository-only yang dimulai dari titik yang sama. Pengurangan tersebut tetap konsisten di seluruh pasangan model, menunjukkan bahwa keuntungan tersebut mencerminkan pola yang berarti, bukan beberapa contoh yang tidak biasa.

Ambil…

Dalam singkat^†, penulis menemukan bahwa ketika satu AI menyerahkan tugas kepada yang lain, bahkan catatan sederhana membantu AI kedua untuk melanjutkan lebih efisien.

Catatan penuh tentang apa yang terjadi bekerja terbaik, tetapi setiap informasi handoff lebih baik daripada meninggalkan penerus untuk merekonstruksi semuanya dari kode saja; dan hasil di atas menunjukkan bahwa pendekatan log penuh memiliki biaya token yang lebih tinggi.

Kesimpulan

Meskipun makalah itu sendiri ditujukan secara ketat untuk peneliti sejawat, dengan daya tarik terbatas untuk pembaca kasual, penelitian baru ini masih menangani salah satu masalah paling menarik dan mendesak dalam kaitannya dengan keadaan seni saat ini dalam antarmuka dan protokol manusia>AI.

Seseorang akan berharap bahwa paradigma yang dikembangkan dan wawasan yang diperoleh dalam jenis penjelajahan ini mungkin pada akhirnya diperluas ke konteks AI yang lebih luas daripada hanya pengkodean agen.

Satu jalur penjelajahan tambahan yang mungkin dipertimbangkan untuk proyek di masa depan adalah untuk mengevaluasi tingkat dokumentasi apa yang mungkin dianggap minimum untuk proyek tertentu, berdasarkan karakteristik dan kasus penggunaannya. Namun, bahkan fungsionalitas ini, yang akan membantu untuk rasionalisasi pengeluaran waktu dan uang, sendiri memerlukan waktu dan uang; dan sehingga konundrum anggaran yang terlibat dalam skenario dokumentasi tetap sulit untuk dihindari.

* Secara pribadi, untuk sesi ChatGPT yang dibebani dengan lag dan konteks yang berlebihan, saya telah mengambil langkah untuk mengekspor (dengan beberapa kesulitan) PDF yang bersih dari obrolan dan menggunakan itu sebagai titik awal untuk sesi baru, yang menjadi ‘bagian 2’.

^† Sayangnya, ini bukanlah makalah yang paling dapat diakses yang saya baca tahun ini, dan karena alasan ini saya tidak dapat merekomendasikan pembaca untuk bekerja ke sumber asli, meskipun hasil yang dicerna tetap menarik.

Dipublikasikan pertama kali pada hari Rabu, 3 Juni 2026