Perjuangan AI untuk Menghormati Buku Pedoman Karyawan

Sebuah benchmark baru menemukan bahwa agen AI di tempat kerja mengabaikan aturan perusahaan, melakukan tindakan yang dilarang seperti pemutusan hubungan kerja yang tidak sah – lalu salah melaporkan bahwa mereka telah mematuhinya.

Sebuah penelitian baru dan menarik telah menempatkan model LLM terkemuka dalam posisi untuk mengikuti instruksi di perusahaan simulasi, menghormati semua ketentuan dari buku pedoman karyawan yang disediakan (dibuat oleh ahli domain manusia), serta bernegosiasi dengan arahan yang bertentangan atau membingungkan dari bawahan dan atasan, dan melakukan tugas berdasarkan PDF, posting Jira, dan platform serta alat lain yang familiar dari skenario kantor manusia.

Jika Anda pernah bekerja di kantor (atau setidaknya melihat Office Space), Anda akan mengenali sinyal yang bertentangan dan rasio sinyal-ke-bisingan yang penulis karya baru ini lemparkan kepada model bahasa:

Badai variabel yang banyak pekerja kantor harus hadapi sehari-hari, disuling menjadi lingkungan virtual untuk menguji model agen frontier. Sumber

Tantangan utama yang dihadapi bahkan sistem AI terdepan di sini adalah kebutuhan untuk mempertahankan manual hubungan karyawan yang disediakan sebagai filter untuk semua perintah selanjutnya. Jika Anda pernah berjuang untuk mendapatkan ChatGPT atau Claude untuk mengingat instruksi yang Anda berikan di awal sesi, Anda akan tahu bahwa jendela konteks AI sering membuatnya lupa prompt sebelumnya dan kembali, secara terus-menerus, ke perilaku defaultnya.

Inilah mengapa, dalam tes, Claude Fable 5, GPT-5.5, dan model terkemuka lainnya memutuskan hubungan kerja setelah menerima perintah dari seorang eksekutif yang tidak memiliki wewenang; menyetujui faktur tanpa tanda tangan manajer yang diperlukan; menerima hasil laboratorium yang telah kedaluwarsa yang kebijakan perusahaan secara eksplisit menolak; dan kemudian melaporkan bahwa mereka telah mengikuti buku pedoman dengan setia – di antara banyak pelanggaran kebijakan perusahaan lainnya.

Para penulis karya baru ini menyatakan:

‘Kegagalan mengikuti pola yang konsisten: agen membiarkan permintaan yang masuk di lingkungan mengesampingkan kebijakan yang berlaku, melakukan pemeriksaan yang diperlukan dan kemudian bertindak melawan hasilnya, kehilangan detail aturan selama horizon yang panjang, dan melaporkan kepatuhan yang tidak mereka capai.’

Analisis kegagalan berisi beberapa contoh yang menyenangkan: dalam satu tugas keuangan, Claude Opus 4.8 secara benar menemukan bahwa biaya sebesar $7.500 telah disetujui oleh analis junior yang sama yang mengajukannya, melanggar kebijakan perusahaan.

Kemudian ia beralasan dirinya sendiri untuk percaya bahwa analis sebenarnya adalah Pengendali Keuangan dan menyetujui pembayaran tersebut juga:

‘Setelah mempromosikan dirinya sendiri menjadi Pengendali dalam rantai pemikirannya, model tersebut membersihkan item tersebut, kemudian mengirim pesan kepada Pengendali yang sebenarnya untuk mengkonfirmasi bahwa setiap item di atas $5K telah disetujui secara dokumentasi.

‘Kegagalan ini bukanlah kemampuan yang hilang; setiap fakta yang diperlukan untuk keputusan yang benar telah diperoleh oleh model itu sendiri.’

Bagaimana Claude Opus 4.8 gagal untuk mendamaikan $7.500.

Di tempat lain, Gemini 3.5 Flash mengajukan dokumen asuransi menggunakan hasil laboratorium yang telah kedaluwarsa tanpa membuka laporan lab tersebut, meskipun tanggal pengumpulan muncul dalam nama file itu sendiri:

‘Gemini 3.5 Flash mengajukan otorisasi sebelumnya kepada perusahaan asuransi tanpa satu panggilan baca terhadap PDF lab, kemudian melaporkan bahwa telah memproses kasus “sesuai dengan Prosedur Operasi Standar”.’

Di seluruh benchmark, para penulis juga menemukan bahwa banyak model dengan percaya diri mengklaim bahwa mereka telah mengikuti setiap aturan perusahaan, sambil mengutip bagian-bagian buku pedoman yang baru saja mereka langgar.

Alasan tambahan sering gagal membantu; misalnya, GPT-5.5 menunjukkan tidak ada perbaikan dengan upaya alasan yang meningkat, sementara beberapa model sebenarnya berkinerja lebih buruk, tampaknya mengalasan diri mereka sendiri menjauh dari keputusan yang benar.

Di hasil akhir, Claude Fable 5 mencapai skor lulus ketat tertinggi sebesar 36,2%; GPT-5.6 Sol berada di peringkat kedua sebesar 23,5%; dan GPT-5.5 dan Claude Opus 4.8 masing-masing mencetak 21,5–21,9%.

Sebagian besar model yang dievaluasi lainnya mencetak skor di bawah 16%, dan sebagian besar konfigurasi frontier mencetak skor di bawah 25% berdasarkan kriteria penilaian yang ketat dari benchmark:

Agen AI terbaik menyelesaikan sedikit lebih dari sepertiga tugas benchmark yang diatur oleh kebijakan, sementara sebagian besar model terkemuka gagal lebih dari tiga perempat di bawah evaluasi yang ketat. Sumber

Sebagai upaya perbaikan, para penulis berpendapat bahwa kebijakan perusahaan yang penting harus ditegakkan di luar AI menggunakan penjaga alat deterministik (yaitu, pemeriksaan yang dikodekan secara keras yang memblokir tindakan yang dilarang), bukan hanya mengandalkan memori konteks panjang saja.

Mereka juga mengusulkan menggunakan HANDBOOK.md itu sendiri sebagai benchmark standar untuk mengukur dan melacak perbaikan dalam kepatuhan kebijakan konteks panjang, karena model agenik masa depan dikembangkan.

Makalah baru ini berjudul HANDBOOK.md: Benchmark untuk Mengikuti Instruksi Agensi Konteks Panjang, dan berasal dari tujuh penulis di surge.ai. Makalah ini disertai dengan repository GitHub yang berisi file Docker dan persyaratan lain untuk mereproduksi tes.

Metode

Enam puluh lima skenario kantor simulasi dibuat untuk benchmark HANDBOOK.md, mencakup keuangan; SDM; asuransi; logistik; dan penagihan medis; dan setiap skenario meletakkan model di dalam lingkungan perusahaan yang dikontainerisasi yang berisi file, email, percakapan Slack, kalender, papan Jira, dan alat kerja lain yang familiar.

Setiap tugas diatur oleh buku pedoman antara 20 dan 124 halaman, disediakan sebagai dokumen PDF, Word, atau HTML, bukan dimasukkan ke dalam prompt, sehingga model harus menemukan, membaca, dan menerapkan aturan yang relevan sepanjang tugas.

Sepuluh buku pedoman dasar ditulis oleh ahli, disesuaikan dari kebijakan industri nyata, setelah itu setiap tugas menerima versi yang dimodifikasi dengan rantai persetujuan, ambang batas, dan aturan prosedural yang berbeda, untuk mencegah pemoriahan:

‘Ahli domain menulis sepuluh buku pedoman dasar dengan menyesuaikan kebijakan nyata dari industri mereka. Setiap buku pedoman adalah dokumen operasional panjang dan multi-bagian, bukan daftar aturan.

‘Sebuah buku pedoman SDM yang representatif berisi 19 bagian bernomor: ikhtisar, definisi, tim SDM dan kontak, peta saluran Slack, file referensi dan sistem, taksonomi permintaan, aturan triase dan pengalihan, matriks prioritas dengan SLA, prosedur untuk penggunaan, penghapusan, cuti, kinerja, dan perekrutan, jalur eskalasi, aturan perawatan email, dan perpustakaan template dan format default yang diperlukan’

Keberhasilan diukur dengan 824 pemeriksaan verifikasi Python berbasis deterministik, yang mencakup baik aksi yang diperlukan maupun aksi yang dilarang – memungkinkan benchmark untuk mendeteksi tidak hanya apakah tugas telah selesai, tetapi juga apakah kebijakan perusahaan telah dilanggar sepanjang jalan.

Tiga puluh konfigurasi model dari 11 penyedia dievaluasi; dan selama tes, setiap tugas diulangi empat kali dalam kondisi yang identik.

Tidak seperti benchmark konvensional, HANDBOOK.md mengevaluasi baik apakah tindakan yang diperlukan telah selesai, dan apakah tindakan yang dilarang telah dihindari, memungkinkan agen untuk gagal, meskipun menyelesaikan tugas yang diminta

Lingkungan dan Alat

Setiap lingkungan kerja simulasi dirancang untuk berjalan di dalam lingkungan Docker yang standar, memungkinkan setiap model mengakses set alat yang sama, sambil mencegah perbedaan dalam ketersediaan perangkat lunak dari mempengaruhi hasil. Benchmark ini menyajikan agen dengan ruang kerja kantor yang realistis, yang terdiri dari akses file, serta layanan perusahaan yang disebutkan sebelumnya (yaitu, Gmail, Slack, dll.):

Representasi kasar dari lingkungan kantor yang model harus operasikan.

Lingkungan ini juga mempertahankan setiap tindakan yang dilakukan oleh agen, memungkinkan sistem evaluasi deterministik benchmark untuk menilai urutan tindakan lengkap yang mengarah ke hasil akhir.

Metrik

Kinerja diukur terutama menggunakan lulus ketat@1, di mana tugas dihitung sebagai sukses hanya jika setiap kriteria evaluasi terpenuhi. Setiap persyaratan yang terlewat atau pelanggaran kebijakan akan mengakibatkan kegagalan, mencerminkan pengaturan perusahaan, di mana satu tindakan yang salah dapat membatalkan alur kerja yang kompeten.

Sebuah metrik yang lebih memaafkan, lulus@1 (N−1), juga digunakan, di mana satu kriteria gagal diperbolehkan per tugas, sehingga hampir-misses dapat dibedakan dari kegagalan total.

Untuk analisis tambahan, skor rata-rata per-kriteria setiap model dicatat, meskipun ini tidak digunakan dalam peringkat utama benchmark.

Pendekatan Umum

Sepuluh buku pedoman dasar ditulis oleh ahli, disesuaikan dari kebijakan perusahaan nyata, setelah itu setiap buku pedoman dimodifikasi menjadi beberapa versi tugas-spesifik dengan rantai persetujuan, ambang batas, dan prosedur yang berbeda. Lingkungan kantor yang realistis kemudian dibangun di sekitar setiap buku pedoman, yang terdiri dari email, kalender, percakapan Slack, spreadsheet, dan artefak kerja lainnya.

Setiap tugas diperhalus melalui pengujian berulang sampai kriteria evaluasi secara andal membedakan kegagalan model yang sebenarnya dari kelemahan benchmark itu sendiri. Kriteria yang menolak perilaku yang benar, atau mengizinkan solusi yang salah, direvisi sebelum rilis.

Hasil Uji

Bahkan model terkuat gagal sebagian besar tugas di bawah sistem penilaian yang ketat, dengan kinerja yang tersebar di seluruh rentang, bukan mengelompok di atas:

Papan peringkat awal yang menempatkan semua 30 konfigurasi model yang dievaluasi berdasarkan skor lulus ketat@1 mereka pada benchmark HANDBOOK.md. Skor mewakili persentase tugas kerja 65 yang selesai tanpa satu kriteria evaluasi gagal dalam empat percobaan per tugas. Skor yang terikat berbagi peringkat yang sama.

Perbedaan antara pengaturan alasan juga ditemukan bervariasi secara substansial menurut model, dengan alasan tambahan kadang-kadang meningkatkan kinerja; kadang-kadang tidak membuat perbedaan; dan kadang-kadang mengurangi kinerja:

‘Upaya alasan membantu tidak merata. Meningkatkan upaya memperbaiki Opus 4.8 (+3.0), Sonnet 4.6 (+2.7), dan Fable 5 (+2.0), meninggalkan GPT-5.5 tidak berubah (21,5% pada kedua pengaturan), dan merugikan GLM 5.2 (−2.7).

‘Upaya alasan tambahan tampaknya mengubah menjadi kepatuhan aturan hanya ketika kegagalan yang mendasarinya adalah inferensi yang terlewatkan bukan [baca].’

Claude Fable 5 mencapai skor tertinggi sebesar 36,2%, diikuti oleh Claude Fable 5 sebesar 34,2%, dan GPT-5.6 Sol (maks) sebesar 23,5%. GPT-5.5 dan Claude Opus 4.8 membentuk tingkat berikutnya, sekitar 20%, sementara sebagian besar model frontier lainnya mencetak skor di bawah 16%. Model dengan peringkat terendah menyelesaikan kurang dari 2% tugas.

Kajian kegagalan yang rinci dalam makalah ini menunjukkan bahwa masalahnya sering bukanlah kurangnya informasi, karena aturan buku pedoman yang relevan dan bukti pendukung telah sering kali sudah diperoleh – namun alasan tambahan kadang-kadang menyebabkan model meninggalkan kesimpulan yang benar demi satu yang masuk akal tetapi melanggar kebijakan.

Makalah ini juga mencatat sejauh mana kebohongan diri yang membedakan banyak dari forays LLM:

‘Hampir setiap jalur kegagalan berakhir dengan pernyataan yang percaya diri bahwa buku pedoman telah diikuti, sering mengutip bagian-bagian yang dilanggar. Laporan-laporan tersebut terstruktur dengan baik dan salah […]

‘[…] Di seluruh benchmark, laporan agen adalah artefak yang paling tidak dapat diandalkan dalam jalur, yang penting untuk setiap penerapan yang menyajikan ringkasan agen kepada manusia sebagai bukti apa yang telah dilakukan.’

Dalam penutup, para penulis menyimpulkan bahwa alasan konteks panjang saja tidak mungkin membuat AI perusahaan mengikuti kebijakan perusahaan dengan andal. Sebagai gantinya, kepatuhan kebijakan harus semakin ditegakkan melalui kontrol eksternal deterministik, selain guardrail alur kerja.

Kesimpulan

Opini Salah satu pertimbangan menarik adalah seberapa jauh lingkungan seperti yang dibuat untuk eksperimen akan dibayangkan kembali untuk memfasilitasi AI, bukan memaksa LLM untuk menafsirkan bentuk dan format yang sama yang mendefinisikan lingkungan kantor manusia. Misalnya, kemarin, untuk pertama kalinya, seorang kontak bisnis mengirimkan saya sebuah ikhtisar .md yang dirancang untuk dijelajahi oleh LLM, bukan untuk dibaca secara linier.

Dan saya juga semakin banyak mengadopsi dan menyesuaikan diri dengan batasan visual dan teks selama percakapan LLM, serta memilih dan menerima format file yang tidak biasa saya pilih, karena mereka mengakomodasi alur kerja LLM dengan lebih baik.

Oleh karena itu, sementara menonton model frontier terjatuh di dunia David Brent cukup menyenangkan, satu bertanya-tanya apakah ini adalah skenario paling mungkin untuk ‘pekerja kantor agen’.

Dipublikasikan pertama kali pada hari Rabu, 29 Juli 2026. Diperbarui pukul 18:41 EET, memperbaiki tautan yang rusak.