Sudut Anderson
Penurunan dari Claude Fable Hampir Tidak Memengaruhi Produktivitas Pengembang Selama Masa Larangan

Poin utamaAkses ke Claude Fable 5 dengan skor lebih tinggi hanya meningkatkan tingkat merge…
Lihat selengkapnya
- Akses ke Claude Fable 5 dengan skor lebih tinggi hanya meningkatkan tingkat merge sebesar 1,4 poin persentase.
- Lima peningkatan Claude tidak menghasilkan keuntungan signifikan dalam pull request yang di-merge atau perubahan mingguan yang diselesaikan.
- Skor benchmark tidak berarti banyak ketika tugas yang diberikan pengembang sudah berada dalam kemampuan model yang lebih lama.
Sangat sulit menilai secara akurat apakah model AI baru telah meningkatkan kinerjanya dibandingkan model sebelumnya—atau bahkan mendefinisikan apa yang dimaksud dengan peningkatan produktivitas—karena rilis baru dapat menunjukkan peningkatan di satu bidang, tetapi penurunan kinerja di bidang lain, sama seperti yang bisa terjadi pada perangkat lunak dan kerangka kerja konvensional. Terkadang, hal ini merupakan kompromi yang disengaja dan dipilih manusia; terkadang, berupa “dampak ikutannya”.
Anggapan itu tentu mengandaikan adanya “persaingan yang jujur”. Ada banyak kasus ketika pengembang mengakali perangkat lunak agar bekerja lebih baik dalam pengujian tolok ukur, terkadang membuatnya mengenali saat sedang diuji dan untuk sementara mengubah cara kerjanya demi memperoleh skor lebih tinggi. Model AI juga dapat mengenali saat sedang dievaluasi dan berperilaku berbeda, bahkan tanpa sengaja dirancang untuk melakukannya.
Untuk mencari metrik yang lebih bermakna dan jujur, pengembang kerap menetapkan tolok ukur informal sendiri, seperti tantangan Simon Wilson: burung pelikan mengendarai sepeda yang bersifat kualitatif. Dalam tantangan ini, Model Bahasa dan Visi (VLM) diminta menciptakan sesuatu yang tidak ada dalam data pelatihan*, dan sering kali hasilnya buruk—meski ada sedikit peningkatan sepanjang 2026:

Metrik Simon Wilson meminta VLM membayangkan seekor burung pelikan mengendarai sepeda. Belakangan ini, kemampuan AI dalam hal ini jauh lebih baik dibandingkan upaya-upaya menggelikan sekitar 18 bulan lalu. Namun, ada yang berpendapat bahwa peningkatan ini mungkin terjadi karena tantangan tersebut kini telah tertanam dalam data pelatihan. Sumber
Namun, tolok ukur hanya dapat mengukur keterampilan tertentu yang memang dirancang untuk diuji. Bahkan ketika hasilnya dapat diandalkan, belum jelas seberapa besar keterampilan tersebut berarti dalam penggunaan sehari-hari, atau apakah skor yang lebih tinggi akan menghasilkan lebih banyak pekerjaan yang diselesaikan.
Untuk model pemrograman, hal ini dapat diteliti dengan mengamati perubahan hasil kerja pengembang saat mereka beralih dari satu model ke model lain.
Bekerja [the Same] dengan Lebih Sedikit
Pada Juni tahun ini, larangan Gedung Putih selama 19 hari terhadap penggunaan Claude Fable memberi para peneliti lingkungan pengujian yang sangat jelas dan jarang ditemukan. Saat itu, para pengembang yang mengirimkan permintaan penggabungan (PR) ke GitHub beralih ke versi Claude yang kemampuannya lebih rendah. Karena semua versi Claude ikut menandatangani PR, dan informasi tersebut dapat ditelusuri melalui GitHub API, datanya tersedia secara bebas.
Kesempatan ini dimanfaatkan dalam studi baru dari Harvard University, yang melacak pekerjaan 297 pengguna Fable 5 sebelum, selama, dan setelah larangan tersebut, lalu membandingkannya dengan pekerjaan 8.908 pengembang yang terus menggunakan model lama, Opus 4.8.
Sebelumnya, Fable 5 memperoleh skor hampir 11 poin lebih tinggi daripada Opus 4.8 pada tolok ukur pemrograman SWE-Bench Pro. Namun, dalam studi Harvard, akses ke Fable 5 dikaitkan dengan kenaikan hanya 1,4 poin persentase pada proporsi perubahan kode yang diajukan dan diterima ke dalam proyek GitHub dalam waktu tujuh hari. Makalah tersebut menyebut perbedaan itu secara praktis hanya sebesar pembulatan; analisis yang lebih luas juga tidak menemukan peningkatan produktivitas yang signifikan dari beralih ke model AI baru lainnya:
“Hasil menunjukkan bahwa akses ke Fable 5 hanya mengubah tingkat penggabungan sebesar 1,4 poin persentase, dan perubahan itu tidak signifikan secara statistik [significant]. Kami juga menganalisis lima dari delapan peningkatan model pada 2026 dan mendapati bahwa tingkat penggabungan tidak naik setelah peningkatan tersebut [either].
“Demikian pula, jumlah permintaan penggabungan yang berhasil digabungkan oleh para pengembang setiap minggu tidak bertambah. Hasil ini menunjukkan bahwa peningkatan pada tolok ukur pemrograman saat ini tidak benar-benar menghasilkan lebih banyak pekerjaan yang tuntas.”
Dalam lima peningkatan model pada 2026, yang melibatkan 1.208 pengembang dan lebih dari 15.000 usulan perubahan kode, tidak ditemukan peningkatan yang signifikan secara statistik pada tingkat penggabungan kode yang diajukan maupun jumlah perubahan yang berhasil diselesaikan setiap minggu.
Meski makalah tersebut mengakui bahwa penggabungan di GitHub bukan ukuran produktivitas yang sempurna, larangan itu memberikan kesempatan yang sangat langka untuk menilai dampak peralihan model dalam kondisi kerja nyata. Penilaian ini dilakukan dalam konteks sektor yang menarik perhatian besar di seluruh dunia, tetapi beroperasi dengan tingkat kerahasiaan perusahaan setinggi mungkin.
Mengakui sulitnya menetapkan kriteria empiris dalam kasus semacam ini, penelitian baru tersebut† menyatakan:
“Orang yang pertama kali menggunakan model baru mungkin lebih berpengalaman. Karena itu, saat membandingkan produktivitas antar-pengembang, kita tidak dapat mengetahui apakah perbedaannya berasal dari model atau dari orang yang menggunakannya. Bahkan jika kita mengamati orang yang sama, kita tidak tahu apakah mereka memberikan tugas yang sama kepada model yang berbeda.
‘Sebagai contoh, sebagian orang mungkin menggunakan Fable 5 untuk tugas-tugas tersulit, lalu beralih ke model dengan kemampuan lebih rendah untuk tugas yang lebih mudah. Jika tugas yang lebih sulit diberikan kepada model terkuat, model itu mungkin tampak kurang produktif menurut hampir semua ukuran yang kita pilih, karena tugas yang lebih sulit membutuhkan waktu lebih lama dan lebih kecil kemungkinannya untuk digabungkan.’
Makalah tersebut juga menyatakan bahwa penelitian sebelumnya bias karena sebagian besar perubahan kode berasal dari sejumlah kecil proyek, yang masing-masing memiliki aturan sendiri untuk menerima kontribusi. Perbedaan ini menyulitkan penentuan apakah peningkatan produktivitas benar-benar disebabkan oleh peralihan ke model yang lebih baru.
Metode
Untuk eksperimen utama††, permintaan tarik GitHub dari 297 pengembang yang diidentifikasi dalam penelitian sebagai pengguna Fable 5 dibagi ke dalam empat periode: sebelum model tersebut dirilis pada 9 Juni; selama tiga hari model itu tersedia; sepanjang masa penangguhan selama 19 hari; dan setelah akses dipulihkan pada 1 Juli.
Tingkat penggabungan mereka dibandingkan dengan tingkat penggabungan 8.908 pengembang yang diidentifikasi sebagai pengguna model Opus 4.8 yang lebih lama. Dengan demikian, perubahan yang terkait dengan penangguhan dapat dibedakan dari fluktuasi aktivitas GitHub yang lebih luas.
Perbandingan ini mengasumsikan bahwa, tanpa larangan tersebut, kedua kelompok akan mengalami perubahan tingkat penggabungan yang serupa. Perubahan tingkat penggabungan dibandingkan antara kedua kelompok, sementara perbedaan antar-pengembang dan fluktuasi dari hari ke hari diperhitungkan dalam analisis statistik:

Linimasa peningkatan model Claude dan penangguhan Fable 5. Panel atas menunjukkan delapan peningkatan Opus dan Sonnet, dengan lingkaran berisi menandai lima peningkatan yang diteliti dalam studi yang lebih luas. Panel bawah menunjukkan empat periode yang digunakan untuk menilai dampak masa penangguhan terhadap tingkat penggabungan PR, dengan masa larangan sebagai periode acuan. Garis ungu menunjukkan kapan Fable 5 tersedia atau ditangguhkan; arsiran abu-abu menandai masa larangan; dan bagian berarsir garis-garis menandai hari-hari yang dikecualikan tepat setelah akses ditangguhkan atau dipulihkan. Sumber
Untuk mengumpulkan data, PR publik di GitHub yang dibuat dengan Claude Code diidentifikasi melalui GitHub Search API, menggunakan pemberitahuan ‘Generated with Claude Code’ yang otomatis disertakan dalam deskripsinya. Jika nama model tertentu juga disalin dari riwayat commit kode ke dalam deskripsi PR, versi Claude yang digunakan dapat diketahui.
PR yang diajukan di sekitar masa penangguhan Fable 5 dan peningkatan Claude berikutnya dikumpulkan antara November 2025 dan Oktober 2026. Setidaknya empat minggu diberikan agar pengajuan terbaru dapat digabungkan.
Sebanyak 297 pengembang yang menggunakan Fable 5 selama masa ketersediaannya yang singkat dipilih sebagai kelompok utama penelitian, sedangkan 8.908 pengembang yang menggunakan Opus 4.8 dan tidak tercatat pernah menggunakan Fable 5 menjadi kelompok kontrol.
Ukuran produktivitas utama adalah proporsi perubahan kode yang diajukan dan diterima ke dalam proyek GitHub dalam waktu tujuh hari, sehingga tingkat pengajuan yang berhasil dapat dibandingkan pada periode sebelum, selama, dan setelah penangguhan. Pemeriksaan tambahan mencakup PR yang digabungkan dalam waktu satu jam; PR yang ditutup tanpa digabungkan; jumlah komentar yang diterima; perubahan yang kemudian dibatalkan; serta kegagalan dalam pemeriksaan otomatis GitHub.
Pengujian
Hilangnya akses ke Fable 5 dan pemulihannya kemudian hanya berdampak kecil yang dapat diukur terhadap produktivitas pengembang. Akses ke model yang lebih baru berkaitan dengan kenaikan hanya 1,4 poin persentase pada proporsi PR yang digabungkan dalam waktu tujuh hari; perbedaan ini dinilai ‘tidak signifikan secara statistik’:

Perbandingan penggunaan Fable 5 dan tingkat penggabungan PR sebelum, selama, dan setelah larangan. Kiri: persentase PR yang dibuat menggunakan Fable 5. Kanan: perubahan tingkat penggabungan dalam tujuh hari dibandingkan dengan 22–28 Juni, dengan titik menunjukkan estimasi dan garis horizontal menunjukkan interval kepercayaan 95%. Baris yang diarsir menandai periode ketika Fable 5 tersedia. Meskipun penggunaan model berubah secara signifikan, tingkat penggabungan hanya sedikit berubah.
Selain itu, dari lima peningkatan model Claude yang melibatkan 1.208 pengembang dan lebih dari 15.000 pengajuan kode, tidak ditemukan peningkatan proporsi kode yang diterima ke dalam proyek GitHub. Tingkatnya justru sedikit turun, dengan estimasi penurunan sebesar 0,9 poin persentase.
Para pengembang yang menggunakan model yang lebih baru juga diketahui hanya menyelesaikan 2,4% lebih banyak kiriman yang diterima per minggu—selisih yang terlalu kecil untuk memastikan adanya peningkatan yang dapat diandalkan. Bahkan ketika skor tolok ukur naik antara 5 dan 18 poin, tidak ditemukan peningkatan produktivitas yang signifikan.
Model-model yang lebih baru juga diketahui tidak menunjukkan kinerja yang lebih baik dalam pemeriksaan kode otomatis GitHub, dengan tingkat kegagalan yang pada dasarnya tetap sama.
Makalah tersebut menyimpulkan:
‘Kami berhipotesis bahwa alasan utama peningkatan Fable 5 pada tolok ukur tidak berdampak pada produktivitas kerja nyata adalah karena tugas yang diberikan pengembang kepada agen sudah dapat dilakukan oleh model yang lebih lama.’
Makalah tersebut melanjutkan:
‘Temuan kami menambahkan bukti dari pekerjaan nyata pada peringatan yang telah disampaikan penelitian sebelumnya: skor tolok ukur tidak banyak berarti bagi orang yang memilih model, kecuali ada bukti bahwa skor itu mengukur pekerjaan yang digunakan untuk [describe].
‘Jika regulator dan pembeli menilai seberapa kuat suatu model berdasarkan [score] tolok ukurnya, perbedaan yang mereka jadikan acuan kemungkinan besar tidak akan terlihat dalam produktivitas pengguna.’
Kesimpulan
Metrik yang konsisten dari tahun ke tahun telah lama menjadi prasyarat bagi aspek bisnis sistem industri; tetapi metrik semacam itu sangat sulit direplikasi secara nyata dan akurat di bidang AI. Salah satu penyebabnya adalah cepatnya ‘data uji’ yang menentukan suatu tolok ukur masuk ke dalam data pelatihan model berikutnya sehingga tidak lagi berguna untuk keperluan pengujian. Hal ini saja sudah cukup untuk merusak pola tolok ukur perusahaan dan pengujian ilmiah yang konsisten, yang mengandalkan upaya peneliti untuk mendobrak metrik yang sebelumnya telah ditetapkan, tetapi kini mungkin tidak lagi bermakna.
Memang, selama sepuluh tahun terakhir, sungguh menarik menyaksikan banyaknya makalah penelitian Visi Komputer yang masih berpegang pada standar yang sudah lama usang seperti ImageNet, semata-mata karena asal-usulnya sudah begitu lama.
Hasil makalah ini menggambarkan para pengembang dengan cukup baik, sebagai pendukung sistem apa pun yang tersedia dan beroperasi, yang mampu beradaptasi dan bersikap fleksibel. Fakta bahwa mereka bekerja dengan kecepatan yang kurang lebih sama, baik menggunakan AI terbaru maupun sebelumnya, menunjukkan bahwa mereka mengoptimalkan pekerjaan sesuai durasi dan tenggat waktu, apa pun alat yang tersedia.
* Seperti yang ditunjukkan oleh seorang komentator Hacker News baru-baru ini, hal ini mungkin tidak lagi benar karena data ‘Pelican on Bicycle’ kini sudah masuk ke dalam data pelatihan, sehingga pengujiannya tidak lagi valid.
† Berjudul ‘Model Pengodean dengan Skor Lebih Tinggi Tidak Menyelesaikan Lebih Banyak Pekerjaan’.
††Dalam penelitian tersebut diajukan dua pertanyaan lain, tetapi menurut saya keduanya tidak terlalu berkaitan dengan topik ini ataupun sebanding pentingnya dengan pertanyaan utama, sehingga tidak saya bahas di sini. Silakan merujuk ke PDF sumber untuk informasi lebih lanjut.
Pertama kali diterbitkan pada Rabu, 18 November 2026












