Debat Claude “Nerfing” Bukan Tentang Claude, Melainkan Tentang Apa yang Terjadi Ketika Operasi Anda Berjalan pada Keputusan Orang Lain

Awal tahun ini, Stella Laurenzo, Direktur Senior AI di AMD, menerbitkan telemetri dari hampir 7.000 sesi Claude Code yang mendokumentasikan sesuatu yang telah dirasakan oleh insinyur tetapi kesulitan untuk mengartikulasikannya: antara Januari dan Maret, kedalaman alasan yang terlihat tampak menurun sebesar 73%, panggilan API per tugas membengkak delapan puluh kali lipat, dan model tersebut membaca lebih sedikit file sebelum membuat edit. Angka-angka tersebut menyebar dengan cepat. Interpretasi menyebar lebih cepat.

Anthropic membantah kerangka. Perusahaan tersebut mengatakan bahwa perubahan tersebut mencerminkan keputusan produk yang disengaja, termasuk mekanisme pemikiran adaptif baru dan peralihan ke upaya menengah sebagai default. Analis independen juga telah membalikkan sebagian metode. Debat tersebut masih berlangsung, dan orang-orang yang masuk akal tidak setuju tentang apa yang sebenarnya terjadi.

Tapi inilah bagian yang penting jika Anda menjalankan bisnis di atas sistem ini: apakah ini degradasi atau penyetelan yang disengaja tidak mengubah apa yang dialami oleh operator perusahaan. Mereka tidak bisa memprediksinya. Mereka tidak bisa mengendalikannya. Dan beberapa di antara mereka merasakannya dalam produksi sebelum mereka memahami apa yang terjadi. Itulah cerita yang sebenarnya, dan itu tidak ada hubungannya dengan Anthropic secara khusus.

Ini adalah masalah ketergantungan, bukan masalah model.

Apa yang kita deskripsikan memiliki nama: kerapuhan model. Ini adalah kondisi di mana operasi kritis sangat bergantung pada perilaku model tunggal, sehingga setiap perubahan pada lapisan model, apakah itu keputusan penyetelan, default baru, perubahan rute kapasitas, atau penghapusan sunyi, langsung mempengaruhi bisnis, tanpa buffer dan tanpa peringatan.

Ini bukan pola baru. GPT-4 mengalami versi ini pada 2023. Claude 3.5 mengalami satu pada 2024. Claude Opus saat ini mengalami satu. Ini akan terjadi lagi dengan model frontier berikutnya, dan yang berikutnya. Bukan karena vendor mana pun bertindak dengan itikad buruk, tetapi karena mengoptimalkan model frontier untuk biaya, latensi, dan skala pada volume global adalah apa yang harus dilakukan oleh vendor frontier. Insentif mereka dan insentif perusahaan yang menjalankan operasi produksi di atasnya terkait. Mereka tidak identik. Mereka tidak pernah akan identik.

Kami memulai Qurrent pada 2023 dan memiliki pengetahuan sejarah untuk mengetahui bagaimana siklus perangkat lunak perusahaan bermain: sebuah perusahaan berinvestasi pada AI. Demo berhasil. Pilot berhasil. Lalu itu diluncurkan, sesuatu bergeser pada lapisan model, dan tiba-tiba pelanggan memiliki masalah. Mereka adalah orang-orang yang memelihara alur kerja, mengejar regressi, menyerap gangguan. Itu tidak pernah masuk akal bagi saya sebagai model yang berkelanjutan untuk operasi perusahaan.

Versi perusahaan dari cerita ini adalah operasional, bukan teknis.

Bagi pengembang, situasi saat ini tidak nyaman. Anggaran token terbakar lebih cepat. Sesi coding macet. Benchmark mengecewakan. Itu adalah masalah nyata, tetapi itu adalah masalah yang dapat dipulihkan.

Bagi perusahaan yang menjalankan operasi keuangan, alur kerja kepatuhan, akun yang diterima dan dibayarkan, dan proses back-office yang kompleks, taruhannya berbeda. Alur kerja ini tidak bisa menyerap minggu yang buruk. Kesalahan menumpuk. Volume menumpuk. SLA adalah komitmen kepada pelanggan yang sebenarnya, bukan preferensi internal. Saat model mulai underperforming pada proses yang berisiko tinggi, kerusakan telah terakumulasi apakah atau tidak seseorang telah memperhatikannya.

Apa yang membuat ini lebih sulit adalah bahwa sebagian besar perusahaan yang mencoba untuk mendahului AI dengan membangun agen internal pada model tunggal sekarang menemukan bahwa fondasi itu tidak lengkap. Agen pertama adalah bagian yang mudah. Apa yang tidak dibangun adalah infrastruktur sekitarnya: kerangka evaluasi yang mendeteksi pergeseran perilaku sebelum mencapai pelanggan, logika failover yang mengalihkan pekerjaan secara otomatis ketika model mulai underperforming, dan tata kelola yang berkelanjutan yang dapat mengikuti lanskap yang berubah setiap kuartal. Tiga celah itu tidak tetap terkelola. Mereka tumbuh menjadi fungsi teknik yang permanen yang tidak ada yang anggarkan, dikerjakan oleh orang-orang yang pekerjaannya pada dasarnya adalah untuk mengikuti keputusan yang dibuat oleh vendor yang tidak memiliki pengaruh.

Apa yang sebenarnya terlihat seperti ketahanan dalam produksi.

Di Qurrent, kami membangun tenaga kerja digital untuk menjadi model-agnostik dari awal, bukan sebagai posisi pemasaran tetapi sebagai persyaratan arsitektur. Setiap tugas diarahkan ke model yang berperforma terbaik untuk tugas tersebut, dievaluasi terus-menerus. Ketika model yang lebih baik dikirim, pelanggan mendapatkannya secara otomatis. Ketika model saat ini mengalami regressi pada alur kerja tertentu, lapisan orkestrasi mengalihkan pekerjaan tersebut dalam beberapa detik, tanpa intervensi manusia dan tanpa ada yang terbangun di tengah malam karena thread Slack.

Di bawah itu, simulasi otomatis berjalan melawan alur kerja produksi sepanjang waktu, mengukur apakah output sesuai dengan perilaku yang diharapkan. Pergeseran dideteksi pada lapisan infrastruktur, sebelum tim operasi merasakannya dan jauh sebelum pelanggan melakukannya. Dan setiap keputusan yang dibuat oleh setiap pekerja digital dicatat dan dapat ditinjau, sebuah kotak kaca penuh, karena Anda tidak bisa mengatur apa yang tidak bisa dilihat.

Ini bukan fitur premium. Ini adalah harga masuk untuk menjalankan AI dalam produksi pada skala perusahaan. Sebagian besar perusahaan sedang belajar itu di tengah-tengah siklus berita, yang merupakan cara mahal untuk menemukannya.

Pertanyaan yang patut ditanyakan pada kuartal ini.

Jika model yang operasi Anda bergantung paling banyak memiliki minggu yang buruk pada kuartal berikutnya, berapa banyak alur kerja Anda yang akan merasakannya? Bagaimana Anda akan mengetahuinya? Dan seberapa cepat Anda bisa mengalihkan sekitarnya?

Jika jawaban untuk pertanyaan kedua adalah “kita akan mendengar dari pelanggan”, operasi tersebut tidak siap produksi. Itu adalah pilot yang berjalan pada skala, dan perbedaan itu lebih penting daripada yang dipahami oleh kebanyakan pemimpin sampai itu tidak.

Debat saat ini, dengan cara yang tidak langsung, berguna. Setiap CFO dan COO yang menonton ini terjadi hanya mendapatkan pratinjau gratis tentang apa yang terlihat seperti kerapuhan model di bawah beban operasional yang sebenarnya, tanpa membayarnya sendiri. Respon yang tepat bukanlah untuk beralih model. Itu adalah untuk membangun operasi yang tidak bergantung pada satu model.

Teknologi akan terus berubah. Itu adalah satu-satunya kepastian di pasar ini. Perusahaan yang keluar dari dekade ini dengan kekuatan terbesar tidak akan menjadi mereka yang memilih model yang tepat. Mereka akan menjadi mereka yang operasinya tidak pernah harus peduli.