AI Belum Siap untuk Pekerjaan Nyata: Mengapa Model Gagal pada Tugas Kompleks

Investor dalam gelembung AI meminta para profesional berpakaian putih menyerahkan masalah paling sulit mereka dan menjanjikan kepada pekerja bahwa mereka akan mendapatkan kembali sore mereka jika mereka menyerahkan sedikit lebih banyak data mereka. Analisis kompleks, keputusan penilaian, dan alur kerja yang memakan bertahun‑tahun untuk dikembangkan diserap oleh sebuah model, yang konon membebaskan manusia untuk hal yang lebih baik. Inilah narasi dominan di dunia korporat Amerika saat ini, dan itu adalah sebuah perangkap. 

Mitos Kapabilitas: Mengapa Model Gagal pada Tugas Kompleks

Sebuah studi baru dari UC Berkeley menguji agen AI terkemuka terhadap tugas profesional dunia nyata di 55 industri, mulai dari perawatan kesehatan hingga keuangan hingga hukum. Kinerja keseluruhan berada di bawah 25 persen. Kemudian peneliti mengisolasi tugas tersulit di setiap bidang—jenis pekerjaan yang membedakan profesional senior dari junior—dan setiap model gagal. Skornya tidak hanya rendah. Mereka berada pada nol. 

Anda mungkin berpikir bahwa hasil seperti itu akan mengubah narasi dengan sendirinya, namun tidak terjadi. Di seluruh industri, investor AI terlalu bergantung pada meyakinkan para profesional bahwa sebagian besar model AI saat ini lebih maju daripada kenyataannya. Namun pertanyaan yang paling menarik bukanlah apakah AI dapat melakukan bagian tersulit dari pekerjaan saat ini, karena kami, dan semua yang menjual AI, sudah mengetahui jawabannya. 

Jadi, ini menimbulkan pertanyaan lain. Apa yang terjadi pada penilaian seorang profesional muda ketika mereka menerima pertukaran data ini, sebelum penalaran mereka sendiri sepenuhnya terbentuk? 

Temuan Minnesota: Bagaimana AI Meratakan Keterampilan ke Tengah

Sebuah studi empiris baru studi dari Fakultas Hukum Universitas Minnesota memberikan jawaban nyata, dengan menggunakan hukum sebagai kasus uji. Peneliti menguji sekitar seratus mahasiswa hukum tingkat atas melalui rangkaian tugas realistis: menyintesis hukum dari materi sumber mentah, menjawab pertanyaan tertutup untuk menguji apa yang mereka serap, menerapkan hukum tersebut pada pola fakta, dan kemudian merevisi pekerjaan mereka sendiri. Satu kelompok hanya memiliki akses AI pada langkah pertama dan terakhir. Kelompok lainnya tidak memiliki AI sampai akhir.

Mahasiswa yang menggunakan AI untuk membuat draf pertama menghasilkan karya yang lebih kuat, dan melakukannya lebih cepat, yang tidak sepenuhnya luar biasa. Namun yang luar biasa adalah apa yang terjadi setelahnya. Peneliti mengharapkan penggunaan AI di awal akan meninggalkan kesenjangan pemahaman yang akan muncul kemudian ketika alat tersebut diambil. Namun hal itu tidak terjadi. Mahasiswa yang menggunakan AI untuk menyintesis hukum ternyata memahami hukum lebih baik daripada mahasiswa yang bekerja tanpa AI, setelah diuji secara dingin. Penalaran independen tidak terkikis. Ia tetap, dan dalam beberapa kasus bahkan meningkat. 

Kejutan muncul pada tahap akhir, ketika setiap mahasiswa memiliki AI untuk merevisi pekerjaan mereka. Mahasiswa yang memulai dengan memo yang lemah menggunakan akses itu untuk benar‑benar memperbaikinya. Mahasiswa yang memulai dengan memo yang kuat justru menjadi lebih buruk. Dibiarkan sendiri dengan alat yang mampu namun tanpa struktur lebih lanjut tentang cara menggunakannya, keterampilan tidak bertambah melainkan meratakan ke tengah. 

Kedua studi ini bersama‑sama memberikan kebenaran yang tajam: AI bukan pengganti penilaian profesional, dan angka‑angka Berkeley seharusnya mengakhiri perbincangan itu selamanya. Namun AI juga bukan kekuatan korosif yang menggerogoti penalaran saat bersentuhan. Efeknya sepenuhnya tergantung pada di mana ia muncul dalam proses. 

Urutan Lebih Penting daripada Substitusi: Menjaga Penilaian di Inti

Ini berlaku di luar praktik hukum. Setiap profesi pengetahuan sedang menjalankan versi eksperimen mereka sendiri saat ini: dokter yang memutuskan apakah membiarkan model menyusun diagnosis diferensial, analis yang memutuskan apakah membiarkan model membuat versi pertama sebuah model, dan rekan yang memutuskan apakah membiarkan model menyusun argumen sebelum mereka menyusunnya sendiri. Hasil Minnesota menunjukkan bahwa jawabannya bukan sekadar ya atau tidak untuk semua bentuk AI. Ini adalah pertanyaan tentang urutan. AI seharusnya berada di bagian depan pekerjaan berat dan bagian pekerjaan yang menimbulkan gesekan, bukan penilaian. Ia tidak boleh berada di inti tugas yang sebenarnya dibayar oleh klien, dan saat ini ia belum dapat mencapainya bahkan jika mencoba. 

Perusahaan yang masih menjanjikan sebaliknya justru menjual versi AI yang menurut data tidak ada. Mereka yang membangun produk mereka, dan hubungan dengan klien, berdasarkan batas yang sebenarnya ditunjukkan oleh penelitian akan menjadi yang masih dipercaya profesional dalam lima tahun ke depan. Semua yang lain akan menghabiskan waktu itu untuk menjelaskan kesalahpahaman yang sangat mahal.