Pengkodean Vibe Menderita Ketika Peran AI Berkembang

Sebuah studi baru menemukan bahwa pengkodean vibe meningkat ketika manusia memberikan instruksi, tetapi menurun ketika AI melakukannya, dengan setup hibrida terbaik yang menjaga manusia di depan, dengan AI sebagai arbiter atau hakim.

Penelitian baru dari Amerika Serikat, yang memeriksa apa yang terjadi ketika sistem AI diizinkan untuk mengarahkan pengkodean vibe, bukan hanya menjalankan instruksi manusia, telah menemukan bahwa ketika Model Bahasa Besar (LLM) mengambil peran arahan yang lebih besar, hasilnya hampir selalu lebih buruk.

Meskipun peneliti menggunakan GPT-5 dari OpenAI sebagai kerangka untuk eksperimen kolaborasi manusia-AI, mereka kemudian mengkonfirmasi bahwa baik Anthropic’s Claude Opus 4.5 dan Google Gemini 3 Pro juga mengalami penurunan kurva yang sama ketika tanggung jawab meningkat, dengan menyatakan bahwa ‘bahkan keterlibatan manusia yang terbatas secara konsisten meningkatkan kinerja’:

‘[Manusia] memberikan bimbingan tingkat tinggi yang unik dan efektif di seluruh iterasi, [sedangkan] bimbingan AI sering menyebabkan keruntuhan kinerja. Selain itu, kami menemukan bahwa alokasi peran yang hati-hati yang menjaga manusia di depan arahan sementara memindahkan evaluasi ke AI dapat meningkatkan kinerja hibrida.’

Untuk memberikan tes yang konsisten yang dapat dievaluasi sama oleh manusia dan AI, sebuah kerangka eksperimental terkendali dibangun di sekitar tugas pengkodean iteratif di mana sebuah gambar referensi – menampilkan foto kucing, anjing, harimau, burung, gajah, penguin, hiu, zebra, jerapah, atau panda – harus dibuat kembali menggunakan grafik vektor yang dapat diskalakan (SVG), dan bahwa rekreasi dinilai terhadap sumber foto dari mana itu berasal:

Baik partisipan manusia dan AI diperlihatkan gambar referensi fotografis di samping rekonstruksi SVG yang dihasilkan AI, dan diminta untuk menilai seberapa mirip keduanya pada skala tujuh poin. Sumber

Di setiap putaran, satu agen memberikan instruksi bahasa alami tingkat tinggi untuk memandu generator kode, dan yang lain memutuskan apakah akan mempertahankan versi baru atau kembali ke versi sebelumnya – sebuah loop terstruktur yang mencerminkan alur kerja kolaboratif nyata.

Di seluruh enam belas eksperimen yang melibatkan 604 partisipan dan ribuan panggilan API, putaran pengujian yang dipimpin manusia sepenuhnya dibandingkan langsung dengan putaran yang dipimpin AI sepenuhnya, di bawah kondisi yang identik.

Beberapa solusi yang beragam yang dicapai oleh berbagai kombinasi persentase dan jenis kolaborasi manusia-AI (diambil dari ilustrasi yang lebih besar dalam makalah sumber, yang kami rujuk kepada pembaca).

Meskipun manusia dan AI mencapai tingkat yang sama pada awal tes, seiring waktu, jalur mereka berbeda: ketika manusia memberikan instruksi dan membuat keputusan pemilihan, skor kesamaan meningkat seiring iterasi, dengan perbaikan kumulatif yang stabil; tetapi ketika sistem AI mengisi kedua peran, kinerja tidak menunjukkan peningkatan konsisten, dan sering menurun seiring putaran – bahkan ketika model yang sama digunakan untuk generasi kode, dan AI memiliki akses ke informasi yang sama dengan partisipan manusia.

Efek Prolixity

Hasil juga menunjukkan bahwa instruksi manusia biasanya singkat dan berorientasi pada tindakan, fokus pada apa yang harus diubah selanjutnya dalam gambar saat ini; sebaliknya, instruksi AI lebih panjang dan deskriptif (faktor yang diparameterkan untuk GPT-5), mendeskripsikan atribut visual daripada memprioritaskan koreksi inkremental.

Tetapi, seperti yang terlihat pada grafik di bawah, mengenakan batasan kata yang ketat pada instruksi AI tidak membalikkan pola; bahkan ketika dibatasi pada 10, 20 atau 30 kata, rantai AI yang dipimpin masih gagal meningkatkan seiring waktu:

Peringkat kesamaan seiring iterasi untuk putaran yang dipimpin manusia dibandingkan dengan putaran AI yang dipimpin sepenuhnya dan rantai AI yang dipimpin dengan instruksi 10, 20, atau 30 kata. Jelas, mempersingkat prompt AI tidak mencegah penurunan kinerja iteratif yang diamati ketika AI mengarahkan instruksi dan pemilihan.

Eksperimen hibrida membuat pola lebih jelas, menunjukkan bahwa menambahkan sedikit keterlibatan manusia meningkatkan hasil, dibandingkan dengan setup AI yang dipimpin sepenuhnya; namun kinerja biasanya menurun ketika bagian bimbingan AI meningkat.

Ketika peran dipisahkan, evaluasi dan pemilihan dapat dipindahkan ke AI dengan kerugian kualitas yang relatif kecil; tetapi menggantikan instruksi tingkat tinggi manusia dengan bimbingan AI menyebabkan penurunan kinerja yang nyata, menunjukkan bahwa yang paling penting bukanlah siapa yang menghasilkan kode, tetapi siapa yang menetapkan dan mempertahankan arahan seiring iterasi.

Penulis menyimpulkan:

‘Di seluruh eksperimen, pengkodean yang dipimpin manusia secara konsisten meningkat seiring iterasi, sedangkan pengkodean yang dipimpin AI sering runtuh meskipun memiliki akses ke informasi yang sama dan kemampuan eksekusi yang serupa.

‘Hal ini menunjukkan perjuangan kunci dari sistem AI saat ini dalam mempertahankan arahan tingkat tinggi yang kohatif seiring interaksi berulang, dari jenis yang diperlukan untuk pengkodean vibe yang sukses’

Makalah baru ini berjudul Mengapa Bimbingan Manusia Penting dalam Pengkodean Vibe Kolaboratif, dan berasal dari tujuh peneliti dari Cornell University, Princeton University, Massachusetts Institute of Technology, dan New York University.

Metode

Untuk eksperimen, seorang instruktur manusia melihat gambar referensi yang dihasilkan GPT-5, bersama dengan upaya imitasi SVG terbaru. Kemudian, instruktur tersebut menulis instruksi bahasa alami untuk memandu generator kode menuju kesamaan yang lebih dekat.

Demikian, generator akan menghasilkan SVG baru setiap putaran, menyediakan loop iteratif untuk menguji bagaimana efek bimbingan berkumpul seiring waktu. Targetnya adalah sepuluh gambar hewan yang dihasilkan GPT-5, yang mencakup berbagai bentuk dan tekstur sehingga perbaikan atau kesalahan akan mudah dideteksi:

Skema untuk alur kerja pengkodean vibe yang digunakan dalam studi. Di A), seorang instruktur manusia melihat gambar referensi fotografis bersama dengan SVG yang dihasilkan terbaik hingga saat ini dan menulis instruksi bahasa alami untuk generator kode untuk diikuti saat menghasilkan SVG berikutnya; di B), seorang pemilih manusia membandingkan SVG baru dengan yang sebelumnya dan memilih versi mana yang lebih sesuai dengan gambar referensi, sebelum meneruskan SVG yang dipilih ke putaran instruksi berikutnya; dan di C), evaluator manusia independen menilai seberapa mirip setiap SVG yang dihasilkan dengan gambar referensinya, menyediakan skor yang digunakan untuk menilai kinerja keseluruhan.

Seorang pemilih manusia membandingkan setiap SVG yang dihasilkan baru dengan yang sebelumnya dan menerima atau menolaknya, yang menjaga proses tetap sejalan dengan gambar referensi seiring putaran. Dalam setup baseline ini, manusia yang sama melakukan kedua peran.

Untuk mengukur kualitas, evaluator manusia independen menilai seberapa mirip setiap SVG yang dihasilkan dengan gambar referensinya. Di seluruh enam belas eksperimen, 120 orang menghasilkan 4.800 penilaian. Semua eksperimen dijalankan pada kerangka PsyNet, sebuah portal yang dirancang untuk mengakomodasi interaksi terstruktur antara manusia dan sistem AI.

Studi ini akan merekrut 604 penutur bahasa Inggris asli, dalam tes yang akan menghabiskan 4.800 panggilan API untuk generasi kode, dan 5.327 panggilan API untuk instruksi. Meskipun GPT-5 adalah model utama yang digunakan, batch perbandingan yang lebih kecil dibuat dengan Claude Opus 4.5 dan Gemini 3 Pro, yang masing-masing menangani 280 kueri.

Hasil

Tiga puluh putaran pengkodean vibe dijalankan, masing-masing terdiri dari lima belas edisi dari sepuluh gambar referensi inti. Untuk ini, 45 partisipan manusia dipilih, masing-masing berperan sebagai pemilih dan instruktur sepanjang sepuluh iterasi, dalam putaran yang dipimpin manusia.

Di dalam setiap putaran, partisipan yang sama pertama-tama memilih antara SVG saat ini dan sebelumnya, dan kemudian menulis instruksi putaran berikutnya. Versi kedua tes menggantikan keputusan manusia dengan panggilan API ke GPT 5, sementara menjaga setup lainnya tetap sama. Di semua kasus, peran instruktur dan pemilih memicu generator kode dengan bahasa alami.

Contoh representatif dari pengkodean vibe multi-putaran menunjukkan bagaimana proses tersebut berbeda seiring waktu; ketika manusia bertindak sebagai pemilih dan instruktur, output SVG meningkat secara stabil seiring iterasi, mendekati gambar referensi dengan setiap putaran:

Contoh kemajuan untuk satu gambar referensi di bawah pengkodean vibe yang dipimpin manusia (atas) dan pengkodean vibe yang dipimpin AI (bawah), menunjukkan perbaikan stabil seiring iterasi dengan manusia dalam kedua peran, dan stagnasi atau drift ketika kedua peran ditangani oleh AI.

Sebaliknya, dalam versi AI yang dipimpin, putaran awal terkadang menangkap fitur visual kunci, tetapi upaya selanjutnya gagal membangun pada keuntungan tersebut, dan dalam beberapa kasus menyimpang dari target:

Output akhir dari iterasi terakhir, membandingkan putaran yang dipimpin manusia (baris atas) dengan rantai yang dipimpin AI (baris bawah), di seluruh set gambar referensi yang sama. Hasil yang dipimpin manusia lebih sesuai dengan hewan asli, dan hasil yang dipimpin AI menunjukkan distorsi yang terlihat, atau kehilangan fitur kunci.

Untuk mengukur tren yang muncul secara kuantitatif, gambar akhir ditunjukkan kepada penilai manusia independen dan dinilai untuk kesamaan dengan gambar referensi. Di putaran awal, putaran yang dipimpin manusia dan AI yang dipimpin mencetak skor yang sama; tetapi pada putaran kelimabelas, perbedaan itu jelas, dengan gambar yang dipilih manusia dinilai jauh lebih dekat dengan target. Seiring waktu, skor manusia meningkat secara stabil, dengan keuntungan relatif terbesar atas AI mencapai 27,1%.

Skor kesamaan rata-rata seiring iterasi untuk pengkodean vibe yang dipimpin manusia dan AI yang dipimpin, menunjukkan perbaikan stabil ketika manusia bertindak sebagai pemilih dan instruktur, dan penurunan bertahap ketika kedua peran ditangani oleh GPT 5.

Untuk memastikan bahwa tren yang muncul tidak disebabkan oleh kekuatan kolektif dari beberapa partisipan manusia bersamaan, peneliti merekrut sepuluh orang tambahan untuk bekerja sendiri, masing-masing menjalankan tiga putaran sendiri – dan hasilnya diperbaiki dengan cara yang sama, menunjukkan bahwa keuntungan tersebut tidak hanya karena upaya kolektif.

Gambaran Besar

Namun, jika GPT-5 menilai outputnya sendiri, apakah itu akan mengakui bahwa hasil manusia lebih baik? Penilaian manusia dan AI umumnya bergerak dalam arah yang sama, sehingga model tersebut dapat membedakan yang baik dari yang buruk, tetapi secara konsisten memberi peringkat gambar yang dihasilkan AI lebih tinggi dari yang diberikan manusia.

‘Secara khusus, kami bertanya apakah agen AI akan mengakui bahwa output mereka sendiri lebih rendah daripada yang dihasilkan oleh manusia, atau sebaliknya menunjukkan preferensi untuk ciptaan mereka sendiri, yang akan menunjukkan masalah keselarasan potensial.’

Seperti yang terjadi, ada masalah keselarasan*:

‘Evaluator AI memberi peringkat lebih tinggi pada output yang dihasilkan AI. Temuan ini menunjukkan bahwa perbedaan kinerja yang diamati mungkin berasal dari keselarasan representasi antara manusia dan AI.’

Dalam memeriksa bagaimana manusia dan AI merumuskan bimbingan, kesenjangan menjadi jelas dalam tes. Seperti yang terlihat pada gambar di bawah, baik fokus dan panjang adalah subjek divergensi AI-Manusia:

Perbandingan bagaimana manusia dan AI memberikan instruksi selama tugas pengkodean. ‘A’ menunjukkan bahwa manusia menulis instruksi singkat dan langsung, sedangkan AI menulis deskripsi rinci. ‘B’ memetakan instruksi, menunjukkan bahwa prompt manusia berkumpul bersama, sedangkan prompt AI terpisah oleh hewan. ‘C’ melacak bagaimana membatasi panjang instruksi AI tidak memperbaiki hasil buruknya seiring waktu; dan ‘D’ menunjukkan bahwa manusia memberikan bimbingan yang lebih bervariasi dan seimbang daripada AI, bahkan ketika batasan kata diberlakukan.

Instruksi manusia cenderung singkat dan langsung, menawarkan editan yang jelas yang dapat diterapkan secara umum di seluruh target. Instruksi AI, di sisi lain, padat dengan detail deskriptif, dan sering membengkak dengan spesifikasi tentang bayangan, tekstur, pencahayaan, atau detail anatomi – deskripsi yang mungkin masuk akal dalam isolasi, tetapi gagal memberikan langkah-langkah berikutnya yang berguna untuk model (dan yang akan familiar bagi mereka yang menyadari masalah LLM sekitar panjang konteks, yaitu, kemampuan untuk mempertahankan ‘gambaran besar’ ketika proyek berkembang dan tumbuh).

Untuk melihat apakah mengurangi kepanjangan akan meningkatkan kinerja, GPT-5 dibatasi pada 10, 20, atau 30 kata per instruksi; tetapi bahkan instruksi yang dipersingkat ini gagal menunjukkan perbaikan:

Upaya Bersama

Untuk menguji apa yang terjadi ketika manusia dan AI berbagi kontrol, peneliti menjalankan tugas pengkodean dengan berbagai campuran input manusia dan AI, mulai dari kebanyakan manusia hingga kebanyakan AI.

Setiap campuran hibrida outperformed kontrol AI penuh, sehingga bahkan sedikit bimbingan manusia dapat meningkatkan hasil:

Setup pengkodean hibrida dengan campuran manusia-AI yang berbeda. (A) Menunjukkan bagaimana manusia dan AI bergantian sebagai instruktur dan pemilih untuk setiap langkah pengkodean; (B) menunjukkan bahwa lebih banyak keterlibatan manusia menghasilkan hasil kualitas yang lebih tinggi, sedangkan input AI yang lebih besar menurunkan skor; dan (C) menggambarkan penurunan kualitas output akhir yang stabil seiring penurunan partisipasi manusia, mengkonfirmasi bahwa arahan manusia yang lebih konsisten menghasilkan hasil yang lebih baik.

Ketika AI mengambil alih lebih banyak proses, kinerja menurun, dengan hasil terbaik terlihat ketika manusia memimpin sebagian besar putaran, dan yang terlemah ketika AI memimpin sebagian besar putaran. Tidak ada setup hibrida yang berhasil mempertahankan perbaikan seiring putaran baru, menunjukkan bahwa arahan manusia bekerja paling baik ketika konsisten dan terus-menerus, bukan sesekali.

Peran Terbalik

Studi ini juga mengeksplorasi apakah itu masalah siapa yang melakukan apa dalam tugas-tugas ini, dan mengujinya. Latihan yang direvisi melibatkan dua tugas: satu partisipan akan menentukan bagaimana mengubah gambar, dan yang lain akan memilih versi yang lebih disukai.

Ketika kedua tugas tersebut dilakukan oleh manusia, kualitas dipertahankan; tetapi ketika manusia memberikan instruksi dan tidak ada yang memilih antara versi, kualitas memburuk:

Tes untuk pembagian peran dalam pengkodean vibe: di (A), menghilangkan peran pemilih menyebabkan kinerja yang lebih buruk, bahkan ketika manusia memberikan instruksi; di (B), menggantikan pemilih manusia dengan AI sedikit mengurangi kualitas, tetapi tidak separah menghilangkan pemilihan sepenuhnya.

Ketika AI bertanggung jawab, melewati langkah pemilihan tidak masalah, karena outputnya tetap konsisten dengan atau tanpa langkah tersebut; tetapi ketika manusia memberikan instruksi dan AI memilih antara hasil, kualitas tetap dekat dengan setup semua-manusia.

Sebaliknya tidak berhasil: memiliki AI memberikan instruksi sementara manusia memilih output menghasilkan hasil yang lebih lemah, menunjukkan bahwa bimbingan kreatif manusia tetap penting, sementara tugas memilih antara pilihan dapat dipindahkan ke AI tanpa kehilangan kinerja yang signifikan.

Makalah tersebut menyimpulkan:

‘[Pembuatan ide] tingkat tinggi dan instruksi adalah kontribusi kunci manusia, sedangkan evaluasi dan pemilihan dapat sering didelegasikan ke AI tanpa kehilangan kinerja.

‘Hal ini menunjukkan prinsip desain praktis untuk sistem hibrida: manusia harus menetapkan arahan, sedangkan AI dapat mendukung evaluasi dan eksekusi.’

Kesimpulan

Belum diketahui seberapa besar peningkatan dan/atau jendela konteks yang diperluas akan memengaruhi kinerja LLM dalam tugas-tugas seperti ini. Hari ketika ‘amnesia LLM’ berhenti menjadi masalah sehari-hari dalam kolaborasi manusia-AI mungkin menjadi alasan untuk merayakan dan waspada, karena masalah yang AI coba pecahkan, secara sah, adalah manusia.

Bagaimanapun, karya penulis juga membuat jelas bahwa ada perbedaan bawaan dan perbedaan kritis antara AI dan manusia mengenai kualitas, yang mungkin masih ditentukan oleh konsumen untuk menjadi konsep yang tak tergantikan oleh manusia.

* Konversi saya dari kutipan inline penulis ke tautan.

Dipublikasikan pertama kali pada hari Jumat, 13 Februari 2026