Kode Manusia Dari 2020 Menghancurkan Agen Vibe-Coded Dalam Tes Agensi

ChatGPT dan alat vibe coding lain diuji dalam hampir 40.000 pertandingan—dan kalah dari kode mahasiswa pascasarjana yang ditulis sebelum Large Language Model hadir.Studi baru dari Inggris mempertemukan agen buatan manusia dengan agen vibe-coded yang dikembangkan memakai Large Language Model terbaru seperti GPT-5 dan Claude. Agen tanpa bantuan AI menang dengan mudah. Kedua kelompok dibuat oleh angkatan mahasiswa berbeda di laboratorium AI EPFL. Agen non-AI berasal dari tugas kuliah tahun 2020, dua tahun sebelum ChatGPT, sedangkan agen baru dibuat mahasiswa saat ini dengan bantuan LLM terbaik. Walau AI diberi keuntungan, solusi vibe-coded tetap gagal menang. Lima peringkat teratas selalu ditempati agen manusia, dan 33 dari 40 agen LLM dikalahkan agen dasar yang sangat sederhana dalam 38.304 pertandingan. Makalah menyatakan:

“LLM mutakhir dapat menghasilkan kode yang berjalan tanpa kesalahan sintaks, tetapi solusinya tidak kompetitif dengan rancangan manusia dalam perencanaan strategis, optimasi, atau persaingan multi-agen.”

“Karya ini menyoroti batas baru pembuatan kode dan mendorong benchmark, kumpulan data, serta baseline sumber terbuka yang menekankan sintesis kode berbasis penalaran.”

Tantangannya adalah mengikuti lelang secara kreatif dengan berbagai strategi lalu merencanakan logistik pengiriman tugas yang dimenangkan. LLM diberi sejumlah keunggulan, termasuk perbaikan kode yang tidak diberikan pada kode tahun 2020. Namun bahkan saat diperlihatkan kode koreksi, model tidak dapat memakainya:

“Dalam benchmark kami, meski solusi yang baik ditampilkan di dalam konteks, LLM masih tidak mampu memanfaatkannya.”

“Hasil ini menimbulkan pertanyaan tentang batas pembelajaran dalam konteks dan pemecahan masalah kompleks berbantuan retrieval.”

Model yang diuji ialah GPT-5 Thinking, Gemini 2.5 Pro, Claude Opus 4.1 dan DeepSeek R1*. Makalah baru berjudul Can Vibe Coding Beat Graduate CS Students? An LLM vs. Human Coding Tournament on Market-driven Strategic Planning dan ditulis peneliti University of Southampton, University of Oxford, dan Alan Turing Institute. Benchmark akan segera dirilis.

Metode

Pengujian tradisional biasanya memakai hasil biner—benar atau tidak benar—yang diperiksa dengan unit test. Untuk menguji keterbatasan kode LLM, penulis merancang tantangan terbuka dengan banyak sasaran antara, di mana kemenangan mungkin tetapi tidak mudah. Perbandingan pendekatan berbasis unit test dengan tantangan terbuka penulis. SumberAPDP dipilih antara lain karena tersedia kumpulan kode mahasiswa 2020 yang membuat agen sebelum bantuan AI. Mahasiswa modern diberi tugas sama dengan alat baru. Penulis menghindari benchmark seperti HumanEval, BigCodeBench dan WebDev Arena karena risiko kontaminasi data—sistem mungkin dilatih pada data pengujian alih-alih mematuhi pemisahan data.Lelang terbalik dan perutean kendaraan membentuk APDP dua tahap. Pertama, agen menawar bayaran untuk tugas pengiriman; tawaran terlalu tinggi kalah, terlalu rendah bisa rugi. Kedua, agen menjadwalkan hanya tugas yang dimenangkan ke kendaraan dengan kapasitas dan biaya berbeda di bawah batas waktu dan sumber daya. Dalam APDP, perusahaan mengikuti lelang terbalik lalu mengoptimalkan rute kendaraan untuk tugas yang dimenangkan.Tujuannya memaksimalkan laba dengan memperkirakan paket tugas yang cocok dan strategi pesaing. Setiap lelang memengaruhi pilihan berikutnya, sehingga agen harus menalar biaya, posisi, waktu, dan konsekuensi jangka panjang. Masalah pengiriman utama bersifat NP-hard: ketika tugas bertambah, tidak ada algoritme yang selalu menemukan solusi terbaik dalam waktu wajar.

Perlombaan dimulai

Evaluasi membandingkan 40 agen LLM dengan 17 agen manusia dalam 12 turnamen pada empat topologi jalan menggunakan format semua melawan semua. Setiap pasangan bertemu dua kali, menghasilkan 3.192 pertandingan per turnamen dan 38.304 total. Tiap pertandingan melelang 50 tugas pada peta Swiss, Prancis, Britania Raya, dan Belanda. Jaringan jalan yang digunakan dalam turnamen dan penanda tugas serta kendaraan.Agen mahasiswa berasal dari turnamen kursus 2020: delapan finalis dan empat agen lain yang kuat melawan baseline. Agen baseline memakai heuristik tetap. Naive menghitung jarak total dan memakai satu kendaraan; ExpCostFixedBid menyimulasikan sepuluh tugas dan menawar biaya marginal rata-rata; Honest menghitung biaya marginal sebenarnya; ModelOpponent menambahkan perkiraan biaya lawan; dan RiskSeeking menggabungkan prior yang menurun seiring waktu dengan biaya langsung dan model lawan. Empat puluh agen LLM dibuat dengan GPT-5 Thinking, Claude Opus 4.1, Gemini 2.5 Pro, dan DeepSeek R1, masing-masing memakai lima strategi prompt dua kali. Dua prompt statis ditulis penulis berbeda, strategi ketiga meminta refleksi diri, keempat meminta kritik LLM lain, dan kelima disintesis GPT-4. Prompt dasar mengikuti tugas asli mahasiswa. Agen LLM diuji dan diperbaiki oleh model hingga semua bug yang tampak hilang. Kegagalan umum meliputi timeout, tidak mengambil atau mengirim tugas, dan melanggar kapasitas kendaraan akibat mengabaikan instruksi atau perencanaan ulang yang salah^†:

“Masalah umum, terutama pada Gemini, Claude, dan DeepSeek, adalah LLM berulang kali gagal memperbaiki bug.”

“Misalnya, agen terus timeout meski model sudah diberi pesan kesalahan dan mengirim kode baru selama 5–15 siklus.”

“Satu-satunya solusi adalah memulai dari awal. Kode bebas bug membutuhkan upaya manual besar dan kami harus membuat jauh lebih banyak agen untuk memperoleh 40 yang bisa diuji.”

Tabel berikut merangkum 12 turnamen round-robin ganda, hampir 40.000 pertandingan:

Setiap agen memainkan 112 pertandingan per turnamen. Simpangan baku (SD) menunjukkan variasi antarturnamen. Agen manusia dicetak tebal. Agen LLM diberi label model (O = GPT-5 Thinking, G = Gemini 2.5 Pro, A = Claude Opus 4.1, D = DeepSeek R1), kode strategi prompt, dan angka untuk generasi pertama atau kedua. SumberTentang hasil di atas, penulis menyatakan^†:

“LLM tidak menghasilkan kode yang diharapkan atau kompetitif bahkan pada varian APDP yang lebih sederhana, meski kode sebagian besar bebas kesalahan sintaks. Ini menunjukkan pentingnya benchmark berbasis penalaran yang melampaui pelengkapan otomatis.”

“Agen buatan manusia jelas lebih unggul: lima tempat teratas selalu milik mahasiswa dan 33 dari 40 agen LLM dikalahkan baseline yang sangat sederhana.”

“Kami tidak melakukan debugging kode mahasiswa, tetapi menguji dan memperbaiki kode LLM secara menyeluruh. Setiap agen mahasiswa crash, LLM otomatis menang. Banyak crash mudah diperbaiki, jadi mahasiswa sebenarnya bisa berada lebih tinggi.”

Dalam eksperimen tambahan, GPT-5 Thinking diminta memperbaiki agen manusia terbaik, Student 1; agen hasil modifikasi jatuh ke posisi sepuluh, terburuk di antara manusia. Perubahan LLM menurunkan kinerja hampir 20%. Penulis menyimpulkan:

“Hasil menyoroti keterbatasan penting pembuatan kode LLM, terutama kemampuan menalar dan merencanakan. LLM modern mampu menghasilkan kode yang berjalan tanpa kesalahan sintaks, tetapi itu bukan benchmark yang tepat untuk kemajuan menuju AI umum tingkat lanjut.”

Kesimpulan

Penulis mengakui vibe coding memberdayakan orang dari berbagai latar teknis dan menjadi kekuatan pemerata. Namun karena masih baru, batasnya belum diketahui dan mungkin lebih rendah daripada dugaan umum. Mereka menyerukan pergeseran tujuan “dari kode yang dapat dikompilasi menjadi kode yang dapat bersaing”. Pembaca mungkin bertanya apakah perbandingan ini terlalu berat, sebab tugas agennya jauh lebih kompleks daripada skrip PowerShell dan fungsi kecil yang cocok untuk vibe coding. * Catatan: makalah terus memakai nama “DeepThink R1”, yang tampaknya tidak ada dan mungkin salah tulis dari “DeepSeek R1”. Jika ini kesalahan saya, silakan hubungi melalui profil dan akan saya koreksi.^† Penekanan berasal dari penulis.Pertama terbit Rabu, 26 November 2025. Diperbarui pukul 17.35 EST untuk pemformatan.