Kode Manusia Dari 2020 Menghancurkan Agen Vibe-Coded Dalam Tes Agensi

ChatGPT dan alat vibe-coding lainnya diuji dalam hampir 40.000 pertandingan – dan kalah dari kode mahasiswa pascasarjana yang ditulis sebelum penemuan Model Bahasa Besar.

Dalam sebuah studi baru dari Inggris, peneliti membandingkan agen yang dikodekan oleh manusia dengan agen yang dikodekan oleh vibe-coding yang dikembangkan dengan Model Bahasa Besar (LLM) terbaru, seperti ChatGPT-5 dan Claude, dan menemukan bahwa agen yang dibuat tanpa bantuan AI dengan mudah mengalahkan versi yang difasilitasi oleh AI.

Kedua set agen dibuat oleh generasi mahasiswa yang berbeda dari Laboratorium Kecerdasan Buatan di Institut Teknologi Federal Swiss. Agen non-AI dikembangkan sebagai bagian dari mata kuliah pada tahun 2020, dua tahun sebelum penemuan ChatGPT dan awal revolusi LLM, sedangkan agen baru dibuat oleh mahasiswa saat ini, dengan bantuan LLM terbaru dan terbaik yang tersedia.

Even dengan permainan yang dirancang, solusi vibe-coding tidak bisa menang, dan lima posisi teratas secara konsisten dipegang oleh ‘agen murni’, dengan sebagian besar agen LLM (33 dari 40) dikalahkan dengan mudah oleh agen baseline yang ‘sangat sederhana’, di seluruh 38.304 tantangan dalam sebuah turnamen, di seluruh berbagai variabel dan keadaan.

Makalah tersebut menyatakan:

‘Kami menunjukkan bahwa sementara LLM canggih dapat menghasilkan kode yang berjalan (yaitu, bebas dari kesalahan sintaksis), solusi yang dihasilkan tidak kompetitif dengan solusi yang dirancang oleh manusia pada dimensi seperti perencanaan strategis, optimasi, atau persaingan multi-agen.

‘Oleh karena itu, pekerjaan ini membawa ke garis depan baru dalam generasi kode, dan bertujuan untuk memfasilitasi pengembangan benchmark, dataset, dan baseline sumber terbuka yang menekankan sintesis kode yang didorong oleh penalaran.’

Tantangan yang dirancang adalah untuk berpartisipasi secara kreatif dalam lelang, di seluruh berbagai strategi, dan untuk mengatur logistik pengiriman barang yang dimenangkan kepada pemenang.

Para penulis mencatat bahwa sejumlah keuntungan diberikan kepada LLM, seperti intervensi dalam kode mereka untuk meningkatkan kinerja mereka – sebuah keuntungan yang tidak diperbolehkan untuk kode era 2020. Namun, bahkan ketika disuplai dengan kode korektif yang pasti akan meningkatkan hasil mereka, LLM tidak dapat menerima atau menggunakannya:

‘[Dalam] benchmark kami, bahkan ketika kami mengekspos solusi yang baik dalam konteks, LLM masih tidak dapat memanfaatkannya.

‘Hasil ini juga menimbulkan pertanyaan penelitian yang menarik tentang batasan pembelajaran dalam konteks dan pemecahan masalah yang ditingkatkan dalam skenario yang kompleks.’

LLM yang digunakan dalam tes adalah GPT-5 Thinking, Gemini 2.5 Pro, Claude Opus 4.1, dan DeepSeek R1*.

Makalah baru ini berjudul Can Vibe Coding Beat Graduate CS Students? An LLM vs. Human Coding Tournament on Market-driven Strategic Planning, dan berasal dari satu penulis di Universitas Southampton, dan lainnya di Universitas Oxford dan Institut Alan Turing. Benchmark akan, menurut penulis, dirilis segera.

Metode

Para penulis mencatat bahwa tes tradisional dalam bidang ini berfokus pada tantangan dengan solusi yang jelas dan terdefinisi dengan baik (benar atau tidak benar), diverifikasi melalui tes unit. Mengklaim bahwa ini bukanlah cara ideal untuk mengeksplorasi keterbatasan kode yang difasilitasi oleh LLM, para penulis merancang skenario tantangan yang lebih kompleks, dengan beberapa benchmark internal dan milestone, di mana kemenangan memungkinkan, tetapi jauh dari sederhana:…